AdaBoost

En intelligence artificielle et en apprentissage automatique, AdaBoost (ou adaptive boosting) est un méta-algorithme de boosting introduit par Yoav Freund et Robert Schapire en 1997. AdaBoost améliore les performances de n'importe quel algorithme d'apprentissage appelés classifieurs faibles. Le principe est la sagesse d'une foule d'experts. Chaque classifieur faible est un expert. On combine alors leurs prédictions en une somme pondérée qui représente la prédiction finale du classifieur boosté. AdaBoost est adaptatif dans le sens où les classifieurs faibles subséquents sont ajustés en faveur des échantillons mal classés par les classifieurs précédents. AdaBoost est notablement sensible aux données bruitées ou peu corrélées. Toutefois, dans certains problèmes, il peut s'avérer moins enclin au surapprentissage que d'autres algorithmes. Les sous-classifieurs utilisés peuvent être faibles tant qu'ils proposent une performance au moins un peu supérieure à celle d'un classifieur aléatoire, auquel cas il peut être prouvé que le modèle final converge vers un classifieur fort. Tous les algorithmes d'apprentissage tendent à correspondre plus à certains types de problèmes qu'à d'autres, et ont typiquement de nombreux paramètres et configurations différents qu'il est nécessaire d'ajuster pour atteindre une performance optimale sur un ensemble d'apprentissage fourni. AdaBoost (avec des arbres de décision comme classifieurs faibles) est souvent désigné comme le meilleur classifieur clé-en-main.