Une sur-pénalisation théoriquement fondée du critère AIC

Adrien Saumard (1) , Fabien Navarro (1)

1 CREST - Centre de Recherche en Economie et Statistique [Bruz]

Stabilization by over-penalization is a well-known phenomenon for specialists of model selection procedures. Indeed, it has been remarked for a long time that adding a small amount to classical penalized criteria such as AIC lead in good cases to an improvement of prediction performances, especially for moderate and small sample sizes. In particular, overfitting tends to be avoided. We propose here the first principled and general over-penalization strategy and apply it to AIC. Very good results are observed in simulations.

Le fait qu'une légère sur-pénalisation engendre une stabilisation des procédures de sélection de modèles est un phénomène bien connu des spécialistes. En effet, il a été remarqué depuis la fin des années 70 que l'ajout d'une petite quantité positive à des critères pénalisés classiques tels que AIC améliore dans les bons cas les résultats en prédiction, particulièrement pour les échantillons de taille petite ou modérée. La raison principale est que la sur-pénalisation tend à se prémunir contre le sur-apprentissage. Nous proposons la première stratégie générale et théoriquement fondée de sur-pénalisation et nous l'appliquons au critère AIC. De très bons résultats sont observés par simulation.

Mots clés: Model selection; over-penalisation; Akaike's information criterion; density estimation; histogram

Domaines: Théorie [stat.TH]; Méthodologie [stat.ME]

Adrien Saumard, Fabien Navarro. Une sur-pénalisation théoriquement fondée du critère AIC. 49èmes Journées de Statistique de la SFdS, May 2017, Avignon, France. ⟨hal-01532779⟩