Comparing variable selection techniques for linear regression: LASSO and Autometrics

Camila Epprecht (1, 2) , Dominique Guegan (1) , Álvaro Veiga (2)

1 CES - Centre d'économie de la Sorbonne
2 PUC-Rio - Pontifícia Universidade Católica do Rio de Janeiro [Brasil] = Pontifical Catholic University of Rio de Janeiro [Brazil] = Université catholique pontificale de Rio de Janeiro [Brésil]

In this paper, we compare two different variable selection approaches for linear regression models: Autometrics (automatic general-to-specific selection) and LASSO (ℓ1-norm regularization). In a simulation study, we show the performance of the methods considering the predictive power (forecast out-of-sample) and the selection of the correct model and estimation (in-sample). The case where the number of candidate variables exceeds the number of observation is considered as well. We also analyze the properties of estimators comparing to the oracle estimator. Finally, we compare both methods in an application to GDP forecasting.

Dans cet article, nous comparons quatre techniques de sélection de modèles linéaires de séries temporelles : Autometrics (stratégies libérale et conservatrice), LASSO et adaptative LASSO. Dans une étude de simulation, nous montrons les performances des différentes méthodes en considérant deux aspects : le pouvoir prédictif (prévision hors échantillon) et le choix du modèle correct et estimation (dans l'échantillon). Le cas où le nombre de variables candidates dépasse le nombre d'observations est aussi considéré. Différents scénarios ont été envisagés pour la comparaison en faisant varier la taille de l'échantillon, le nombre de variables pertinentes et le nombre de variables candidates. Nous analysons également les propriétés des estimateurs comparant à l'estimateur d'oracle. Finalement, nous considérons une application, où le but est de comparer les méthodes dans la prévision du PIB américain trimestriel.

Mots clés: GDP forecasting; time series; oracle property; Model selection; variable selection; GETS; Autometrics; LASSO; adaptive LASSO; sparse models

Mots clés: prévision du PIB; séries temporelles; Sélection de modèles; sélection de variables; adaptative LASSO; modèles clairsemés; propriété d'oracle

Domaines: Economies et finances; Sciences de l'information et de la communication; Gestion et management; Méthodes et statistiques

Camila Epprecht, Dominique Guegan, Álvaro Veiga. Comparing variable selection techniques for linear regression: LASSO and Autometrics. 2013. ⟨halshs-00917797v1⟩