Variable clustering in high dimensional linear regression models

Classification de variables en régression linéaire

Loïc Yengo (1, 2) , Julien Jacques (2) , Christophe Biernacki (2)

1 EGENODIA (GI3M) - Metabolic functional (epi)genomics and molecular mechanisms involved in type 2 diabetes and related diseases - UMR 8199 - UMR 1283
2 MODAL - MOdel for Data Analysis and Learning

For the last three decades, the advent of technologies for massive data collection have brought deep changes in many scientific fields. What was first seen as a blessing, rapidly turned out to be termed as the curse of dimensionality. Reducing the dimensionality has therefore become a challenge in statistical learning. In high dimensional linear regression models, the quest for parsimony has long been driven by the idea that a few relevant variables may be sufficient to describe the modeled phenomenon. Recently, a new paradigm was introduced in a series of articles from which the present work derives. We propose here a model that simultaneously performs variable clustering and regression. Our approach no longer considers the regression coefficients as fixed parameters to be estimated, but as unobserved random variables following a Gaussian mixture model. The latent partition is then determined by maximum likelihood and predictions are obtained from the conditional distribution of the regression coefficients given the data. The number of latent components is chosen using a BIC criterion. Our model has very competitive predictive performances compared to standard approaches and brings significant improvements in interpretability.

Les trois dernières décennies ont vu l’avènement de profonds changements dans de nombreuses discipline scientifiques. Certains de ces changements, directement liés à la collecte massive de données, ont donné naissance à de nombreux défis en apprentissage statistique. La réduction de la dimension en est un. En régression linéaire, l’idée de parcimonie a longtemps été associée à la possibilité de modéliser un phénomène grâce à un faible nombre de variables. Un nouveau paradigme a récemment été introduit dans lequel s’inscrivent pleinement les présents travaux. Nous présentons ici un modèle permettant simultanément d’estimer un modèle de régression tout en effectuant une classification des covariables. Ce modèle ne considère pas les coefficients de régression comme des paramètres à estimer mais plutôt comme des variables aléatoires non observées suivant une distribution de mélange gaussien. La partition latente des variables est estimée par maximum de vraisemblance. Le nombre de groupes de variables est choisi en minimisant le critère BIC. Notre modèle possède une très bonne qualité de prédiction et son interprétation est aisée grâce à l’introduction de groupe de variables.

Mots clés: Variable clustering; Dimension reduction; Linear regression

Mots clés: Réduction de la dimension; Régression linéaire; Classification de variables

Domaines: Statistiques [math.ST]; Théorie [stat.TH]

Loïc Yengo, Julien Jacques, Christophe Biernacki. Variable clustering in high dimensional linear regression models. Journal de la Société Française de Statistique, 2014, Numéro spécial : analyse des données en grande dimension, 155 (2), pp.38-56. ⟨hal-00764927v2⟩