Consensual Aggregation on Random Projected High-dimensional Features for Regression

Agrégation Consensuelle sur la Projection Aléatoire des Prédictions des Grandes Dimensions pour la Régression

Sothea Has (1, 2)

1 LPSM (UMR_8001) - Laboratoire de Probabilités, Statistique et Modélisation
2 UPMC - Université Pierre et Marie Curie - Paris 6

In this paper, we present a study of a kernel-based consensual aggregation on randomly projected high-dimensional features of predictions for regression. The aggregation scheme is composed of two steps: the high-dimensional features of predictions, given by a large number of regression estimators, are randomly projected into a smaller subspace using Johnson-Lindenstrauss Lemma in the first step, and a kernel-based consensual aggregation is implemented on the projected features in the second step. We theoretically show that the performance of the aggregation scheme is close to the performance of the aggregation implemented on the original high-dimensional features, with high probability. Moreover, we numerically illustrate that the aggregation scheme upholds its performance on very large and highly correlated features of predictions given by different types of machines. The aggregation scheme allows us to flexibly merge a large number of redundant machines, plainly constructed without model selection or cross-validation. The efficiency of the proposed method is illustrated through several experiments evaluated on different types of synthetic and real datasets.

Dans cet article, nous présentons une étude d'une agrégation consensuelle basée sur le noyau sur des prédictions de grande dimension projetées au hasard pour régression. Le schéma d'agrégation est composé en deux étapes : les prédictions de grande dimension, données par un grand nombre d'estimateurs de régression, sont projetées de manière aléatoire dans un sous-espace plus petit en utilisant le lemme de Johnson-Lindenstrauss dans la première étape et une agrégation consensuelle basée sur le noyau est implémentée sur les projections dans la deuxième étape. Nous montrons théoriquement que les performances du schéma d'agrégation sont proches des performances de l'agrégation implémentée sur les prédictions originales de grande dimension, avec grande probabilité. De plus, nous illustrons numériquement que le schéma d'agrégation maintient ses performances sur des prédictions très larges et corrélées données par différents types de machines. Le schéma d'agrégation nous permet de fusionner de façon flexible un grand nombre de machines redondantes, simplement construites sans sélection de modèle ni validation croisée. L'efficacité de la méthode proposée est illustrée à travers plusieurs expériences évaluées sur différents types de jeux de données synthétiques et réels.

Mots clés: Consensual aggregation; Random projection; Regression

Domaines: Machine Learning [stat.ML]

Sothea Has. Consensual Aggregation on Random Projected High-dimensional Features for Regression. 2022. ⟨hal-03631715⟩