Agrégation à poids exponentiels et estimation penalisée : Inégalités oracles

Duy Tung Luu (1) , Jalal M. Fadili (1) , Christophe Chesneau (2)

1 Equipe Image - Laboratoire GREYC - UMR6072
2 LMNO - Laboratoire de Mathématiques Nicolas Oresme

Un problème classique en traitement du signal et des images vise à estimer un signal/image à partir de ses mesures linéaires sous-déterminées et bruitées. Le problème étant mal-posé, l'approche usuelle consiste à imposer des a priori sur les objets recherchés. Dans cet article, nous présentons une analyse unifiée des garanties théoriques de performance de deux familles d'estimateurs: les estimateurs par agrégation à poids exponentiels et les estimateurs pénalisés pour une classe d'a priori favorisant une certaine notion de simplicité/faible complexité. Plus précisément, nous montrons que les deux classes d'estimateurs satisfont des inégalités oracles fines en probabilité lorsque le bruit est gaussien ou sous-gaussien. Ces résultats sont ensuite appliqués à plusieurs pénalités classiques notamment les norme 1 (LASSO), 1–2 (LASSO par groupes et sa version analyse), ∞ (anti-parcimonie), et la norme nucléaire. Abstract – A classical problem in signal and image processing aims at recovering a signal/image from a set of underdetermined and noisy linear measurements. The problem is generally ill-posed and the usual approach consists in imposing prior knowledge on the set of sought-after objects. In this paper, we present an unified analysis of the theoretical performance guarantees of two classes of estimators: exponential weighted aggregation and penalized estimators for a general class of priors which promote objects complying with some notion of simplicity/low complexity. More precisely, we show that these two estimators satisfy sharp oracle inequalities in probability when the noise is Gaussian or subgaussian. These results are then applied to several popular penalties including the 1 (LASSO), the 1–2 (group LASSO and its analysis version), ∞ (anti-sparsity), and the nuclear norms.

Domaines: Optimisation et contrôle [math.OC]; Statistiques [math.ST]; Analyse fonctionnelle [math.FA]; Analyse numérique [math.NA]; Machine Learning [stat.ML]; Théorie [stat.TH]; Théorie de l'information [cs.IT]; Traitement du signal et de l'image [eess.SP]

Duy Tung Luu, Jalal M. Fadili, Christophe Chesneau. Agrégation à poids exponentiels et estimation penalisée : Inégalités oracles. 26th GRETSI Symposium on Signal and Image Processing, Sep 2017, Juan Les Pins, France. ⟨hal-01658858⟩