Adaptive signal recovery by convex optimization

Reconstruction adaptative de signaux par optimisation convexe

Dmitrii M. Ostrovskii (1)

1 DAO - Données, Apprentissage et Optimisation

We consider the problem of denoising a signal observed in Gaussian noise. In this problem, classical linear estimators are quasi-optimal provided that the set of possible signals is convex, compact, and known a priori. However, when the set is unspecified, designing an estimator which does not “know” the underlying structure of a signal yet has favorable theoretical guarantees of statistical performance remains a challenging problem. In this thesis, we study a new family of estimators for statistical recovery of signals with certain time-invariance properties. Such signals are characterized by their harmonic structure, which is usually unknown in practice. We propose new estimators that are capable of exploiting the unknown harmonic structure of a signal to reconstruct. We demonstrate that these estimators admit theoretical performance guarantees, in the form of oracle inequalities, in a variety of settings. We provide efficient algorithmic implementation of these estimators via first-order optimization algorithms with non-Euclidean geometry, and evaluate them on synthetic data as well as some real-world signals and images.

Nous considérons le problème de l'estimation d’un signal ou d’une image observés dans le bruit gaussien. Dans ce problème, les estimateurs linéaires classiques sont quasi-optimaux quand l’ensemble des signaux, qui doit être convexe et compact, est connu a priori. Si cet ensemble n’est pas spécifié, la conception d’un estimateur adaptatif qui “ne connait pas” la structure cachée du signal reste un problème difficile. Dans cette thèse, nous étudions une nouvelle famille d’estimateurs des signaux satisfaisant certains propriétés d’invariance dans le temps. De tels signaux sont caractérisés par leur structure harmonique, qui est généralement inconnu dans la pratique. Nous proposons des nouveaux estimateurs capables d’exploiter la structure harmonique inconnue du signal à reconstruire. Nous démontrons que ces estimateurs obéissent aux divers ”inégalités d’oracle,” et nous proposons une implémentation algorithmique numériquement efficace de ces estimateurs basée sur des algorithmes d’optimisation de premier ordre. Nous évaluons ces estimateurs sur des données synthétiques et sur des signaux et images réelles.

Mots clés: La méthode de Lepski; Adaptive denoising; nonparametric estimation; first-order methods; Lepski's method; difference inequalities

Mots clés: algorithmes de premier ordre; Mirror Prox; Fast Gradient Method; Débruitage adaptif; inégalités différencielles; régression nonparamétrique

Domaines: Statistiques [math.ST]; Optimisation et contrôle [math.OC]; Traitement du signal et de l'image [eess.SP]; Machine Learning [stat.ML]

Dmitrii M. Ostrovskii. Adaptive signal recovery by convex optimization. Statistics [math.ST]. Université Grenoble Alpes, 2018. English. ⟨NNT : ⟩. ⟨tel-01767206v1⟩