Characterization of mean squared error fundamental limitations in parameter estimation of signals with change-points
Caractérisation des limites fondamentales de l'erreur quadratique moyenne pour l'estimation de signaux comportant des points de rupture
Résumé
This thesis deals with the study of estimators' performance in signal processing. The focus is the analysis of the lower bounds on the Mean Square Error (MSE) for abrupt change-point estimation. Such tools will help to characterize performance of maximum likelihood estimator in the frequentist context but also maximum a posteriori and conditional mean estimators in the Bayesian context. The main difficulty comes from the fact that, when dealing with sampled signals, the parameters of interest (i.e., the change points) lie on a discrete space. Consequently, the classical large sample theory results (e.g., asymptotic normality of the maximum likelihood estimator) or the Cramér-Rao bound do not apply. Some results concerning the asymptotic distribution of the maximum likelihood only are available in the mathematics literature but are currently of limited interest for practical signal processing problems. When the MSE of estimators is chosen as performance criterion, an important amount of work has been provided concerning lower bounds on the MSE in the last years. Then, several studies have proposed new inequalities leading to tighter lower bounds in comparison with the Cramér-Rao bound. These new lower bounds have less regularity conditions and are able to handle estimators’ MSE behavior in both asymptotic and non-asymptotic areas. The goal of this thesis is to complete previous results on lower bounds in the asymptotic area (i.e. when the number of samples and/or the signal-to-noise ratio is high) for change-point estimation but, also, to provide an analysis in the non-asymptotic region. The tools used here will be the lower bounds of the Weiss-Weinstein family which are already known in signal processing to outperform the Cramér-Rao bound for applications such as spectral analysis or array processing. A closed-form expression of this family is provided for a single and multiple change points and some extensions are given when the parameters of the distributions on each segment are unknown. An analysis in terms of robustness with respect to the prior influence on our models is also provided. Finally, we apply our results to specific problems such as: Gaussian data, Poisson data and exponentially distributed data.
Cette thèse porte sur l'étude des performances d'estimateurs en traitement du signal, et s'attache en particulier à étudier les bornes inférieures de l'erreur quadratique moyenne (EQM) pour l'estimation de points de rupture, afin de caractériser le comportement d'estimateurs, tels que celui du maximum de vraisemblance (dans le contexte fréquentiste), mais surtout du maximum a posteriori ou de la moyenne conditionnelle (dans le contexte bayésien). La difficulté majeure provient du fait que, pour un signal échantillonné, les paramètres d'intérêt (à savoir les points de rupture) appartiennent à un espace discret. En conséquence, les résultats asymptotiques classiques (comme la normalité asymptotique du maximum de vraisemblance) ou la borne de Cramér-Rao ne s'appliquent plus. Quelques résultats sur la distribution asymptotique du maximum de vraisemblance provenant de la communauté mathématique sont actuellement disponibles, mais leur applicabilité à des problèmes pratiques de traitement du signal n'est pas immédiate. Si l'on décide de concentrer nos efforts sur l'EQM des estimateurs comme indicateur de performance, un travail important autour des bornes inférieures de l'EQM a été réalisé ces dernières années. Plusieurs études ont ainsi permis de proposer des inégalités plus précises que la borne de Cramér-Rao. Ces dernières jouissent en outre de conditions de régularité plus faibles, et ce, même en régime non asymptotique, permettant ainsi de délimiter la plage de fonctionnement optimal des estimateurs. Le but de cette thèse est, d'une part, de compléter la caractérisation de la zone asymptotique (en particulier lorsque le rapport signal sur bruit est élevé et/ou pour un nombre d'observations infini) dans un contexte d'estimation de points de rupture. D'autre part, le but est de donner les limites fondamentales de l'EQM d'un estimateur dans la plage non asymptotique. Les outils utilisés ici sont les bornes inférieures de l’EQM de la famille Weiss-Weinstein qui est déjà connue pour être plus précise que la borne de Cramér-Rao dans les contextes, entre autres, de l’analyse spectrale et du traitement d’antenne. Nous fournissons une forme compacte de cette famille dans le cas d’un seul et de plusieurs points de ruptures puis, nous étendons notre analyse aux cas où les paramètres des distributions sont inconnus. Nous fournissons également une analyse de la robustesse de cette famille vis-à-vis des lois a priori utilisées dans nos modèles. Enfin, nous appliquons ces bornes à plusieurs problèmes pratiques : données gaussiennes, poissonniennes et processus exponentiels.
Origine : Fichiers produits par l'(les) auteur(s)