Entropies et critères entropiques
Résumé
Ce chapitre est centré sur les notions d'entropies et de lois à maximum d'entropie qui seront caractérisées selon plusieurs angles. Au delà des liens avec les applications en ingénierie puis en physique, on montrera qu'il est possible de bâtir des fonction-nelles régularisantes fondées sur l'emploi d'une technique à maximum d'entropie, qui peuvent alors éventuellement être utilisées comme potentiels ad hoc dans des pro-blèmes d'inversion de données. Le chapitre débute par un tour d'horizon des principales propriétés des mesures d'information, et par l'introduction de différentes notions et définitions. En particu-lier, on définit la divergence de Rényi, on présente la notion de distribution escorte, et on commente le principe du maximum d'entropie qui sera utilisé par la suite. On présente ensuite un problème classique d'ingénierie, le problème du codage de source, et on montre l'intérêt d'utiliser des mesures de longueur différentes de la mesure stan-dard, et en particulier une mesure exponentielle, qui conduit à un théorème de codage de source dont la borne minimale est une entropie de Rényi. On montre également que les codes optimaux peuvent être calculés aisément grâce aux distributions escortes. En section 1.4, on introduit et on étudie un modèle simple de transition d'état. Ce modèle conduit à une distribution d'équilibre définie comme une distribution escorte généra-lisée, et conduit en sous-produit, à nouveau à une entropie de Rényi. On étudie le flux d'information de Fisher le long de la courbe définie par la distribution escorte géné-ralisée, et on obtient des connections avec la divergence de Jeffreys. Finalement, on obtient différents arguments qui, dans ce cadre, conduisent à une méthode d'inférence fondée sur la minimisation de l'entropie de Rényi sous une contrainte de moyenne généralisée, i.e. prise vis-à-vis de la distribution escorte. À partir de la section 1.5.3, on s'intéresse alors à la minimisation de la divergence de Rényi sous une contrainte
Origine : Fichiers produits par l'(les) auteur(s)
Loading...