Entropies et critères entropiques

Résumé : Ce chapitre est centré sur les notions d'entropies et de lois à maximum d'entropie qui seront caractérisées selon plusieurs angles. Au delà des liens avec les applications en ingénierie puis en physique, on montrera qu'il est possible de bâtir des fonction-nelles régularisantes fondées sur l'emploi d'une technique à maximum d'entropie, qui peuvent alors éventuellement être utilisées comme potentiels ad hoc dans des pro-blèmes d'inversion de données. Le chapitre débute par un tour d'horizon des principales propriétés des mesures d'information, et par l'introduction de différentes notions et définitions. En particu-lier, on définit la divergence de Rényi, on présente la notion de distribution escorte, et on commente le principe du maximum d'entropie qui sera utilisé par la suite. On présente ensuite un problème classique d'ingénierie, le problème du codage de source, et on montre l'intérêt d'utiliser des mesures de longueur différentes de la mesure stan-dard, et en particulier une mesure exponentielle, qui conduit à un théorème de codage de source dont la borne minimale est une entropie de Rényi. On montre également que les codes optimaux peuvent être calculés aisément grâce aux distributions escortes. En section 1.4, on introduit et on étudie un modèle simple de transition d'état. Ce modèle conduit à une distribution d'équilibre définie comme une distribution escorte généra-lisée, et conduit en sous-produit, à nouveau à une entropie de Rényi. On étudie le flux d'information de Fisher le long de la courbe définie par la distribution escorte géné-ralisée, et on obtient des connections avec la divergence de Jeffreys. Finalement, on obtient différents arguments qui, dans ce cadre, conduisent à une méthode d'inférence fondée sur la minimisation de l'entropie de Rényi sous une contrainte de moyenne généralisée, i.e. prise vis-à-vis de la distribution escorte. À partir de la section 1.5.3, on s'intéresse alors à la minimisation de la divergence de Rényi sous une contrainte
Type de document :
Chapitre d'ouvrage
Jean-François GIOVANNELLI, Jérome IDIER. Méthodes d'inversion appliquées au traitement du signal et de l'image, HERMÈS / LAVOISIER, 2013, Méthodes d'inversion appliquées au traitement du signal et de l'image, 2746245485. <http://www.lavoisier.fr/livre/electricite-electronique/methodes-d-inversion-appliquees-au-traitement-du-signal-et-de-l-image/giovannelli/descriptif-9782746245488>
Liste complète des métadonnées

https://hal.archives-ouvertes.fr/hal-01087503
Contributeur : Jean-François Bercher <>
Soumis le : mercredi 26 novembre 2014 - 14:29:10
Dernière modification le : mercredi 27 janvier 2016 - 17:35:40
Document(s) archivé(s) le : vendredi 27 février 2015 - 11:31:10

Fichier

chapJFBv2.2_alone.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01087503, version 1

Collections

Citation

Jean-François Bercher. Entropies et critères entropiques. Jean-François GIOVANNELLI, Jérome IDIER. Méthodes d'inversion appliquées au traitement du signal et de l'image, HERMÈS / LAVOISIER, 2013, Méthodes d'inversion appliquées au traitement du signal et de l'image, 2746245485. <http://www.lavoisier.fr/livre/electricite-electronique/methodes-d-inversion-appliquees-au-traitement-du-signal-et-de-l-image/giovannelli/descriptif-9782746245488>. <hal-01087503>

Partager

Métriques

Consultations de
la notice

149

Téléchargements du document

156