Acceleration in Optimization

Damien Scieur 1, 2
2 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Résumé : Dans de nombreux domaines, comme par exemple l'optimisation, la performance d'une méthode est souvent caractérisée par son taux de convergence. Cependant, accélérer un algorithme requiert une certaine connaissance de la structure du problème et de telles améliorations sont le fruit d'une étude au cas-par-cas. De nombreuses techniques d'accélération ont été développées ces dernières décennies et sont maintenant massivement utilisées. En dépit de leur simplicité, ces méthodes sont souvent basées sur des arguments purement algébriques et n'ont généralement pas d'explications intuitives. Récemment, de nombreux travaux ont été menés pour faire des liens entre les algorithmes accélérés et d'autres domaines scientifiques, comme par exemple avec la théorie du contrôle ou des équations différentielles. Cependant, ces explications reposent souvent sur des arguments complexes et la plupart utilise des outils non-conventionnels dans leur analyse. Une des contributions de cette thèse est une tentative d'explication des algorithmes accélérés en utilisant la théorie des méthodes d'intégration, qui a été très étudiée et jouit d'une analyse théorique solide. En particulier, nous montrons que les méthodes d'optimisation sont en réalité des instances de méthode d'intégration, lorsqu'on intègre l'équation du flot de gradient. Avec des arguments standards, nous expliquons intuitivement l'origine de l'accélération. De l'autre côté, les méthodes accélérées ont besoin de paramètres supplémentaires, en comparaison d'autres méthodes plus lentes, qui sont généralement difficiles à estimer. De plus, ces schémas sont construits pour une configuration particulière et ne peuvent pas être utilisés autre part. Ici, nous explorons une autre approche pour accélérer les algorithmes d'optimisation, qui utilise des arguments d'accélération générique. En analyse numérique, ces outils ont été développés pour accélérer des séquences de scalaires ou de vecteurs, en construisant parallèlement une autre séquence avec un meilleur taux de convergence. Ces méthodes peuvent être combinées avec un algorithme itératif, l'accélérant dans la plupart des cas. En pratique, ces méthodes d'extrapolation ne sont pas tellement utilisées, notamment dû à leur manque de garanties de convergence et leur instabilité. Nous étendons ces méthodes en les régularisant, ce qui permettra une analyse théorique plus profonde et des résultats de convergence plus fort, en particulier lorsqu'elles sont appliquées à des méthodes d'optimisation.
Type de document :
Thèse
Optimization and Control [math.OC]. PSL Research University, 2018. English
Liste complète des métadonnées

Littérature citée [27 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/tel-01887163
Contributeur : Damien Scieur <>
Soumis le : mercredi 3 octobre 2018 - 16:49:32
Dernière modification le : vendredi 5 octobre 2018 - 16:27:56

Fichier

thesis_main.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : tel-01887163, version 1

Collections

Citation

Damien Scieur. Acceleration in Optimization. Optimization and Control [math.OC]. PSL Research University, 2018. English. 〈tel-01887163〉

Partager

Métriques

Consultations de la notice

248

Téléchargements de fichiers

171