Regularized Nonlinear Acceleration

Damien Scieur 1 Alexandre D'Aspremont 2 Francis Bach 1
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Abstract : We describe a convergence acceleration technique for generic optimization problems. Our scheme computes estimates of the optimum from a nonlinear average of the iterates produced by any optimization method. The weights in this average are computed via a simple linear system, whose solution can be updated online. This acceleration scheme runs in parallel to the base algorithm, providing improved estimates of the solution on the fly, while the original optimization method is running. Numerical experiments are detailed on classical classification problems.
Type de document :
Pré-publication, Document de travail
2016
Liste complète des métadonnées

Littérature citée [28 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-01384682
Contributeur : Alexandre D'Aspremont <>
Soumis le : lundi 14 novembre 2016 - 09:46:55
Dernière modification le : jeudi 26 avril 2018 - 10:29:13
Document(s) archivé(s) le : mardi 14 mars 2017 - 18:17:50

Fichier

RegularizedNonlinearAccelerati...
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01384682, version 1
  • ARXIV : 1606.04133

Collections

Citation

Damien Scieur, Alexandre D'Aspremont, Francis Bach. Regularized Nonlinear Acceleration. 2016. 〈hal-01384682〉

Partager

Métriques

Consultations de la notice

279

Téléchargements de fichiers

391