Nonlinear Acceleration of Stochastic Algorithms

Damien Scieur 1 Alexandre D'Aspremont 1 Francis Bach 1
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Abstract : Extrapolation methods use the last few iterates of an optimization algorithm to produce a better estimate of the optimum. They were shown to achieve optimal convergence rates in a deterministic setting using simple gradient iterates. Here, we study extrapolation methods in a stochastic setting, where the iterates are produced by either a simple or an accelerated stochastic gradient algorithm. We first derive convergence bounds for arbitrary, potentially biased perturbations, then produce asymptotic bounds using the ratio between the variance of the noise and the accuracy of the current point. Finally, we apply this acceleration technique to stochastic algorithms such as SGD, SAGA, SVRG and Katyusha in different settings, and show significant performance gains.
Type de document :
Pré-publication, Document de travail
2017
Liste complète des métadonnées

Littérature citée [22 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-01618379
Contributeur : Damien Scieur <>
Soumis le : mardi 17 octobre 2017 - 18:15:36
Dernière modification le : jeudi 11 janvier 2018 - 06:28:04
Document(s) archivé(s) le : jeudi 18 janvier 2018 - 15:02:50

Fichier

1706.07270.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01618379, version 1

Collections

Citation

Damien Scieur, Alexandre D'Aspremont, Francis Bach. Nonlinear Acceleration of Stochastic Algorithms. 2017. 〈hal-01618379〉

Partager

Métriques

Consultations de la notice

190

Téléchargements de fichiers

28