Nonlinear Acceleration of CNNs

Damien Scieur 1, 2 Edouard Oyallon 3, 4 Alexandre D'Aspremont 1, 2 Francis Bach 1, 2
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Abstract : The Regularized Nonlinear Acceleration (RNA) algorithm is an acceleration method capable of improving the rate of convergence of many optimization schemes such as gradient descend, SAGA or SVRG. Until now, its analysis is limited to convex problems, but empirical observations shows that RNA may be extended to wider settings. In this paper, we investigate further the benefits of RNA when applied to neural networks, in particular for the task of image recognition on CIFAR10 and ImageNet. With very few modifications of exiting frameworks, RNA improves slightly the optimization process of CNNs, after training.
Type de document :
Communication dans un congrès
ICLR Workshop track, Apr 2018, Vancouver, Canada
Liste complète des métadonnées

Littérature citée [12 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-01805251
Contributeur : Damien Scieur <>
Soumis le : vendredi 1 juin 2018 - 16:35:13
Dernière modification le : lundi 1 octobre 2018 - 17:00:03
Document(s) archivé(s) le : mercredi 26 septembre 2018 - 13:27:03

Fichier

ICLR2018_Workshop.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01805251, version 3

Citation

Damien Scieur, Edouard Oyallon, Alexandre D'Aspremont, Francis Bach. Nonlinear Acceleration of CNNs. ICLR Workshop track, Apr 2018, Vancouver, Canada. 〈hal-01805251v3〉

Partager

Métriques

Consultations de la notice

141

Téléchargements de fichiers

41