Sparse Accelerated Exponential Weights

Pierre Gaillard 1 Olivier Wintenberger 2, 3
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Abstract : We consider the stochastic optimization problem where a convex function is minimized observing recursively the gradients. We introduce SAEW, a new procedure that accelerates exponential weights procedures with the slow rate 1/ √ T to procedures achieving the fast rate 1/T. Under the strong convexity of the risk, we achieve the optimal rate of convergence for approximating sparse parameters in R^d. The acceleration is achieved by using successive averaging steps in an online fashion. The procedure also produces sparse estimators thanks to additional hard threshold steps.
Type de document :
Communication dans un congrès
20th International Conference on Artificial Intelligence and Statistics (AISTATS), Apr 2017, Fort Lauderdale, United States. 2017
Liste complète des métadonnées

https://hal.archives-ouvertes.fr/hal-01376808
Contributeur : Pierre Gaillard <>
Soumis le : lundi 17 octobre 2016 - 10:32:47
Dernière modification le : jeudi 26 avril 2018 - 10:28:57
Document(s) archivé(s) le : vendredi 3 février 2017 - 16:16:54

Fichiers

GaillardWintenberger2016-SAEW....
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01376808, version 1

Collections

Citation

Pierre Gaillard, Olivier Wintenberger. Sparse Accelerated Exponential Weights. 20th International Conference on Artificial Intelligence and Statistics (AISTATS), Apr 2017, Fort Lauderdale, United States. 2017. 〈hal-01376808〉

Partager

Métriques

Consultations de la notice

284

Téléchargements de fichiers

67