Sharpness, Restart and Acceleration

Vincent Roulet 1, 2 Alexandre D'Aspremont 1, 2
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Abstract : The Łojasievicz inequality shows that sharpness bounds on the minimum of convex optimization problems hold almost generically. Here, we show that sharpness directly controls the performance of restart schemes. The constants quantifying sharpness are of course unobservable, but we show that optimal restart strategies are fairly robust, and searching for the best scheme only increases the complexity by a logarithmic factor compared to the optimal bound. Overall then, restart schemes generically accelerate accelerated methods.
Type de document :
Pré-publication, Document de travail
2017
Liste complète des métadonnées

https://hal.archives-ouvertes.fr/hal-01474362
Contributeur : Vincent Roulet <>
Soumis le : mercredi 22 février 2017 - 17:00:10
Dernière modification le : jeudi 11 janvier 2018 - 06:28:04
Document(s) archivé(s) le : mardi 23 mai 2017 - 14:35:38

Fichier

Sharpness_Restart_Acceleration...
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01474362, version 1
  • ARXIV : 1702.03828

Collections

Citation

Vincent Roulet, Alexandre D'Aspremont. Sharpness, Restart and Acceleration. 2017. 〈hal-01474362〉

Partager

Métriques

Consultations de la notice

239

Téléchargements de fichiers

52