Asaga: Asynchronous Parallel Saga

Rémi Leblond 1, 2 Fabian Pedregosa 1, 2 Simon Lacoste-Julien 1, 2, 3
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Abstract : We describe Asaga, an asynchronous parallel version of the incremental gradient algorithm Saga that enjoys fast linear convergence rates. We highlight a subtle but important technical issue present in a large fraction of the recent convergence rate proofs for asynchronous parallel optimization algorithms, and propose a simplification of the recently proposed " perturbed iterate " framework that resolves it. We thereby prove that Asaga can obtain a theoretical linear speedup on multi-core systems even without sparsity assumptions. We present results of an implementation on a 40-core architecture illustrating the practical speedup as well as the hardware overhead.
Type de document :
Pré-publication, Document de travail
2016
Liste complète des métadonnées

Littérature citée [23 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-01407833
Contributeur : Rémi Leblond <>
Soumis le : vendredi 2 décembre 2016 - 15:39:42
Dernière modification le : jeudi 26 avril 2018 - 10:29:08
Document(s) archivé(s) le : jeudi 23 mars 2017 - 00:10:35

Fichier

1606.04809v1.pdf
Fichiers produits par l'(les) auteur(s)

Licence


Copyright (Tous droits réservés)

Identifiants

Collections

Citation

Rémi Leblond, Fabian Pedregosa, Simon Lacoste-Julien. Asaga: Asynchronous Parallel Saga. 2016. 〈hal-01407833〉

Partager

Métriques

Consultations de la notice

391

Téléchargements de fichiers

84