Exponential convergence of testing error for stochastic gradient methods

Loucas Pillaud-Vivien 1 Alessandro Rudi 1 Francis Bach 1
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, CNRS - Centre National de la Recherche Scientifique, Inria de Paris
Abstract : We consider binary classification problems with positive definite kernels and square loss, and study the convergence rates of stochastic gradient methods. We show that while the excess testing loss (squared loss) converges slowly to zero as the number of observations (and thus iterations) goes to infinity, the testing error (classification error) converges exponentially fast if low-noise conditions are assumed.
Type de document :
Pré-publication, Document de travail
2017
Liste complète des métadonnées

Littérature citée [38 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-01662278
Contributeur : Francis Bach <>
Soumis le : mardi 12 décembre 2017 - 23:59:04
Dernière modification le : jeudi 11 janvier 2018 - 06:28:04

Fichiers

exponential_sgd_hal_arxiv.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01662278, version 1
  • ARXIV : 1712.04755

Collections

Citation

Loucas Pillaud-Vivien, Alessandro Rudi, Francis Bach. Exponential convergence of testing error for stochastic gradient methods. 2017. 〈hal-01662278〉

Partager

Métriques

Consultations de la notice

80

Téléchargements de fichiers

214