Non-parametric Stochastic Approximation with Large Step sizes

Aymeric Dieuleveut 1, 2 Francis Bach 1, 2
1 SIERRA - Statistical Machine Learning and Parsimony
DI-ENS - Département d'informatique de l'École normale supérieure, ENS Paris - École normale supérieure - Paris, Inria Paris-Rocquencourt, CNRS - Centre National de la Recherche Scientifique : UMR8548
Abstract : We consider the random-design least-squares regression problem within the reproducing kernel Hilbert space (RKHS) framework. Given a stream of independent and identically distributed input/output data, we aim to learn a regression function within an RKHS $\mathcal{H}$, even if the optimal predictor (i.e., the conditional expectation) is not in $\mathcal{H}$. In a stochastic approximation framework where the estimator is updated after each observation, we show that the averaged unregularized least-mean-square algorithm (a form of stochastic gradient), given a sufficient large step-size, attains optimal rates of convergence for a variety of regimes for the smoothnesses of the optimal prediction function and the functions in $\mathcal{H}$.
Type de document :
Rapport
[Research Report] DIENS INRIA. 2015
Liste complète des métadonnées

Littérature citée [48 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-01053831
Contributeur : Aymeric Dieuleveut <>
Soumis le : vendredi 24 juillet 2015 - 09:18:21
Dernière modification le : vendredi 25 mai 2018 - 12:02:06
Document(s) archivé(s) le : dimanche 25 octobre 2015 - 10:24:23

Fichier

non-par-stoch-approximatio-rev...
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01053831, version 2

Collections

Citation

Aymeric Dieuleveut, Francis Bach. Non-parametric Stochastic Approximation with Large Step sizes. [Research Report] DIENS INRIA. 2015. 〈hal-01053831v2〉

Partager

Métriques

Consultations de la notice

426

Téléchargements de fichiers

143