Autour De L'Usage des gradients en apprentissage statistique

Pierre-Yves Massé 1, 2
2 TAU - TAckling the Underspecified
LRI - Laboratoire de Recherche en Informatique, UP11 - Université Paris-Sud - Paris 11, Inria Saclay - Ile de France, CNRS - Centre National de la Recherche Scientifique : UMR8623
Résumé : Nous établissons un théorème de convergence locale de l'algorithme classique d'optimisation de système dynamique RTRL, appliqué à un système non linéaire. L'algorithme RTRL est un algorithme en ligne, mais il doit maintenir une grande quantités d'informations, ce qui le rend impropre à entraîner des systèmes d'apprentissage de taille moyenne. L'algorithme NBT y remédie en maintenant une approximation aléatoire non biaisée de faible taille de ces informations. Nous prouvons également la convergence avec probabilité arbitrairement proche de un, de celui-ci vers l'optimum local atteint par l'algorithme RTRL. Nous formalisons également l'algorithme LLR et en effectuons une étude expérimentale, sur des données synthétiques. Cet algorithme met à jour de manière adaptive le pas d'une descente de gradient, par descente de gradient sur celui-ci. Il apporte ainsi une réponse partielle au problème de la fixation numérique du pas de descente, dont le choix influence fortement la procédure de descente et qui doit sinon faire l'objet d'une recherche empirique potentiellement longue par le praticien.
Liste complète des métadonnées

Littérature citée [65 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-01744761
Contributeur : Abes Star <>
Soumis le : mardi 27 mars 2018 - 16:07:07
Dernière modification le : mardi 8 janvier 2019 - 08:36:01
Document(s) archivé(s) le : jeudi 13 septembre 2018 - 09:45:57

Fichier

75927_MASSE_2017_archivage.pdf
Version validée par le jury (STAR)

Identifiants

  • HAL Id : tel-01744761, version 1

Citation

Pierre-Yves Massé. Autour De L'Usage des gradients en apprentissage statistique. Systèmes dynamiques [math.DS]. Université Paris-Saclay, 2017. Français. 〈NNT : 2017SACLS568〉. 〈tel-01744761〉

Partager

Métriques

Consultations de la notice

282

Téléchargements de fichiers

209