Choix de la fonction de renforcement et des valeurs initiales pour accélérer les problèmes d'Apprentissage par Renforcement de plus court chemin stochastique.

Laëtitia Matignon (1) , Guillaume J. Laurent (1) , Nadine Le Fort-Piat (1)

1 LAB - Laboratoire d'automatique de Besançon

Un point important en apprentissage par renforcement (AR) est l'amélioration de la vitesse de convergence du processus d'apprentissage. Nous proposons dans cet article d'étudier l'influence de certains paramètres de l'AR sur la vitesse d'apprentissage. En effet, bien que les propriétés de convergence de l'AR ont été largement étudiées, peu de règles précises existent pour choisir correctement la fonction de renforcement et les valeurs initiales de la table Q. Notre méthode aide au choix de ces paramètres dans le cadre de problèmes de type goal-directed, c'est-à-dire dont l'objectif est d'atteindre un but en un minimum de temps. Nous développons une étude théorique et proposons ensuite des justifications expérimentales pour choisir d'une part la fonction de renforcement et d'autre part des valeurs initiales particulières de la table Q, basées sur une fonction d'influence.

Mots clés: reward shaping; Apprentissage par renforcement de type goal-directed; fonction de renforcement; initialisation de la table Q; fonction d'influence; reward shaping.

Domaines: Automatique / Robotique

Laëtitia Matignon, Guillaume J. Laurent, Nadine Le Fort-Piat. Choix de la fonction de renforcement et des valeurs initiales pour accélérer les problèmes d'Apprentissage par Renforcement de plus court chemin stochastique.. Journées Francophones sur la Planification, la Décision et l'Apprentissage pour la Conduite de Systèmes, JFPDA'06., May 2006, Toulouse, France. pp.107-114. ⟨hal-00339340⟩