Recherche locale de politique dans un espace convexe

Bruno Scherrer 1, 2 Matthieu Geist 3
1 BIGS - Biology, genetics and statistics
Inria Nancy - Grand Est, IECL - Institut Élie Cartan de Lorraine
3 MALIS - MAchine Learning and Interactive Systems
SUPELEC-Campus Metz, CentraleSupélec
Résumé : En apprentissage par renforcement, la recherche locale de politique est une approche classique permettant de prendre en compte de grands espaces d'état. Formellement, elle consiste à chercher localement dans un espace de politiques paramétrées la solution qui va maximiser la fonction de valeur associée, moyennée selon une loi prédéfinie sur les états. La première contribution de cet article montre que si l'espace de politiques est convexe, \emph{tout optimum local} (approché) présente une \emph{garantie globale de performance}. Malheureusement, supposer la convexité de l'espace de recherche est une hypothèse forte : elle n'est pas satisfaite par les représentations usuelles des politiques et définir une paramétrisation non triviale qui satisfasse cette propriété est difficile. Une solution naturelle pour palier ce problème est d'optimiser la fonction objectif associée grâce à une montée de gradient fonctionnel, la recherche étant contrainte à l'enveloppe convexe de l'espace de politiques. Il s'avère que l'algorithme résultant est une légère généralisation du schéma d'itération conservative de la politique. Ainsi, notre seconde contribution consiste à souligner cette connexion originale entre recherche locale de politique et programmation dynamique approchée.
Type de document :
Article dans une revue
Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, Lavoisier, 2015, 29 (6), pp.685-704. 〈10.3166/RIA.29.685-706〉
Liste complète des métadonnées

Littérature citée [27 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-01275247
Contributeur : Matthieu Geist <>
Soumis le : mardi 8 mars 2016 - 16:08:46
Dernière modification le : mardi 16 octobre 2018 - 14:58:04
Document(s) archivé(s) le : jeudi 10 novembre 2016 - 19:27:38

Fichier

ria_lps_hal_v2.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

Citation

Bruno Scherrer, Matthieu Geist. Recherche locale de politique dans un espace convexe. Revue des Sciences et Technologies de l'Information - Série RIA : Revue d'Intelligence Artificielle, Lavoisier, 2015, 29 (6), pp.685-704. 〈10.3166/RIA.29.685-706〉. 〈hal-01275247〉

Partager

Métriques

Consultations de la notice

209

Téléchargements de fichiers

92