Apprentissage par renforcement exploitant la structure additive des MDP factorisés

Thomas Degris , Olivier Sigaud (1) , Pierre-Henri Wuillemin (2)

1 Animatlab
2 DECISION

SDYNA est un cadre algorithmique générique pour traiter des problèmes d’apprentissage par renforcement factorisés de grande taille dont la structure est inconnue selon une approche à base de modèles. L’approche consiste à construire incrémentalement les fonctions de transition et de récompense d’un FMDP tout en utilisant des techniques de planification propres aux FMDP pour déterminer une politique efficace. Des instanciations précédentes de SDYNA utilisaient Structured Value Iteration pour planifier, mais n’exploitaient pas la structure additive d’un FMDP . Dans cette contribution, nous présentons une nouvelle instanciation reposant sur la programmation linéaire, capable de traiter des problèmes de $10^{11}$ états dont la structure est inconnue en exploitant leur structure additive. De plus, nous proposons un nouvel algorithme d’apprentissage qui accélère la construction du modèle par SDYNA .

Domaines: Informatique [cs]

Thomas Degris, Olivier Sigaud, Pierre-Henri Wuillemin. Apprentissage par renforcement exploitant la structure additive des MDP factorisés. JFPDA 2007 - 2e Journées Francophones Planification, Décision, Apprentissage pour la conduite de système, Jul 2007, Grenoble, France. pp.49-60. ⟨hal-01305984⟩