Étude de la motivation intrinsèque en apprentissage par renforcement

Arthur Aubret (1) , Laëtitia Matignon (1) , Salima Hassas (1)

1 SyCoSMA - Systèmes Cognitifs et Systèmes Multi-Agents

Despite many existing works in reinforcement learning (RL) and the recent successes obtained by combining it with deep learning, RL is facing many challenges. Some of them, like the ability to abstract the action or the difficulty to conceive a reward function without expert knowledge, can be addressed by the use of intrinsic motivation. In this article, we provide a survey on the role of intrinsic motivation in RL and its different usages by detailing interests and limits of existing approaches. Our analysis suggests that mutual information is central to most of the work using intrinsic motivation in RL. The combination of deep RL and intrinsic motivation enables to learn more complicated and more generalisable behaviours than what enables standard RL.

Malgré les nombreux travaux existants en apprentissage par renforcement (AR) et les récents succès obtenus notamment en le combinant avec l'apprentissage profond, l'AR fait encore aujourd'hui face à de nombreux défis. Certains d'entre eux, comme la problématique de l'abstraction temporelle des actions ou la difficulté de concevoir une fonction de récompense sans connaissances ex-pertes, peuvent être adressées par l'utilisation de récompenses intrinsèques. Dans cet article, nous proposons une étude du rôle de la motivation intrinsèque en AR et de ses différents usages, en détaillant les intérêts et les limites des approches existantes. Notre analyse suggère que la notion d'information mutuelle est centrale à la plupart des travaux utilisant la motivation intrinsèque en AR. Celle-ci, combinée aux algorithmes d'AR profond, permet d'apprendre des comportements plus complexes et plus généralisables que ce que permet l'AR traditionnel.

Mots clés: Reinforcement learning; intrinsic motivation; curiosity; knowledge acquisition; options; generation of objectives; meta-reward

Mots clés: Apprentissage par renforcement; motivation intrinsèque; curiosité; acquisition de connaissances; empowerment; options; génération d'objectifs

Domaines: Intelligence artificielle [cs.AI]

Arthur Aubret, Laëtitia Matignon, Salima Hassas. Étude de la motivation intrinsèque en apprentissage par renforcement. Journées Francophones sur la Planification, la Décision et l'Apprentissage pour la conduite de systèmes, Jul 2019, Toulouse, France. ⟨hal-02272091⟩