Théorie des Catégories et Critère de Contrôlabilité pour Atari 2600
Résumé
Reinforcement Learning aims at controlling a dynamic system or agent to get the best reward from its environment. However, when adding real-world constraints such as a limited number of trials and limited computing power, classic and state-of-the-art approaches may perform sub-optimally. We introduce mathematical concepts from control theory related to dynamic systems to alleviate the need for many trials, while formalizing a Machine Learning approach relying on mathematical analogies from category theory. We argue that our system is able to refute its own findings, as it is the case with any scientific approach. We then present what we believe is the first application of category theory to play Atari 2600 games, and we illustrate the use and benefits of analogies to transfer knowledge between games.
L'objectif de l'apprentissage par renforcement est de contrôler un agent ou système dynamique dans le but de tirer la meilleure récompense de son environnement. Tou-tefois, dès lors que l'on prend en compte des contraintes réalistes telles qu'un nombre restreint d'expériences ou une puissance de calcul limitée, les approches classiques perdent de leur efficacité. Nous introduisons des éléments de la théorie du contrôle pour diminuer le nombre d'essais requis. En parallèle, des outils mathématiques issus de la théorie des catégories nous permettent de formaliser une approche d'apprentis-sage automatique innovante reposant sur la formalisation d'analogies entre problèmes. Cette méthode suit une ap-proche scientifique en remettant en cause – si besoin est – ses propres conclusions. Enfin, nous présentons une pre-mière application de la théorie des catégories sur les jeux Atari 2600, et illustrons les avantages d'utiliser des analogies pour transférer des connaissances entre jeux vidéo.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...