Coordination of parallel learning processes in animals and robots
Coordination de processus parallèles d’apprentissage chez les animaux et les robots
Résumé
This HDR manuscript presents research work at the interface between Computational Neuroscience and Cognitive Robotics aiming to better understand how animals and robots can display behavioral adaptation capabilities in their partially unknown and changing environment. Previous studies have shown that the mammalian brain combines parallel learning processes in different memory systems. During instrumental conditioning as well as navigation, this permits initial learning based on a model of the environment followed by the progressive expression of learned habits. In computational terms, this can be formalized as a progressive shift from model-based to model-free reinforcement learning. The manuscript presents :
1) Proposed computational solutions for the coordination of parallel learning processes to explain animal behavior during conditioning and navigation ;
2) Uses of learning models to analyze behavioral and neural correlates of learning ; 3) Implementations of neuro-inspired learning models in robots interacting with the real world. The manuscript highlights the gain of these exchanges between disciplines to further discuss the resulting research program.
Cette thèse de HDR présente des travaux à l’interface entre Neurosciences Computationnelles et Robotique Cognitive visant à mieux comprendre comment animaux et robots peuvent faire preuve de capacités d’adaptation comportementale dans des environnements partiellement inconnus et changeants. Ils se basent sur l’observation que le cerveau coordonne différents processus parallèles d’apprentissage dans différents systèmes de mémoire. En conditionnement instrumental comme en navigation, cela permet un apprentissage initial basé sur un modèle interne du monde (model-based reinforcement learning (RL)) basculant sur l’apprentissage d’habitudes comportementales (model-free RL). Le manuscrit présente donc
1) Des solutions computationnelles proposées pour la coordination de ces processus d’apprentissage ; 2) L’utilisation de ces modèles pour l’analyses de corrélats comportementaux et neuraux de l’apprentissage ; 3) L’implémentation de ces modèles dans des robots interagissant avec le monde réel. Enfin, les échanges entre ces disciplines sont discutés dans la perspective du projet de recherche proposé.