Distributed Embodied Evolutionary Adaptation of Behaviors in Swarms of Robotic Agents - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2017

Distributed Embodied Evolutionary Adaptation of Behaviors in Swarms of Robotic Agents

Adaptation par Évolution Distribuée et Incarnée de Comportements dans des Essaims d'Agents Robotiques

Résumé

Robot swarms are systems composed of a large number of rather simple robots. Due to the large number of units, these systems, have good properties concerning robustness and scalability, among others. However, it remains generally difficult to design controllers for such robotic systems, particularly due to the complexity of inter-robot interactions. Consequently, automatic approaches to synthesize behavior in robot swarms are a compelling alternative. One of these approaches, Embodied Evolutionary Robotics (EER), opens many possibilities, due to learning taking place in parallel for each robot in the swarm, while deployed for task operation, i.e. online. Parallel evaluations and information exchanges among robots accelerate learning, which is open-ended, thus allowing for potential adaptation to changing conditions. That said, EER approaches are relatively new, and their properties remain to be studied. In this thesis, we focus on online behavior adaptation in a swarm of robots using distributed EER methods. We consider a swarm of robots that coexist in an environment, and must progressively adapt to given tasks. Additionally, since robots may face changing conditions that may repeat over time, retaining acquired knowledge about previous conditions could improve their adaptivity. However, when confronted to new situations, adaptive systems may instantaneously forget what was learned before, thus hindering such adaptivity. The contributions in this thesis aim at investigating and improving the adaptivity of evolving robot swarms. To this end, we provide four main contributions: We investigate the influence of task-driven selection pressure in a swarm of robotic agents using a distributed EER approach. We evaluate the impact of a range of selection operators on the performance of a distributed EER algorithm for a robot swarm. The results show that task-driven selection pressure is necessary when addressing given tasks in such a distributed setup, and the higher the selection pressure, the better the performances obtained. We investigate the evolution of collaborative behaviors in a swarm of robotic agents using a distributed EER approach. We perform a set of experiments for a swarm of robots to adapt to a collaborative item collection task that cannot be solved by a single robot. Our results show that the swarm learns to collaborate to solve the task using a distributed approach. Additionally, some inefficiencies regarding learning to choose actions to collect items are analyzed, and perspectives are discussed to improve action choice. We propose and experimentally validate a completely distributed mechanism that allows to learn the structure and parameters of the robot neurocontrollers in a swarm using a distributed EER approach. This allows for the robot controllers to augment their capacity and expressivity. Our experiments show that our fully-decentralized mechanism leads to similar results as a mechanism that depends on global information. We propose an algorithm to avoid forgetting from the perspective of an evolving population when adapting to changing conditions. In a set of preliminary experiments, we test a centralized version of the algorithm, showing the feasibility of the approach.Finally, we discuss how it can be transferred to the decentralized context of distributed EER.
Les essaims de robots sont des systèmes composés d’un grand nombre de robots relativement simples. Du fait du grand nombre d’unités, ces systèmes ont de bonnes propriétés de robustesse et de passage à l’échelle. Néanmoins, il reste en général difficile de concevoir manuellement des contrôleurs pour les essaims de robots, à cause de la grande complexité des interactions inter-robot. Par conséquent, les approches automatisées pour l’apprentissage de comportements d’essaims de robots constituent une alternative attrayante. Une de ces approches, Embodied Evolutionary Robotics (EER), ouvre de nombreuses possibilités, puisque l’apprentissage est mené en parallèle par chaque robot de l’essaim et en ligne pendant l’exécution de la tâche. Grâce à cette parallélisation et aux échanges d’information entre les robots, l’apprentissage est accéléré, et, en outre, vu que l’apprentissage a lieu en continu, l’adaptation à des conditions variables devient possible. Dans cette thèse, nous étudions l'adaptation de comportements d’essaim de robots avec des méthodes de EER distribuée. Nous considérons un essaim de robots dans un environnement, qui doivent s’adapter progressivement pour réaliser les tâches qui leur sont affectées. Vu que les robots peuvent confronter différentes tâches au cours du temps, et qu'elles peuvent se répéter, retenir des comportements efficaces afin de les exécuter lorsqu'elles reapparaîtront pourrait améliorer l'adaptativité de l'essaim. Par contre, quand ils sont confrontés à des nouvelles tâches, les systèmes adaptatifs sont susceptibles d’oublier de manière immédiate ce qu’ils ont appris en amont, ce qui nuit cette adaptativité. Les contributions dans cette thèse visent à investiguer et améliorer l'adaptativité des essaims de robots. Ainsi, nous fournissons quatre contributions principales: Nous étudions l’influence de la pression à la sélection dirigée vers une tâche dans un essaim d’agents robotiques qui utilisent une approche d’EER distribuée. Nous évaluons l’impact de différents opérateurs de sélection dans un algorithme d’EER distribuée pour un essaim de robots. Nos résultats montrent que la sélection est nécessaire lorsque les robots doivent s'adapter à des tâches particulières. De plus, lorsque la pression à la sélection est plus forte, les performances sont meilleures. Nous étudions l’évolution de comportements collaboratifs pour une tâche de récolte d’objets dans un essaim d’agents robotiques qui utilisent une approche d’EER distribuée. Nous réalisons un ensemble d’expériences où un essaim de robots s'adapte à une tâche collaborative avec un algorithme d'EER distribuée. Nos résultats montrent que l’essaim s'adapte à résoudre la tâche. Des limitations concernant l’apprentissage du choix d’action pour récolter des objets sont identifiées, et nous présentons des perspectives pour l'améliorer. Nous proposons et validons par des expériences un mécanisme complètement distribué qui permet d’adapter la structure des neurocontrôleurs des robots dans un essaim qui utilise une approche d’EER distribuée. Ceci permet aux contrôleurs des robots d’augmenter leur expressivité et leur capacité de stockage. Nos expériences montrent que notre mécanisme, qui est complètement décentralisé, fournit des résultats similaires à un mécanisme qui dépend d’une information globale. Nous proposons un algorithme pour éviter l’oubli selon la perspective d’une population qui s'adapte à des conditions qui changent. Nous réalisons des expériences préliminaires avec une version centralisée de l'algorithme, et nos résultats montrent la faisabilité de l'approche. Enfin, nous discutons comment adapter l'approche au contexte décentralisé de l’EER distribuée.
Fichier principal
Vignette du fichier
thesis.pdf (9.32 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

tel-01695773 , version 1 (06-02-2018)
tel-01695773 , version 2 (13-02-2018)

Identifiants

  • HAL Id : tel-01695773 , version 1

Citer

Iñaki Fernández Pérez. Distributed Embodied Evolutionary Adaptation of Behaviors in Swarms of Robotic Agents. Multiagent Systems [cs.MA]. Université de Lorraine, 2017. English. ⟨NNT : ⟩. ⟨tel-01695773v1⟩
329 Consultations
431 Téléchargements

Partager

Gmail Facebook X LinkedIn More