User-centered online reinforcement learning for emergent composition of ambient applications

Apprentissage en ligne par renforcement centré utilisateur pour la composition émergente d'applications ambiantes

Walid Younes (1) , Françoise Adreit (1, 2) , Sylvie Trouilhet (1) , Jean-Paul Arcangeli (1, 3)

1 IRIT-SMAC - Systèmes Multi-Agents Coopératifs
2 UT2J - Université Toulouse - Jean Jaurès
3 UT3 - Université Toulouse III - Paul Sabatier

Les systèmes cyber-physiques connectés et ambiants entourent l'utilisateur humain de services mis à sa disposition. Ces services, plus ou moins complexes, doivent être le plus possible adaptés à ses préférences et à la situation courante. Nous proposons de les construire automatiquement et à la volée par composition de services plus élémentaires présents sur le moment dans l'environnement, ceci sans expression préalable des besoins de l'utilisateur. Pour cela, avec la forte variabilité dynamique de l'environnement ambiant et des besoins, ce dernier doit être sollicité mais a minima. Afin de produire les connaissances nécessaires à la composition automatique et en l'absence de données initiales, nous définissons une solution d'apprentissage en ligne par renforcement à horizon infini. Cette solution apprend incrémentalement de l'utilisateur et pour l'utilisateur. Elle est décentralisée au sein d'un système multi-agent chargé de l'administration et de la composition des services.

Mots clés: Emergence; Sélection et composition de services; Apprentissage; Feedback utilisateur; Système multi-agent; Intelligence ambiante

Domaines: Système multi-agents [cs.MA]

Walid Younes, Françoise Adreit, Sylvie Trouilhet, Jean-Paul Arcangeli. Apprentissage en ligne par renforcement centré utilisateur pour la composition émergente d'applications ambiantes. Conférence francophone sur l'Apprentissage Automatique (CAp 2019), Plate-Forme Intelligence Artificielle (PFIA 2019), Jul 2019, Toulouse, France. pp.356-365. ⟨hal-02453126⟩