Ambiguity in the representation of emotions: a literature review of multimodal databases

L'ambiguïté dans la représentation des émotions : état de l'art des bases de données multimodales

Hélène Tran (1, 2) , Lisa Brelet (2) , Issam Falih (1) , Xavier Goblet (2) , Engelbert Mephu Nguifo (1)

1 LIMOS - Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes
2 Jeolis Solutions

Emotion recognition is a core element in the development of emotional intelligence in machines. Early models are designed to recognise full-blown emotions which are easily identifiable. However, we rarely experience these types of emotion in our daily lives. Identifying our own and others' emotions with confidence is often difficult: this is called emotional ambiguity. Databases are the building blocks of the development of emotion recognition systems, hence they should introduce ambiguity in emotional representation. This paper summarises the main emotional representations and proposes a literature review of the most used multimodal databases in emotion recognition, with a study of their position on the problem. The paper further discusses the possibility of representing emotion ambiguity from the selected databases.

La reconnaissance des émotions est une brique fondamentale dans l'octroi de l'intelligence émotionnelle aux machines. Les premiers modèles ont été conçus pour reconnaître les émotions fortement exprimées et facilement identifiables. Cependant, nous sommes rarement en proie à ce type d'émotions dans notre vie quotidienne. La plupart du temps, nous éprouvons une difficulté à identifier avec certitude notre propre émotion et celle d'autrui : c'est l'ambiguïté émotionnelle. Les bases de données, à la racine du développement des systèmes de reconnaissance, doivent permettre d'introduire l'ambiguïté dans la représentation émotionnelle. Ce papier résume les principales représentations émotionnelles et propose un état de l'art des bases de données multimodales pour la reconnaissance des émotions, avec une étude de leur positionnement sur la problématique. Le papier poursuit sur une discussion de la possibilité de représenter l'ambiguïté des émotions à partir des bases de données sélectionnées.

Domaines: Intelligence artificielle [cs.AI]; Apprentissage [cs.LG]; Base de données [cs.DB]; Psychologie

Hélène Tran, Lisa Brelet, Issam Falih, Xavier Goblet, Engelbert Mephu Nguifo. L'ambiguïté dans la représentation des émotions : état de l'art des bases de données multimodales. Conférence Extraction et Gestion de Connaissances, Jan 2022, Blois, France. ⟨hal-03485239⟩