Use of automated speech analysis and facial emotion measurements on videos to assess the effects of relaxation devices: a pilot study

Utilisation de l'analyse automatisée de la parole et des mesures des émotions faciales sur des vidéos pour évaluer les effets des dispositifs de relaxation: une étude pilote

Elisa Elleuch , Norma Gomes , Noelia Do Carmo Blanco , Christophe Zimmer , Nicklas Linz , Alexandra Konig (1, 2) , Rachid Guerchouche , Alice Guyon (3)

1 Inria - Institut National de Recherche en Informatique et en Automatique
2 STARS
3 IPMC - Institut de pharmacologie moléculaire et cellulaire

Rapid relaxation installations in order to reduce stress appear more and more in public or work places. However, the effects of such devices on physiological and psychological parameters have not been scientifically tested yet. This pilot study (N=40) evaluates the variations of vocal speech and facial emotions parameters in 3-minute videos of participant recorded just before and after relaxation, on four different groups, three of them using a different rapid (15 minutes) sensorial immersion relaxation devices and a control group using no device. Vocal speech parameters included sound duration, pause mean duration, sound duration ratio, mean vocal frequency (F0), standard deviation of F0, minimum and maximum of F0, jitter and shimmer. Facial emotion analysis included neutral, happy, sad, surprised, angry, disgusted, scared, contempt, valence and arousal. The objective of this study is to evaluate different parameters of the automated vocal and facial emotions analysis that could be of use to evaluate the relaxation effect of different devices and to measure their variations in the different experimental groups. We identified significant parameters that can be of use for evaluating rapid relaxation devices, particularly voice prosody and minimum vocal frequency, and some facial emotion such as happy, sad, the valence and arousal. Those parameters allowed us to discriminate distinct effects of the different devices used: in G1 (control) and G2 (spatialized sounds), we observed a slowdown in voice prosody; in G3 (Be-Breathe) a decrease in minimum vocal frequency and an increase of arousal; while in G4 (3D-video) we found an increase in facial emotion valence (happy increasing and sad decreasing). Other parameters tested were not affected by relaxation.

Les installations de relaxation rapide afin de réduire le stress apparaissent de plus en plus dans les lieux publics ou de travail. Cependant, les effets de ces dispositifs sur les paramètres physiologiques et psychologiques n'ont pas encore été testés scientifiquement. Cette étude pilote (N = 40) évalue les variations des paramètres de la parole vocale et des émotions faciales dans des vidéos de 3 minutes de participant enregistrées juste avant et après la relaxation, sur quatre groupes différents, trois d'entre eux utilisant une immersion sensorielle rapide (15 minutes) différente. des appareils de relaxation et un groupe témoin n'utilisant aucun appareil. Les paramètres de la parole vocale comprenaient la durée du son, la durée moyenne de la pause, le rapport de durée du son, la fréquence vocale moyenne (F0), l'écart type de F0, le minimum et le maximum de F0, la gigue et le miroitement. L'analyse des émotions faciales comprenait la neutralité, la joie, la tristesse, la surprise, la colère, le dégoût, la peur, le mépris, la valence et l'excitation. L'objectif de cette étude est d'évaluer différents paramètres de l'analyse automatisée des émotions vocales et faciales qui pourraient être utiles pour évaluer l'effet de relaxation de différents appareils et mesurer leurs variations dans les différents groupes expérimentaux. Nous avons identifié des paramètres significatifs qui peuvent être utiles pour évaluer les dispositifs de relaxation rapide, en particulier la prosodie de la voix et la fréquence vocale minimale, et certaines émotions faciales telles que le bonheur, la tristesse, la valence et l'excitation. Ces paramètres nous ont permis de discriminer des effets distincts des différents appareils utilisés: pour G1 (contrôle) et G2 (sons spatialisés), nous avons observé un ralentissement de la prosodie vocale; dans le groupe G3 (Be-Breathe) une diminution de la fréquence vocale minimale et une augmentation de l'éveil; enfin, pour G4 (vidéo 3D), nous avons trouvé une augmentation de la valence des émotions faciales (augmentation de la joie et diminution de la tristesse). Les autres paramètres testés n'ont pas été affectés par la relaxation.

Domaines: Sciences du Vivant [q-bio]

Elisa Elleuch, Norma Gomes, Noelia Do Carmo Blanco, Christophe Zimmer, Nicklas Linz, et al.. Use of automated speech analysis and facial emotion measurements on videos to assess the effects of relaxation devices: a pilot study. Journal of Interdisciplinary Methodologies and Issues in Science, 2020, Methods to assess the effects of sensory stimulations on wellness, ⟨10.18713/JIMIS-021120-9-3⟩. ⟨hal-02993423⟩