Dynamique temporelle du liage dans la fusion de la parole audiovisuelle

Olha Nahorna (1) , Frédéric Berthommier (1) , Jean-Luc Schwartz (1)

1 GIPSA-PCMD - GIPSA - Perception, Contrôle, Multimodalité et Dynamiques de la parole

L'effet McGurk met en évidence le phénomène de fusion audiovisuelle : le montage d'un son " ba " avec une vidéo " ga " est souvent perçu comme " da ". Dans un travail précédent nous avons montré que la fusion audiovisuelle peut-être modulée par un processus de liage préalable (Nahorna et al., 2011, 2012). Dans ces expériences, un stimulus McGurk était précédé par un contexte audiovisuel cohérent ou incohérent (son correspondant ou non à la vidéo) et nous avons observé que dans le cas de contexte incohérent l'effet McGurk diminue. Cet effet se produit pour des contextes variant entre 3 et 10 secondes, sans effet significatif de la durée de contexte dans cette plage. Dans le travail actuel, nous étudions des durées de contexte plus courtes. Les résultats montrent qu'une seule syllabe est suffisante pour délier les flux auditif et visuel et produire une forte diminution de l'effet McGurk.

Mots clés: Effet McGurk; liage; fusion multisensorielle; perception de la parole audiovisuelle; analyse de scène audiovisuelle

Domaines: Neurosciences [q-bio.NC]

Olha Nahorna, Frédéric Berthommier, Jean-Luc Schwartz. Dynamique temporelle du liage dans la fusion de la parole audiovisuelle. JEP-TALN-RECITAL 2012 - conférence conjointe 29e Journées d'Études sur la Parole, 19e Traitement Automatique des Langues Naturelles, 14e Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues, Jun 2012, Grenoble, France. pp.65. ⟨hal-00773192⟩