La collaboration multisensorielle en parole : Données et Modèles

Denis Beautemps (1)

1 GIPSA-MPACIF - GIPSA - Machines Parlantes, Agents Communicants & Interaction Face-à-face

Cet article vise à définir la place de la vision dans le domaine de la communication parlée, en plaçant le débat dans le cadre de la parole multimodale. Nous illustrerons comment la parole multimodale est au cœur du dispositif de la communication parlée, en montrant que l'audition et la vision sont par nature complémentaires, que la vision peut parfois prendre le relais sur l'audition, que des gestes de la main en appoint du mouvement des lèvres peuvent permettre la perception complète de la parole lorsque que l'information auditive n'est pas accessible. Nous rappellerons ainsi que l'information visuelle du visage du locuteur est utilisée pour améliorer la perception de la parole en environnement bruité, que cette information est importante même en contexte de parole claire mais que même avec de très bonnes performances en lecture labiale, la parole sans connaissance du contexte sémantique reste incomplète. Nous illustrerons par des données issues de la production de parole les ambiguïtés du pattern labial. Et puisque la lecture labiale reste la modalité principale d'accès à la parole pour les personnes sourdes tournées vers l'oral, nous présenterons la méthode de la Langue Française Parlée Complétée, héritée du Cued Speech (CS) [1], et montrerons comment cette modalité manuelle se coordonne avec la parole pour sa perception complète.

Mots clés: Parole audiovisuelle; lecture labiale; surdité; langue Française Parlée Complétée

Domaines: Sciences de l'information et de la communication

Denis Beautemps. La collaboration multisensorielle en parole : Données et Modèles. ASSISTH 2007 - 1ère Conférence internationale sur l'accessibilité et les systèmes de suppléance aux personnes en situation de handicaps, Nov 2007, Toulouse, France. ⟨hal-00264643⟩