Multimodalité et sémantique.

José Rouillard (1)

1 LIFL - Laboratoire d'Informatique Fondamentale de Lille

Ce chapitre traite de la sémantique et de la multimodalité dans le domaine des interactions Homme-Machine. Nous exposons un bref rappel des notions de média, multimédia, mode, modalité et multimodalité, avant de montrer en quoi la sémantique est une notion essentielle qui différencie un système informatique multimédia d'un système informatique multimodal. Du fait que plusieurs approches sont possibles en conception d'interfaces Homme-Machine, selon que l'on se place côté machine, côté utilisateur, on encore de manière hybride (machine/ utilisateur), la multimodalité s'inspire de modèles pluridisciplinaires et bénéficie des avancées en informatique, sociologie, psychologie, économie et théorie des jeux, voire des théories du marketing (le multicanal étant effectivement étudié lors de communication personne/organisation). Nous illustrons notre propos grâce à la présentation d'un système de dialogue Homme-Machine orienté apprentissage, dans lequel un internaute interagit avec un agent animé. L'apport et l'enjeu de la multimodalité dans ce contexte est expliqué et commenté : l'agent est perçu visuellement, puisqu'il se déplace sur l'écran, mais aussi auditivement, car une voix de synthèse accompagne ses actions, et apporte des indications complémentaires ou redondantes à l'usager. Cette multimodalité véhicule également des éléments supplémentaires pour l'acquisition de sens : geste de désignation, comportements anthropomorphiques (humeur, émotions, aides personnalisées), animations permettant de comprendre ce qu'il se passe au niveau du noyau fonctionnel du système informatique, etc.

Domaines: Interface homme-machine [cs.HC]; Multimédia [cs.MM]; Traitement du texte et du document

José Rouillard. Multimodalité et sémantique.. Maryse Siksou. Variation, construction, instrumentation du sens., Hermès, 2003, 9782746207523. ⟨hal-02438932⟩