Langue et geste pour le dialogue homme-machine finalisé
Résumé
Nous présentons, dans cet article, une étude visant à intégrer le geste dans la communication homme-machine. Plus précisément, notre travail est centré sur le geste effectué dans le cadre de la référence aux objets (c'est le geste qui montre les objets dont on parle) ; ce dernier intervient donc en tant que complément d'une entrée langagière. Ainsi, nous montrons la nécessite d'une analyse approfondie du geste allant du signal issu du capteur de geste jusqu'à l'identification des objets visés, pour assurer la compréhension du message global parole+geste. Cette analyse se décompose en deux étapes. La première dite syntaxico-sémantique s'appuie sur la forme de la trajectoire pour repérer les parties significatives du signal auxquelles on associe une sémantique d'action de désignation. La seconde concerne l'interprétation du geste en contexte. Il s'agit là de prendre en compte d'une part l'application (notamment la scène visualisée) et ses caractéristiques ; d'autre part le dialogue oral et les caractéristiques instructionnelles de la référence langagière qui accompagne le geste analysé.
Origine : Fichiers produits par l'(les) auteur(s)