Fusion de contraintes pour la synchronisation des modalités et pour la résolution des références dans un énoncé multimodal

Frédéric Landragin 1 Bertrand Gaiffe 1 Nadia Bellalem 1 Laurent Romary 1
1 LANGUE ET DIALOGUE - Human-machine dialogue with a significant language component
INRIA Lorraine, LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Résumé : Avant de résoudre les références aux objets et aux lieux d'un énoncé multimodal associant parole et geste de désignation, il est nécessaire de mettre en correspondance chaque geste avec le segment linguistique qui lui correspond. Pour cela, nous exprimons les contraintes syntaxiques, sémantiques et pragmatiques apportées par (a) les expressions référentielles et (b) les gestes, compte tenu de la disposition des objets et de leurs éventuels regroupements perceptifs. Une formalisation logique de ces contraintes et leur fusion permet d'aboutir à des hypothèses de correspondances puis à l'identification des référents. Nous exprimons alors la forme propositionnelle de l'énoncé permettant au système de retrouver les fonctions de l'application à exécuter. Malgré les nombreuses hypothèses faites sur chaque expression prise individuellement, nous montrons que le contenu propositionnel dans son ensemble est souvent le même. Cette méthode nous semble particulièrement prometteuse, tant parce qu'elle permet d'identifier les facteurs précis intervenant dans l'intégration de la langue et du geste, qu'en ce qu'elle permet d'envisager très facilement une implantation informatique.
Type de document :
Communication dans un congrès
Colloque sur les interfaces multimodales - 10 ans de multimodalité, May 2000, Grenoble, France. pp.17-20, 2000
Liste complète des métadonnées

Littérature citée [14 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-00112084
Contributeur : Frédéric Landragin <>
Soumis le : mardi 7 novembre 2006 - 13:45:54
Dernière modification le : jeudi 11 janvier 2018 - 06:19:48
Document(s) archivé(s) le : samedi 14 mai 2011 - 00:27:02

Fichier

Identifiants

  • HAL Id : hal-00112084, version 1

Collections

Citation

Frédéric Landragin, Bertrand Gaiffe, Nadia Bellalem, Laurent Romary. Fusion de contraintes pour la synchronisation des modalités et pour la résolution des références dans un énoncé multimodal. Colloque sur les interfaces multimodales - 10 ans de multimodalité, May 2000, Grenoble, France. pp.17-20, 2000. 〈hal-00112084〉

Partager

Métriques

Consultations de la notice

200

Téléchargements de fichiers

86