Fusion de contraintes pour la synchronisation des modalités et pour la résolution des références dans un énoncé multimodal

Frédéric Landragin 1 Bertrand Gaiffe 1 Nadia Bellalem 1 Laurent Romary 1
1 LANGUE ET DIALOGUE - Human-machine dialogue with a significant language component
INRIA Lorraine, LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
Résumé : Avant de résoudre les références aux objets et aux lieux d'un énoncé multimodal associant parole et geste de désignation, il est nécessaire de mettre en correspondance chaque geste avec le segment linguistique qui lui correspond. Pour cela, nous exprimons les contraintes syntaxiques, sémantiques et pragmatiques apportées par (a) les expressions référentielles et (b) les gestes, compte tenu de la disposition des objets et de leurs éventuels regroupements perceptifs. Une formalisation logique de ces contraintes et leur fusion permet d'aboutir à des hypothèses de correspondances puis à l'identification des référents. Nous exprimons alors la forme propositionnelle de l'énoncé permettant au système de retrouver les fonctions de l'application à exécuter. Malgré les nombreuses hypothèses faites sur chaque expression prise individuellement, nous montrons que le contenu propositionnel dans son ensemble est souvent le même. Cette méthode nous semble particulièrement prometteuse, tant parce qu'elle permet d'identifier les facteurs précis intervenant dans l'intégration de la langue et du geste, qu'en ce qu'elle permet d'envisager très facilement une implantation informatique.
Liste complète des métadonnées

Cited literature [14 references]  Display  Hide  Download

https://hal.archives-ouvertes.fr/hal-00112084
Contributor : Frédéric Landragin <>
Submitted on : Tuesday, November 7, 2006 - 1:45:54 PM
Last modification on : Friday, March 22, 2019 - 2:22:12 PM
Document(s) archivé(s) le : Saturday, May 14, 2011 - 12:27:02 AM

Identifiers

  • HAL Id : hal-00112084, version 1

Collections

Citation

Frédéric Landragin, Bertrand Gaiffe, Nadia Bellalem, Laurent Romary. Fusion de contraintes pour la synchronisation des modalités et pour la résolution des références dans un énoncé multimodal. Colloque sur les interfaces multimodales - 10 ans de multimodalité, May 2000, Grenoble, France. pp.17-20. ⟨hal-00112084⟩

Share

Metrics

Record views

214

Files downloads

95