Creating and exploiting multimodal annotated corpora: the ToMA project

Philippe Blache (1) , Roxane Bertrand (1) , Gaëlle Ferré (2)

1 LPL - Laboratoire Parole et Langage
2 LLING - Laboratoire de Linguistique de Nantes

The paper presents a project aiming at collecting, annotating and exploiting a dialogue corpus from a multimodal perspective. The goal of the project is the description of the different parameters involved in a natural interaction process. Describing such complex mechanism requires corpora annotated in different domains. This paper first presents the corpus and the scheme used in order to annotate the different domains that have to be taken into consideration, namely phonetics, morphology, syntax, prosody, discourse and gestures. Several examples illustrating the interest of such a resource are then proposed.

Ce papier présente un projet qui vise à collecter, annoter et exploiter un corpus de dialogue dans une perspective multimodale. L'objectif de ce projet consiste en la description des différents paramètres impliqués dans les interactions naturelles. Décrire des mécanismes aussi complexes requiert des corpus annotés dans les différents domaines. Ce papier présente d'abord le corpus et le schéma utilisé pour annoter les différents domaines qui doivent être pris en compte, à savoir la phonétique, la morphologie, la syntaxe, la prosodie, le discours et les gestes. Plusieurs exemples illustrant l'intérêt d'une telle ressource sont ensuite présentés.

Mots clés: conversational dialogue; corpus; annotation scheme; multimodality; phonetics; morphology; prosody; discourse; syntax; gesture

Mots clés: dialogue conversationnel; schéma d'annotation; multimodalité; phonétique; morphologie; prosodie; discours; syntaxe; gestes

Domaines: Linguistique; Informatique; Linguistique

Philippe Blache, Roxane Bertrand, Gaëlle Ferré. Creating and exploiting multimodal annotated corpora: the ToMA project. Kipp M. Multimodal Corpora, Springer-Verlag, pp.38-53, 2009. ⟨hal-00433876⟩