Extraction d’un modèle articulatoire à partir d’une analyse tri-directionnelle de cinéradiographies d’un locuteur

Martine Cadot 1 Yves Laprie 1
1 MULTISPEECH - Speech Modeling for Facilitating Oral-Based Communication
Inria Nancy - Grand Est, LORIA - NLPKD - Department of Natural Language Processing & Knowledge Discovery
Abstract : Nous expérimentons ici un processus d’identification des sons de la parole à partir d’images, et non d’enregistrements sonores comme habituellement réalisé. Il s’agit de l’analyse de séquences cinéradiographiques d’une personne prononçant plusieurs phrases. Des difficultés se présentent. La première, technique, est que ces données proviennent d’images annotées en plusieurs lieux, temps, et de manière semi-automatique ou manuelle. La deuxième, représentationnelle, est que les mouvements des articulateurs pendant la parole (langue, mâchoire, etc.) se situent dans un espace-temps complexe du fait des interdépendances mécaniques multiples et dynamiques. Le modèle articulatoire le plus connu est celui de Maeda (1990), obtenu à partir d’Analyses en Composantes Principales faites sur les tableaux de coordonnées des points des articulateurs d’un locuteur en train de parler. Nous proposons ici une analyse tridirectionnelle du même type de données, après leur transformation en une suite de tableaux de distances. Nous validons notre modèle par la prédiction des sons prononcés, qui s’avère presque aussi bonne que celle du modèle acoustique, et même meilleure quand on prend en compte la coarticulation.
Document type :
Journal articles
Liste complète des métadonnées

https://hal.archives-ouvertes.fr/hal-01346987
Contributor : Martine Cadot <>
Submitted on : Wednesday, July 20, 2016 - 10:16:26 AM
Last modification on : Tuesday, December 18, 2018 - 4:38:02 PM

Licence


Copyright

Identifiers

  • HAL Id : hal-01346987, version 1

Collections

Citation

Martine Cadot, Yves Laprie. Extraction d’un modèle articulatoire à partir d’une analyse tri-directionnelle de cinéradiographies d’un locuteur. Revue des Nouvelles Technologies de l'Information, Hermann, 2016, Fouille de Données Complexes (RNTI-E-31), pp.73-92. ⟨hal-01346987⟩

Share

Metrics

Record views

317