HMMs and GMMs based methods in acoustic-to-articulatory speech inversion

Atef Ben Youssef (1) , Viet-Anh Tran (2) , Pierre Badin (1) , Gérard Bailly (1)

1 GIPSA-MPACIF - GIPSA - Machines Parlantes, Agents Communicants & Interaction Face-à-face
2 GIPSA-lab - Grenoble Images Parole Signal Automatique

Afin de récupérer les mouvements des articulateurs tels que les lèvres, la mâchoire ou la langue, à partir du son de parole, nous avons développé et comparé deux méthodes d'inversion basées l'une sur les modèles de Markov cachés (HMMs) et l'autre sur les modèles de mélanges de gaussiennes (GMMs). Les mouvements des articulateurs sont caractérisés par les coordonnées médiosagittales de bobines d'un articulographe électromagnétique (EMA) fixées sur les articulateurs. Dans la première méthode, des HMMs à deux flux, acoustique et articulatoire, sont entrainés à partir de signaux acoustique et articulatoire synchrones. Le HMM acoustique sert à reconnaitre les phones, ainsi que leurs durées. Ces informations sont ensuite utilisées par le HMM articulatoire pour synthétiser les trajectoires articulatoires. Pour la deuxième méthode, un GMM d'association directe entre traits acoustiques et articulatoires est entrainé sur le même corpus suivant le critère de minimum d'erreur quadratique moyenne (MMSE) à partir des trames acoustiques d'empan temporel plus ou moins grand. Pour un corpus de données EMA mono-locuteur enregistré par un locuteur français, l'erreur RMS de reconstruction sur le corpus de test pour la méthode fondée sur les HMMs se situe entre 1.96 et 2.32 mm, tandis qu'elle se situe entre 2.46 et 2.95 mm pour la méthode basée sur les GMMs.

Domaines: Sciences de l'information et de la communication; Linguistique

Atef Ben Youssef, Viet-Anh Tran, Pierre Badin, Gérard Bailly. HMMs and GMMs based methods in acoustic-to-articulatory speech inversion. RJCP 2009 - 8ème Rencontres des Jeunes Chercheurs en Parole, Nov 2009, Avignon, France. pp.Article 182. ⟨hal-00443662⟩