Étude comparative des paramètres d'entrée pour la synthèse expressive audiovisuelle de la parole par DNNs

Sara Dahmani (1, 2) , Vincent Colotte (1, 2) , Slim Ouni (1, 2)

1 LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
2 MULTISPEECH - Speech Modeling for Facilitating Oral-Based Communication

Dans le passé, les descripteurs contextuels pour la synthèse de la parole acoustique ont été étudiés pour l’entraînement des systèmes basés sur des HMMs. Dans ce travail, nous étudions l’impact de ces facteurs pour la synthèse de la parole audiovisuelle par DNNs. Nous analysons cet impact pour les trois aspects de la parole : la modalité acoustique, la modalité visuelle et les durées des phonèmes. Nous étudions également l’apport d’un entraînement joint et séparé des deux modalités acoustique et visuelle sur la qualité de la parole synthétique générée. Finalement, nous procédons à une validation croisée entre les résultats de la synthèse des différentes émotions. Cette validation croisée, nous a permis de vérifier la capacité des DNNs à apprendre des caractéristiques spécifiques à chaque émotion.

Mots clés: Synthèse audiovisuelle expressive; tête parlante expressive; réseau de neurones profond récurrent à mémoire court-terme et long terme .; émotion; expression faciale

Domaines: Informatique et langage [cs.CL]

Sara Dahmani, Vincent Colotte, Slim Ouni. Étude comparative des paramètres d'entrée pour la synthèse expressive audiovisuelle de la parole par DNNs. 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 1 : Journées d'Études sur la Parole, Jun 2020, Nancy, France. pp.127-135. ⟨hal-02798526v3⟩