Skip to Main content Skip to Navigation
Conference papers

Étude comparative des paramètres d'entrée pour la synthèse expressive audiovisuelle de la parole par DNNs

Sara Dahmani 1, 2 Vincent Colotte 1, 2 Slim Ouni 1, 2
2 MULTISPEECH - Speech Modeling for Facilitating Oral-Based Communication
Inria Nancy - Grand Est, LORIA - NLPKD - Department of Natural Language Processing & Knowledge Discovery
Résumé : Dans le passé, les descripteurs contextuels pour la synthèse de la parole acoustique ont été étudiés pour l’entraînement des systèmes basés sur des HMMs. Dans ce travail, nous étudions l’impact de ces facteurs pour la synthèse de la parole audiovisuelle par DNNs. Nous analysons cet impact pour les trois aspects de la parole : la modalité acoustique, la modalité visuelle et les durées des phonèmes. Nous étudions également l’apport d’un entraînement joint et séparé des deux modalités acoustique et visuelle sur la qualité de la parole synthétique générée. Finalement, nous procédons à une validation croisée entre les résultats de la synthèse des différentes émotions. Cette validation croisée, nous a permis de vérifier la capacité des DNNs à apprendre des caractéristiques spécifiques à chaque émotion.
Document type :
Conference papers
Complete list of metadata

Cited literature [24 references]  Display  Hide  Download

https://hal.archives-ouvertes.fr/hal-02798526
Contributor : Sylvain Pogodalla <>
Submitted on : Tuesday, June 23, 2020 - 12:49:45 PM
Last modification on : Tuesday, May 18, 2021 - 2:36:53 PM

File

46.pdf
Publisher files allowed on an open archive

Identifiers

  • HAL Id : hal-02798526, version 3

Citation

Sara Dahmani, Vincent Colotte, Slim Ouni. Étude comparative des paramètres d'entrée pour la synthèse expressive audiovisuelle de la parole par DNNs. 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 1 : Journées d'Études sur la Parole, Jun 2020, Nancy, France. pp.127-135. ⟨hal-02798526v3⟩

Share

Metrics

Record views

52

Files downloads

67