Extraction automatique de contour de lèvre à partir du modèle CLNF

Li Liu 1 Gang Feng 2 Denis Beautemps 1, *
* Corresponding author
1 GIPSA-CRISSP - CRISSP
GIPSA-DPC - Département Parole et Cognition
2 GIPSA-VSLD - VSLD
GIPSA-DPC - Département Parole et Cognition
Résumé : Dans cet article nous proposons une nouvelle solution pour extraire le contour interne des lèvres d'un locuteur sans utiliser d'artifices. La méthode s'appuie sur un algorithme récent d'extraction du contour de visage développé en vision par ordinateur, CLNF pour Constrained Local Neural Field. Cet algorithme fournit en particulier 8 points caractéristiques délimitant le contour interne des lèvres. Appliqué directement à nos données audio-visuelles du locuteur, le CLNF donne de très bons résultats dans environ 70% des cas. Des erreurs subsistent cependant pour le reste des cas. Nous proposons des solutions pour estimer un contour raisonnable des lèvres à partir des points fournis par CLNF utilisant l'interpolation par spline permettant de corriger ses erreurs et d'extraire correctement les paramètres labiaux classiques. Les évaluations sur une base de données de 179 images confirment les performances de notre algorithme. ABSTRACT Automatic lip contour extraction using CLNF model. In this paper a new approach to extract the inner contour of the lips of a speaker without using artifices is proposed. The method is based on a recent face contour extraction algorithm developed in computer vision. This algorithm, which is called Constrained Local Neural Field (CLNF), provides 8 characteristic points (landmarks) defining the inner contour of the lips. Applied directly to our audiovisual data of the speaker, CLNF gives very satisfactory results in about 70% of cases. However, errors exist for the remaining cases. We offer solutions for estimating a reasonable inner lip contour from the landmarks provided by CLNF based on spline to correct its bad behaviors and to extract the suitable labial parameters A, B and S. The evaluations on a 179 image database confirm performance of our algorithm. MOTS-CLES : modèle CLNF, spline, contour des lèvres, paramètres labiaux, parole visuelle.
Document type :
Conference papers
Liste complète des métadonnées

Cited literature [11 references]  Display  Hide  Download

https://hal.archives-ouvertes.fr/hal-01314091
Contributor : Denis Beautemps <>
Submitted on : Tuesday, May 10, 2016 - 6:16:19 PM
Last modification on : Friday, October 12, 2018 - 1:16:23 AM
Document(s) archivé(s) le : Wednesday, May 25, 2016 - 8:46:58 AM

File

JEP-Liu-Feng-Beautemps-revised...
Files produced by the author(s)

Identifiers

  • HAL Id : hal-01314091, version 1

Collections

Citation

Li Liu, Gang Feng, Denis Beautemps. Extraction automatique de contour de lèvre à partir du modèle CLNF. 31e Journées d'Études sur la Parole (JEP-TALN-RECITAL 2016), Jul 2016, Paris, France. ⟨hal-01314091⟩

Share

Metrics

Record views

396

Files downloads

331