Towards a Practical Silent Speech Interface Based on Vocal Tract Imaging

Bruce Denby (1) , Jun Cai (1) , Thomas Hueber (2) , Pierre Roussel (1) , Gérard Dreyfus (1) , Lise Crevier-Buchman (3, 4) , Claire Pillot-Loiseau (3) , Gérard Chollet (5) , Sotiris Manitsaris (1) , Maureen Stone (6)

1 SIGMA - Laboratoire Signaux, Modèles et Apprentissage Statistique
2 GIPSA-MAGIC - GIPSA - Machines parlantes, Gestes oro-faciaux, Interaction Face-à-face, Communication augmentée
3 LPP - LPP - Laboratoire de Phonétique et Phonologie - UMR 7018
4 HEGP - Hôpital Européen Georges Pompidou [APHP]
5 LTCI - Laboratoire Traitement et Communication de l'Information
6 VTVL - Vocal Tract Visualization Lab [Baltimore]

The paper describes advances in the development of an ultrasound silent speech interface for use in silent communications applications or as a speaking aid for persons who have undergone a laryngectomy. It reports some first steps towards making such a device lightweight, portable, interactive, and practical to use. Simple experimental tests of an interactive silent speech interface for everyday applications are described. Possible future improvements including extension to continuous speech and real time operation are discussed.

Cet article décrit les avancements dans le développement d'une interface ultrasonore de parole silencieuse, pour des applications en communication silencieuse ou comme une aide pour les personnes laryngectomisées. Nous rapportons les premiers pas pour réaliser une telle interface portable, interactive, et pratique à utiliser. De simples tests expérimentaux de cette interface pour des applications quotidiennes sont décrits. Des améliorations futures possibles incluant l'extension à la parole continue et aux traitements en temps réels sont discutées.

Mots clés: silent speech; ultrasound; portable interface; laryngectomy

Mots clés: parole silencieuse; ultrason; interface portable; laryngectomie

Domaines: Linguistique

Bruce Denby, Jun Cai, Thomas Hueber, Pierre Roussel, Gérard Dreyfus, et al.. Towards a Practical Silent Speech Interface Based on Vocal Tract Imaging. ISSP 2011 - 9th International Seminar on Speech Production, Jul 2011, Montréal, Canada. pp.89-94. ⟨halshs-00609106⟩