Simulation d'erreurs de reconnaissance automatique dans un cadre de compréhension de la parole

Edwin Simonnet , Sahar Ghannay , Nathalie Camelin , Yannick Estève (1)

1 LIUM - Laboratoire d'Informatique de l'Université du Mans

Simulating ASR errors for training SLU systems This paper presents an approach to simulate automatic speech recognition (ASR) errors from manual transcriptions and how it can be used to improve the performance of spoken language understanding (SLU) systems. The proposed method is based on the use of both acoustic and linguistic word embeddings in order to define a similarity measure between words. This measure is dedicated to predict ASR confusions. Actually, we assume that words acoustically and linguistically close are the ones confused by an ASR system. Experiments were carried on the French MEDIA corpus focusing on hotel reservation. They show that this approach significantly improves SLU system performance with a relative reduction of 21.2% of concept/value error rate (CVER), particularly when the SLU system is based on a neural approach (reduction of 22.4% of CVER). A comparison to a naive noising approach shows that the proposed noising approach is particularly relevant.

Cet article propose une méthode de simulation d'erreurs de systèmes de reconnaissance automatique de la parole (SRAP) à partir de transcriptions manuelles, et montre son utilité pour rendre les systèmes de compréhension automatique de la parole (SCAP) plus robustes aux erreurs de SRAP. Partant du principe que le SRAP confond les mots acoustiquement et linguistiquement proches, cette méthode s'appuie sur l'utilisation de plongements de mots acoustiques et linguistiques pour calculer une mesure de similarité entre les mots : cette mesure vise à prédire les confusions de mots faites par le SRAP. Les expériences menées sur le corpus MEDIA (réservations d'hôtel) montrent que cette approche améliore significativement les performances des SCAP avec une réduction relative de 21,2% du taux d'erreur concept/valeur, en particulier quand le SCAP est neuronal (réduction de 22,4%). Une comparaison avec une méthode de bruitage naïf montre la pertinence de l'approche de bruitage proposée.

Mots clés: spoken language understanding; data augmentation; noising; automatic speech recognition; errors

Mots clés: compréhension de la parole; augmentation des donnée; bruitage; reconnaissance automatique de la parole; erreurs

Domaines: Informatique et langage [cs.CL]; Réseau de neurones [cs.NE]

Edwin Simonnet, Sahar Ghannay, Nathalie Camelin, Yannick Estève. Simulation d'erreurs de reconnaissance automatique dans un cadre de compréhension de la parole. XXXIIe Journées d'Etudes sur la Parole (JEP 2018), Jun 2018, Aix-en-Provence, France. ⟨hal-01757770⟩