Interpreting deep representations of phonetic traits via the NCD approach - Neuro-based Concept Detector : Application to speech disorders

Interprétation des représentations profondes des traits phonétiques via l'approche NCD -Neuro-based Concept Detector : Application aux troubles de la parole

Sondes Abderrazek (1, 2) , Corinne Fredouille (1, 2) , Alain Ghio (3) , Muriel Lalain (3) , Christine Meunier (3) , Virginie Woisard (4, 5)

1 LIA - Laboratoire Informatique d'Avignon
2 AU - Avignon Université
3 LPL - Laboratoire Parole et Langage
4 UT2J - Université Toulouse - Jean Jaurès
5 LNPL - Laboratoire de NeuroPsychoLinguistique

The popularity of deep neural networks (DNNs) continues to grow, as does the interest in better understanding how they work. In this paper, we present a general framework, called Neuro-based Concept Detector (NCD), to interpret deep representations of a DNN. Based on the activation patterns of hidden units, this framework highlights the ability of neurons to detect an implicit concept related to the targeted final task. Applied to normal speech, the NCD framework reveals the emergence of phonetic features (target concept here) in the layers of a model trained on the French phoneme classification task. We further show that, on a corpus of head and neck cancers, the knowledge gained from NCD allows us to characterize the speech disorders of patients in terms of phonetic features alteration, thus providing first information very relevant for clinical practice such as rehabilitation

La popularité des réseaux de neurones profonds (DNN) ne cesse de croître, tout comme l'intérêt de mieux comprendre leur fonctionnement. Dans ce papier, nous présentons un cadre de travail général, nommé Neuro-based Concept Detector (NCD), pour interpréter les représentations profondes d'un DNN. Basé sur les schémas d'activation des unités cachées, ce cadre met en évidence la capacité des neurones à détecter un concept implicite en lien avec la tâche finale visée. Appliqué à la parole normale, le NCD révèle l'émergence de traits phonétiques (concept cible ici) dans les couches d'un modèle entraîné sur la tâche de classification des phonèmes français. Nous montrons également que, sur un corpus de cancers de la tête et du cou, les connaissances issues du NCD permettent de caractériser les troubles de parole des patients en terme d'altération des traits phonétiques, fournissant ainsi de premières informations très pertinentes pour la pratique clinique telle que la rééducation.

Mots clés: Deep learning; Interpretability; speech disorders; phonetic traits; speech intelligibility; Heand and Neck Cancers (HNC)

Mots clés: Apprentissage profond; Interprétabilité; Troubles de la parole; Traits phonétiques; Intelligibilité de la parole; Cancer de la tête et du cou

Domaines: Informatique [cs]

Sondes Abderrazek, Corinne Fredouille, Alain Ghio, Muriel Lalain, Christine Meunier, et al.. Interprétation des représentations profondes des traits phonétiques via l'approche NCD -Neuro-based Concept Detector : Application aux troubles de la parole. Journées d'Études sur la Parole - JEP, Jun 2022, Île de Noirmoutier, France. ⟨hal-03837536⟩