Pratiques d'évaluation en ASR et biais de performance

Mahault Garnerin (1) , Solange Rossato (2) , Laurent Besacier (3)

1 UGA [2016-2019] - Université Grenoble Alpes [2016-2019]
2 LIG - Laboratoire d'Informatique de Grenoble
3 LIG - Laboratoire d'Informatique de Grenoble

Nous proposons une réflexion sur les pratiques d’évaluation des systèmes de reconnaissance automatique de la parole (ASR). Après avoir défini la notion de discrimination d’un point de vue légal et la notion d’équité dans les systèmes d’intelligence artificielle, nous nous intéressons aux pratiques actuelles lors des grandes campagnes d’évaluation. Nous observons que la variabilité de la parole et plus particulièrement celle de l’individu n’est pas prise en compte dans les protocoles d’évaluation actuels rendant impossible l’étude de biais potentiels dans les systèmes.

Mots clés: reconnaissance automatique de la parole; évaluation; éthique.

Domaines: Informatique et langage [cs.CL]

Mahault Garnerin, Solange Rossato, Laurent Besacier. Pratiques d'évaluation en ASR et biais de performance. 6e conférence conjointe Journées d'Études sur la Parole (JEP, 31e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition), 2020, Nancy, France. pp.1-9. ⟨hal-02750220v1⟩