Do the standard scores of evaluation of coreference resolution constitute metrics ?

Comment arpenter sans mètre : les scores de résolution de chaines de coréférences sont-ils des métriques ?

Adam Lion-Bouton (1) , Loïc Grobol (2, 3) , Jean-Yves Antoine (4, 1) , Sylvie Billot (5) , Anaïs Lefeuvre-Halftermeyer (5)

1 LIFAT - Laboratoire d'Informatique Fondamentale et Appliquée de Tours
2 Lattice - Lattice - Langues, Textes, Traitements informatiques, Cognition - UMR 8094
3 LLF - UMR7110 - Laboratoire de Linguistique Formelle
4 BDTLN - Bases de données et traitement des langues naturelles
5 LIFO - Laboratoire d'Informatique Fondamentale d'Orléans

Cet article présente un travail qui consiste à étudier si les scores les plus utilisés pour l'évaluation de la résolution des coréférences constituent des métriques de similarité normalisées. En adoptant une démarche purement expérimentale, nous avons vérifié si les scores MUC, B3 , CEAF, BLANC, LEA et le meta-score CoNLL respectent les bonnes propriétés qui définissent une telle métrique. Notre étude montre que seul le score CEAFm est potentiellement une métrique de similarité normalisée.

Mots clés: évaluation; B3; CoNLL.; LEA; métrique de similarité; MUC; CEAF; coréférence; BLANC; coreference; evaluation; similarity metric; B 3; CoNLL

Domaines: Intelligence artificielle [cs.AI]

Adam Lion-Bouton, Loïc Grobol, Jean-Yves Antoine, Sylvie Billot, Anaïs Lefeuvre-Halftermeyer. Comment arpenter sans mètre : les scores de résolution de chaines de coréférences sont-ils des métriques ?. Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 31e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). 2e atelier Éthique et TRaitemeNt Automatique des Langues (ETeRNAL), Jun 2020, Nancy, France. pp.10-18. ⟨hal-02750222v1⟩