Manual Corpus Annotation: Giving Meaning to the Evaluation Metrics

Yann Mathet 1 Antoine Widlöcher 2 Karën Fort 3, 4 Claire François 5 Olivier Galibert 6 Cyril Grouin 7 Juliette Kahn 6 Sophie Rosset 7 Pierre Zweigenbaum 7
1 Equipe Hultech - Laboratoire GREYC - UMR6072
GREYC - Groupe de Recherche en Informatique, Image, Automatique et Instrumentation de Caen
2 Equipe CODAG - Laboratoire GREYC - UMR6072
GREYC - Groupe de Recherche en Informatique, Image, Automatique et Instrumentation de Caen
3 SEMAGRAMME - Semantic Analysis of Natural Language
Inria Nancy - Grand Est, LORIA - NLPKD - Department of Natural Language Processing & Knowledge Discovery
4 RCLN
LIPN - Laboratoire d'Informatique de Paris-Nord
Abstract : Computing inter-annotator agreement measures on a manually annotated corpus is necessary to evaluate the reliability of its annotation. However, the interpretation of the obtained results is recognized as highly arbitrary. We describe in this article a method and a tool that we developed which "shuffles" a reference annotation according to different error paradigms, thereby creating artificial annotations with controlled errors. Agreement measures are computed on these corpora, and the obtained results are used to model the behavior of these measures and understand their actual meaning.
Type de document :
Communication dans un congrès
International Conference on Computational Linguistics, Dec 2012, Mumbaï, India. pp.809--818, 2012
Liste complète des métadonnées

Littérature citée [15 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-00769639
Contributeur : Karën Fort <>
Soumis le : mercredi 2 janvier 2013 - 17:06:49
Dernière modification le : mardi 15 janvier 2019 - 14:54:16
Document(s) archivé(s) le : mercredi 3 avril 2013 - 03:48:36

Fichier

coling2012_EvalManualAnnotatio...
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-00769639, version 1

Citation

Yann Mathet, Antoine Widlöcher, Karën Fort, Claire François, Olivier Galibert, et al.. Manual Corpus Annotation: Giving Meaning to the Evaluation Metrics. International Conference on Computational Linguistics, Dec 2012, Mumbaï, India. pp.809--818, 2012. 〈hal-00769639〉

Partager

Métriques

Consultations de la notice

858

Téléchargements de fichiers

395