HAL : hal-00502700, version 1

Fiche détaillée

Récupérer au format BibTeX - EndNote - TEI - RefWorks -

Traitement Automatique des Langues 48, 1 (2007) 7-31

Principles of Evaluation in Natural Language Processing

Patrick Paroubek 1, Stéphane Chaudiron 2, Lynette Hirschman 3

(15/05/2007)

In this special issue of TAL, we look at the fundamental principles underlying evaluation in natural language processing. We adopt a global point of view that goes beyond the horizon of a single evaluation campaign or a particular protocol. After a brief review of history and terminology, we will address the topic of a gold standard for natural language processing, of annotation quality, of the amount of data, of the difference between technology evaluation and usage evaluation, of dialog systems, and of standards, before concluding with a short discussion of the articles in this special issue and some prospective remarks

1 :	Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur [Orsay] (LIMSI)
	CNRS : UPR3251 – Université Pierre et Marie Curie [UPMC] - Paris VI – Université Paris XI - Paris Sud
2 :	Groupe d'Etudes et de Recherche Interdisciplinaire en Information et Communication (GERIICO)
	Université Lille III - Sciences humaines et sociales
3 :	The MITRE corporation
	The MITRE Corporation

Domaine

:

Sciences de l'Homme et Société/Sciences de l'information et de la communication Sciences de l'Homme et Société/Linguistique

Mots Clés : evaluation – gold standard – language technology – usage – dialog system

hal-00502700, version 1

http://hal.archives-ouvertes.fr/hal-00502700

oai:hal.archives-ouvertes.fr:hal-00502700

Contributeur : Stéphane Chaudiron <>

Soumis le : Lundi 19 Juillet 2010, 08:33:55

Dernière modification le : Lundi 19 Juillet 2010, 12:31:29