Combien d'exemples de tests sont-ils nécessaires à une évaluation fiable~? Quelques observations sur l'évaluation de l'analyse morphosyntaxique du français.

Guillaume Wisniewski (1)

1 LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur

L’objectif de ce travail est de présenter plusieurs observations, sur l’évaluation des analyseurs morphosyntaxique en français, visant à remettre en cause le cadre habituel de l’apprentissage statistique dans lequel les ensembles de test et d’apprentissage sont fixés arbitrairement et indépendemment du modèle considéré. Nous montrons qu’il est possible de considérer des ensembles de test plus petits que ceux généralement utilisés sans conséquences sur la qualité de l’évaluation. Les exemples ainsi « économisés » peuvent être utilisés en apprentissage pour améliorer les performances des systèmes notamment dans des tâches d’adaptation au domaine.

Mots clés: Apprentissage statistique; évaluation.

Domaines: Informatique et langage [cs.CL]

Guillaume Wisniewski. Combien d'exemples de tests sont-ils nécessaires à une évaluation fiable~? Quelques observations sur l'évaluation de l'analyse morphosyntaxique du français.. 26e Conférence sur le Traitement Automatique des Langues Naturelles, 2019, Toulouse, France. pp.215-222. ⟨hal-02567770⟩