REVISE, un outil d'évaluation précise des systèmes questions-réponses

Sarra El Ayari (1, 2) , Brigitte Grau (2, 3) , Anne-Laure Ligozat (2, 3)

1 UP11 - Université Paris-Sud - Paris 11
2 LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur
3 ENSIIE - Ecole Nationale Supérieure d'Informatique pour l'Industrie et l'Entreprise

Des campagnes d’évaluations sont organisées chaque année pour évaluer des systèmes de questions-réponses sur la validité des résultats fournis. Pour les équipes, il s’agit ensuite de réussir à mesurer la pertinence des stratégies développées ainsi que le fonctionnement des composants. À ces fins, nous décrivons un outil générique d’évaluation de type boîte transparente qui permet à un système produisant des résultats intermédiaires d’évaluer ses résultats. Nous illustrerons cette démarche en testant l’impact d’une nouvelle définition de la notion de focus.

Mots clés: Glass-box evaluation; black-box evaluation; question answering systems; evaluation framework

Domaines: Linguistique; Informatique

Sarra El Ayari, Brigitte Grau, Anne-Laure Ligozat. REVISE, un outil d'évaluation précise des systèmes questions-réponses. COnférence en Recherche d'Infomations et Applications, May 2009, Presqu'île de Giens, France. pp.385-396, ⟨10.24348/coria.2009.385⟩. ⟨hal-01070046⟩