Mesures de la qualité des systèmes de recherche d'information

Karen Pinel-Sauvagnat (1) , Josiane Mothe (1)

1 IRIT-SIG - Systèmes d’Informations Généralisées

In this paper we review approaches for evaluating information retrieval systems using test collections. We first give the definition of a test collection and present the main metrics used in literature to evaluate systems. We then show, thanks to three examples (search results clustering, automatic summarization and image retrieval), the variety of the existing evaluation frameworks.

L’objectif de cet article est de présenter un panorama de l’évaluation des systèmes de recherche d’information se basant sur des collections de référence. Nous détaillons dans un premier temps ce qu’est une collection de référence ainsi que les mesures d’évaluation associées. Nous développons ensuite les problématiques d’évaluation à travers trois cadres de recherche d’information spécifiques : le clustering de documents, le résumé automatique et la recherche d’images par l’exemple, et montrons la variété des mesures et collections de référence existantes.

Mots clés: Information System; Information Retrieval System; Evaluation; Metrics; Collecti

Mots clés: Système d’information; Système de recherche d’information; Evaluation; Mesures; Collections

Domaines: Théorie de l'information [cs.IT]; Recherche d'information [cs.IR]

Karen Pinel-Sauvagnat, Josiane Mothe. Mesures de la qualité des systèmes de recherche d'information. Revue des Sciences et Technologies de l'Information - Série ISI : Ingénierie des Systèmes d'Information, 2013, Ingénierie des Systèmes d’Information, 18 (3), pp.11-38. ⟨10.3166/isi.18.3.11-38⟩. ⟨hal-03467001⟩