Proposition des cadres d'évaluation d'un système de RI personnalisé

Mariam Daoud (1) , Lynda Tamine (1)

1 IRIT-SIG - Systèmes d’Informations Généralisées

L'évaluation d'un système de recherche d'information (RI) personnalisé consiste principalement à mesurer ses performances. Les cadres d'évaluation classiques en RI basés sur les approches orientées laboratoire méritent d'être étendues et révisées vu que le contexte de recherche de l'utilisateur n'est pas considéré dans le protocole d'évaluation et les collections de test. Nous présentons dans ce papier des cadres d'évaluation adaptés à un système de RI personnalisé basés sur l'enrichissement des collections TREC par des contextes/profils utilisateur simulés. Plus précisément, un protocole issu de TREC adhoc consiste à construire des profils utilisateur à partir des domaines d'intérêts prédéfinis dans TREC adhoc. Le protocole issu de TREC HARD consiste à construire le profil à partir des sessions de recherche simulées par les sujets des requêtes de la collection. Les résultats obtenus confirment la stabilité de la performance de notre modèle de RI personnalisé selon les cadres proposés sur des collections de test différentes.

Domaines: Informatique et langage [cs.CL]

Mariam Daoud, Lynda Tamine. Proposition des cadres d'évaluation d'un système de RI personnalisé. Conférence francophone en Recherche d'Information et Applications (CORIA), May 2009, Belambra de la Presqu'île de Giens, France. ⟨hal-00378334⟩