Dimensionnalité intrinsèque dans les espaces de représentation des termes et des documents

Vincent Claveau 1
1 LinkMedia - Creating and exploiting explicit links between multimedia fragments
IRISA-D6 - MEDIA ET INTERACTIONS, Inria Rennes – Bretagne Atlantique
Résumé : L'examen des propriétés des espaces de représentation des documents ou des mots en RI (typiquement, R n avec n très grand) fournit de précieuses indications pour aider la re-cherche. Récemment, plusieurs travaux ont montré qu'il était possible d'étudier la dimension-nalité réelle des données, appelée dimensionnalité intrinsèque, en certains points de ces espaces (Houle et al., 2012a). Dans cet article, nous proposons de revisiter cette notion de dimension intrinsèque sous la forme d'un indice noté α dans le cas particulier de la RI et d'étudier son utilisation pratique en RI. Plus précisément, nous montrons comment son estimation à partir de similarités de type RI, peut être utilisée dans les espaces de représentations des documents et les espaces de représentations de mots (Mikolov et al., 2013 ; Claveau et al., 2014). Ainsi, nous montrons d'une part que l'indice α aide à caractériser les requêtes difficiles ; d'autre part, dans une tâche d'extension de requête, nous montrons comment cette notion de dimensionna-lité intrinsèque appliquée à des mots permet de choisir au mieux les termes à étendre et leurs extensions. ABSTRACT. Examining the properties of representation spaces for documents or words in IR (typically R n with n large) brings precious insights to help the retrieval process. Recently, several authors have studied the real dimensionality of the datasets, called intrinsic dimensionality, in specific parts of these spaces (Houle et al., 2012a). In this paper, we propose to revisit this notion through a coefficient called α in the specific case of IR and to study its use in IR tasks. More precisely, we show how to estimate α from IR similarities and to use it in representtion spaces used for documents and words (Mikolov et al., 2013 ; Claveau et al., 2014). Indeed, we prove that α may be used to characterize difficult queries; moreover we show that this intrinsic dimensionality notion, applied to words, can help to chosse terms to use for query expansion. MOTS-CLÉS : Dimensionnalité intrinsèque, fonctions RSV, thésaurus distributionnels, extension de requête.
Type de document :
Communication dans un congrès
Conférence en Recherche d'Information et Applications, CORIA, Mar 2016, Toulouse, France. Actes de la conférence CORIA
Liste complète des métadonnées


https://hal.archives-ouvertes.fr/hal-01394749
Contributeur : Vincent Claveau <>
Soumis le : mercredi 9 novembre 2016 - 16:51:55
Dernière modification le : mercredi 2 août 2017 - 10:08:39
Document(s) archivé(s) le : mercredi 15 mars 2017 - 04:03:20

Fichier

Claveau_CORIA16.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01394749, version 1

Citation

Vincent Claveau. Dimensionnalité intrinsèque dans les espaces de représentation des termes et des documents. Conférence en Recherche d'Information et Applications, CORIA, Mar 2016, Toulouse, France. Actes de la conférence CORIA. <hal-01394749>

Partager

Métriques

Consultations de
la notice

142

Téléchargements du document

141