KIFF: un algorithme de construction de graphe KNN générique, rapide et évolutif

Antoine Boutet 1 Anne-Marie Kermarrec 2 Nupur Mittal 3 François Taïani 2
1 DRIM - Distribution, Recherche d'Information et Mobilité
LIRIS - Laboratoire d'InfoRmatique en Image et Systèmes d'information
2 ASAP - As Scalable As Possible: foundations of large scale dynamic distributed systems
Inria Rennes – Bretagne Atlantique , IRISA_D1 - SYSTÈMES LARGE ÉCHELLE
Résumé : Les algorithmes de construction du graphe des plus proches voisins (K-Nearest-Neighbor,KNN) sont apparus comme des éléments fondamentaux de nombreux services en ligne tels que la recommandation, la recherche de similarité et de classification. La construction d’un tel graphe de manière précise reste cependant une tâche très coûteuse. Avec l’augmentation des volumes de données, le temps nécessaire à la construction d’un graphe KNN et son évolution sont devenus des facteurs critiques. Dans cette contribution, nous proposons un algorithme de construction de graphe KNN générique, rapide et évolutif. Cet algorithme exploite la nature bipartite de la plupart des ensembles de données auxquels les algorithmes KNN sont appliqués. Plus précisément, un pré-traitement est effectué permettant d’identifier les candidats les plus pertinents auxquels chaque noeud peut se comparer. Cette stratégie permet ainsi de limiter de manière drastique le coût de calcul nécessaire à la convergence vers un graphe KNN précis, en particulier pour les ensembles de données de faible densité. Basé sur plusieurs jeux de données, nous montrons de manière expérimentale que notre solution calcule rapidement une approximation proche du KNN idéal tout en réduisant le coût de calcul par rapport aux approches de l’état de l’art (en moyenne 14 fois plus rapide tout en améliorant la qualité du KNN de 18%). Cet article reprend en grande partie des résultats publiés à la conférence ICDE en 2016 [BKMT16].
Type de document :
Communication dans un congrès
ALGOTEL 2017 - 19èmes Rencontres Francophones sur les Aspects Algorithmiques des Télécommunications, May 2017, Quiberon, France
Liste complète des métadonnées


https://hal.archives-ouvertes.fr/hal-01518587
Contributeur : Antoine Boutet <>
Soumis le : vendredi 5 mai 2017 - 15:07:28
Dernière modification le : mercredi 12 juillet 2017 - 01:14:29

Fichier

sample-algotel (1).pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01518587, version 2

Citation

Antoine Boutet, Anne-Marie Kermarrec, Nupur Mittal, François Taïani. KIFF: un algorithme de construction de graphe KNN générique, rapide et évolutif. ALGOTEL 2017 - 19èmes Rencontres Francophones sur les Aspects Algorithmiques des Télécommunications, May 2017, Quiberon, France. <hal-01518587v2>

Partager

Métriques

Consultations de
la notice

295

Téléchargements du document

37