KIFF: un algorithme de construction de graphe KNN générique, rapide et évolutif

Antoine Boutet 1 Anne-Marie Kermarrec 2 Nupur Mittal 2 François Taïani 2
1 DRIM - Distribution, Recherche d'Information et Mobilité
LIRIS - Laboratoire d'InfoRmatique en Image et Systèmes d'information
2 ASAP - As Scalable As Possible: foundations of large scale dynamic distributed systems
Inria Rennes – Bretagne Atlantique , IRISA_D1 - SYSTÈMES LARGE ÉCHELLE
Résumé : Les algorithmes de construction du graphe des plus proches voisins (K-Nearest-Neighbor,KNN) sont apparus comme des éléments fondamentaux de nombreux services en ligne tels que la recommandation, la recherche de similarité et de classification. La construction d’un tel graphe de manière précise reste cependant une tâche très coûteuse. Avec l’augmentation des volumes de données, le temps nécessaire à la construction d’un graphe KNN et son évolution sont devenus des facteurs critiques. Dans cette contribution, nous proposons un algorithme de construction de graphe KNN générique, rapide et évolutif. Cet algorithme exploite la nature bipartite de la plupart des ensembles de données auxquels les algorithmes KNN sont appliqués. Plus précisément, un pré-traitement est effectué permettant d’identifier les candidats les plus pertinents auxquels chaque noeud peut se comparer. Cette stratégie permet ainsi de limiter de manière drastique le coût de calcul nécessaire à la convergence vers un graphe KNN précis, en particulier pour les ensembles de données de faible densité. Basé sur plusieurs jeux de données, nous montrons de manière expérimentale que notre solution calcule rapidement une approximation proche du KNN idéal tout en réduisant le coût de calcul par rapport aux approches de l’état de l’art (en moyenne 14 fois plus rapide tout en améliorant la qualité du KNN de 18%). Cet article reprend en grande partie des résultats publiés à la conférence ICDE en 2016 [BKMT16].
Document type :
Conference papers
Liste complète des métadonnées

Cited literature [4 references]  Display  Hide  Download

https://hal.archives-ouvertes.fr/hal-01518587
Contributor : Antoine Boutet <>
Submitted on : Friday, May 5, 2017 - 3:07:28 PM
Last modification on : Thursday, February 7, 2019 - 2:22:40 PM
Document(s) archivé(s) le : Sunday, August 6, 2017 - 3:02:15 PM

File

sample-algotel (1).pdf
Files produced by the author(s)

Identifiers

  • HAL Id : hal-01518587, version 2

Citation

Antoine Boutet, Anne-Marie Kermarrec, Nupur Mittal, François Taïani. KIFF: un algorithme de construction de graphe KNN générique, rapide et évolutif. ALGOTEL 2017 - 19èmes Rencontres Francophones sur les Aspects Algorithmiques des Télécommunications, May 2017, Quiberon, France. ⟨hal-01518587v2⟩

Share

Metrics

Record views

674

Files downloads

305