Groupement de clés efficace pour un équilibrage de charge quasi-optimal dans les systèmes de traitement de flux

Résumé : Le groupement de clés est une technique utilisée dans les plateformes de traitement de flux pour simplifier le dé-ploiement parallèle d'opérateurs à états. Cette méthode consiste à subdiviser le flux de tuples en plusieurs sous-flux disjoints, au regard d'une clef définie pour chaque tuple. Chaque opérateur recevant l'un de ces sous-flux est donc as-suré de recevoir tous les tuples contenant une clé spécifique. Une solution classique est de grouper les clés en utilisant des fonctions de hachage, induisant potentiellement un déséquilibre de charge des opérateurs en cas de distribution bi-aisée des clefs du flux d'entrée. Nous présentons une solution permettant d'obtenir une répartition de la charge proche de l'optimal, quelque soit la distribution. Cette solution repose sur le fait que l'équilibre est majoritairement influencé par les clés les plus fréquentes. En identifiant ces valeurs dominantes et en les groupant judicieusement avec des clés plus rares, les sous-flux ainsi obtenus permettent d'atteindre un équilibrage de charge quasi-optimal. Nous présentons une analyse théorique des bornes de qualité obtenu avec notre algorithme et illustrons son impact sur des applications de traitement de flux, via des simulations intensives et un prototype opérationnel.
Type de document :
Communication dans un congrès
ALGOTEL 2016 - 18èmes Rencontres Francophones sur les Aspects Algorithmiques des Télécommunications, May 2016, Bayonne, France. 2016, ALGOTEL 2016 - 18èmes Rencontres Francophones sur les Aspects Algorithmiques des Télécommunications
Liste complète des métadonnées


https://hal.archives-ouvertes.fr/hal-01303887
Contributeur : Yann Busnel <>
Soumis le : mardi 19 avril 2016 - 18:27:31
Dernière modification le : vendredi 24 février 2017 - 13:31:51
Document(s) archivé(s) le : mardi 15 novembre 2016 - 05:52:56

Fichier

rqabs-dkg-algotel15.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01303887, version 1

Citation

Nicoló Rivetti, Leonardo Querzoni, Emmanuelle Anceaume, Yann Busnel, Bruno Sericola. Groupement de clés efficace pour un équilibrage de charge quasi-optimal dans les systèmes de traitement de flux. ALGOTEL 2016 - 18èmes Rencontres Francophones sur les Aspects Algorithmiques des Télécommunications, May 2016, Bayonne, France. 2016, ALGOTEL 2016 - 18èmes Rencontres Francophones sur les Aspects Algorithmiques des Télécommunications. <hal-01303887>

Partager

Métriques

Consultations de
la notice

514

Téléchargements du document

57