Approche préventive pour une gestion élastique du traitement parallèle et distribué de flux de données

Roland Kotto-Kombi 1 Nicolas Lumineau 1 Philippe Lamarre 1
1 BD - Base de Données
LIRIS - Laboratoire d'InfoRmatique en Image et Systèmes d'information
Résumé : Dans un contexte de traitement de flux de données, il est important de garantir à l'utilisateur des propriétés de performance, qualité des résultats et passage à l'échelle. Mettre en adéquation ressources et besoins, pour n'allouer que les ressources nécessaires au traitement efficace des flux, est un défi d'ac-tualité majeur au croisement des problématiques du Big Data et du Green IT. L'approche que nous suggérons permet d'adapter dynamiquement et automati-quement le degré de parallélisme des différents opérateurs composant une re-quête continue selon l'évolution du débit des flux traités. Nous proposons i) une métrique permettant d'estimer l'activité future des opérateurs selon l'évolution des flux en entrée, ii) l'approche AUTOSCALE évaluant a priori l'intérêt d'une modification du degré de parallélisme des opérateurs en prenant en compte l'im-pact sur le traitement des données dans sa globalité iii) grâce à une intégration de notre proposition à Apache Storm, nous exposons des tests de performance comparant notre approche par rapport à la solution native de cet outil.
Type de document :
Communication dans un congrès
EGC 2017, Jan 2017, Grenoble, France. E-33, pp.57-68, 2017, Extraction et Gestion des Connaissances - Revue des Nouvelles Technologies de l'Information. 〈http://egc2017.imag.fr/〉
Liste complète des métadonnées

Littérature citée [10 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-01460709
Contributeur : Roland Kotto Kombi <>
Soumis le : mardi 7 février 2017 - 17:56:59
Dernière modification le : lundi 20 février 2017 - 16:09:34
Document(s) archivé(s) le : lundi 8 mai 2017 - 15:38:33

Fichier

Autoscale.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-01460709, version 1

Collections

Citation

Roland Kotto-Kombi, Nicolas Lumineau, Philippe Lamarre. Approche préventive pour une gestion élastique du traitement parallèle et distribué de flux de données. EGC 2017, Jan 2017, Grenoble, France. E-33, pp.57-68, 2017, Extraction et Gestion des Connaissances - Revue des Nouvelles Technologies de l'Information. 〈http://egc2017.imag.fr/〉. 〈hal-01460709〉

Partager

Métriques

Consultations de
la notice

261

Téléchargements du document

54