Approche préventive pour une gestion élastique du traitement parallèle et distribué de flux de données

Roland Kotto-Kombi 1 Nicolas Lumineau 1 Philippe Lamarre 1
1 BD - Base de Données
LIRIS - Laboratoire d'InfoRmatique en Image et Systèmes d'information
Résumé : Dans un contexte de traitement de flux de données, il est important de garantir à l'utilisateur des propriétés de performance, qualité des résultats et passage à l'échelle. Mettre en adéquation ressources et besoins, pour n'allouer que les ressources nécessaires au traitement efficace des flux, est un défi d'ac-tualité majeur au croisement des problématiques du Big Data et du Green IT. L'approche que nous suggérons permet d'adapter dynamiquement et automati-quement le degré de parallélisme des différents opérateurs composant une re-quête continue selon l'évolution du débit des flux traités. Nous proposons i) une métrique permettant d'estimer l'activité future des opérateurs selon l'évolution des flux en entrée, ii) l'approche AUTOSCALE évaluant a priori l'intérêt d'une modification du degré de parallélisme des opérateurs en prenant en compte l'im-pact sur le traitement des données dans sa globalité iii) grâce à une intégration de notre proposition à Apache Storm, nous exposons des tests de performance comparant notre approche par rapport à la solution native de cet outil.
Complete list of metadatas

Cited literature [10 references]  Display  Hide  Download

https://hal.archives-ouvertes.fr/hal-01460709
Contributor : Roland Kotto Kombi <>
Submitted on : Tuesday, February 7, 2017 - 5:56:59 PM
Last modification on : Wednesday, November 20, 2019 - 2:43:31 AM
Long-term archiving on : Monday, May 8, 2017 - 3:38:33 PM

File

Autoscale.pdf
Files produced by the author(s)

Identifiers

  • HAL Id : hal-01460709, version 1

Citation

Roland Kotto-Kombi, Nicolas Lumineau, Philippe Lamarre. Approche préventive pour une gestion élastique du traitement parallèle et distribué de flux de données. EGC 2017, Jan 2017, Grenoble, France. pp.57-68. ⟨hal-01460709⟩

Share

Metrics

Record views

395

Files downloads

169