Optimisation du Probìème d'Ordonnancement à Machines Parallèles dans Hadoop

Aymen Jlassi (1, 2) , Patrick Martineau (2, 1) , Vincent Tkindt (1, 2)

1 LIFAT - Laboratoire d'Informatique Fondamentale et Appliquée de Tours
2 Equipe Ordonnancement et Conduite

On s’intéresse dans ce travail `a l’amélioration du fonctionnement d’un logiciel de traitement distribué de gros volumes de données nommé Hadoop. Notre objective est l’optimisation de l’ordonnancement d’un ensemble de travaux sur une architecture `a machines parallèles, en se restreignant aux travaux du type Map / Reduce. Puisque le problème est NP-difficile et les instances considérées sont de grande taille, on propose deux heuristiques de résolution basées sur des algorithmes de listes. Le modèle Map / Reduce est un modèle de développement introduit par Google en 2004 dont l’objectif est de faciliter le développement et l’exécution d’applications parallèles. Ce modèle impose un cadre de développement : (1) Un travail Map / Reduce est composé de deux types de tâches : les tâches Map et les tâches Reduce. Les tâches Map s’exécutent avant les tâches Reduce. Les tâches Map s’occupent d’effectuer les calculs alors que les tâches Reduce les agrègent. Implicitement, les données de sortie des tâches Map sont transférées à travers le réseau aux machines exécutant les tâches Reduce associées. (2) Les tâches Map et les tâches Reduce ne supportent pas d’être interrompues : si une tache est interrompue, elle sera relancée comme si elle s’exécutait pour la première fois.

Mots clés: Ordonnancement à machines paralìèles; Optimisation; Heuristique.

Domaines: Recherche opérationnelle [math.OC]

Aymen Jlassi, Patrick Martineau, Vincent Tkindt. Optimisation du Probìème d'Ordonnancement à Machines Parallèles dans Hadoop. ROADEF - 17ème congrès annuel de la Société française de recherche opérationnelle et d'aide à la décision., Feb 2016, Compiègne, France. ⟨hal-01325084⟩