Stratégie de découpe de tâche pour le traitement de données massives

Quentin Baert (1, 2) , Anne-Cécile Caron (1, 2) , Maxime Morge (1, 2) , Jean-Christophe Routier (1, 2)

1 CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189
2 SMAC - Systèmes Multi-Agents et Comportements

MapReduce is a design pattern for processing large data sets distributed on a cluster. Its performances are linked to data skews. In order to tackle the latter, we propose an adaptive multi-agent. The agents interact during the job and the dynamic tasks allocation is the outcome of negotiations in order to relieve the most loaded agent and so the running time. In this paper, we show how, when a task is too expensive to be negotiated, an agent can split it in order to negotiate its sub-tasks.

MapReduce est un patron de conception permettant de traiter un très grand volume de données distribuées sur un cluster de machines. Ses performances sont liées aux éventuelles dis-torsions des données. Pour contrer ces biais, nous proposons un système multi-agent adaptatif. Les agents interagissent durant l'exécution et l'allocation dynamique des tâches est le résultats de négociations afin de soulager l'agent le plus chargé et donc le temps global d'exécution. Dans cet article nous montrons comment, lorsqu'une tâche est trop coûteuse pour être négociée, un agent peut la découper afin d'en négocier les sous-tâches.

Mots clés: Distributed problem solving; Negotiation; Big Data; MapReduce

Mots clés: Négociation; Données massives; Résolution distribuée de problème

Domaines: Système multi-agents [cs.MA]; Modélisation et simulation; Intelligence artificielle [cs.AI]

Quentin Baert, Anne-Cécile Caron, Maxime Morge, Jean-Christophe Routier. Stratégie de découpe de tâche pour le traitement de données massives. Journées Francophones sur les Systèmes Multi-Agents (JFSMA), Jul 2017, Caen, France. pp.65-75. ⟨hal-01558607⟩