Simulation approach for resource management
Approche par la simulation pour la gestion de ressources
Résumé
Computing platforms increasingly grow in power and complexity. Numerous challenges remain to build next generations of platforms, but exploiting the platforms is a challenge per se. Constraints such as energy consumption, data movements and resilience risk to initiate breaking points in the way that the platforms are managed — especially with the convergence of the different types of distributed platforms.
Resource and Jobs Management Systems (RJMSs) are critical middlewares that allow users to exploit the resources of such platforms. They must evolve to make the best use of the computing platforms while complying with these new constraints. Each evolution ideally require many iterations, but conducting them in vivo is not reasonable due to huge overhead. Simulation is an efficient way to tackle the subsequent problems, but particular caution must be taken when drawing results from simulation as using ill-suited models may lead to invalid results.
The first contribution of this dissertation is the proposition of a modular simulation methodology to study RJMSs and their evolution realistically — and the related simulator Batsim. The main idea is to strongly separate the simulation from the decision-making algorithms. This allows separation of concerns as any algorithm can benefit from a validated simulation with multiple levels of realism (features, accuracy of the models). This methodology improves the production launch of new policies since both academic prototypes and production RJMSs can be studied in the same context.
Batsim is used in the second part of this dissertation, which focuses on online and non-clairvoyant resource management policies to save energy. Several algorithms are first proposed and analyzed to maximize performances under an energy budget for a given time period. This dissertation then explores more generally possible energy and performances trade-offs that can be obtained with node shutdown techniques.
Les plateformes de calcul se multiplient, grandissent en taille et gagnent en complexité. De nombreux défis restent à relever pour construire les prochaines générations de plateformes, mais exploiter cesdites plateformes est également un défi en soi. Des contraintes comme la consommation énergétique, les mouvements de données ou la résilience risquent de devenir prépondérantes et de s'ajouter à la complexité actuelle de la gestion des plateformes. Les méthodes de gestion de ressources peuvent également évoluer avec la convergence des différents types de plateformes distribuées.
Les gestionnaires de ressources sont des systèmes critiques au cœur des plateformes qui permettent aux utilisateurs d'exploiter les ressources. Les faire évoluer est nécessaire pour exploiter au mieux les ressources en prenant en compte ces nouvelles contraintes. Ce processus d'évolution est risqué et nécessite de nombreuses itérations qu'il semble peu raisonnable de réaliser in vivo tant les coûts impliqués sont importants. La simulation, beaucoup moins coûteuse, est généralement préférée pour faire ce type d'études mais pose des questions quant au réalisme des résultats ainsi obtenus.
La première contribution de cette thèse est de proposer une méthode de simulation modulaire pour étudier les gestionnaires de ressources et leur évolution — ainsi que le simulateur résultant nommé Batsim. L'idée principale est de séparer fortement la simulation et les algorithmes de prise de décision. Cela permet une séparation des préoccupations puisque les algorithmes, quels qu'ils soient, peuvent bénéficier d'une simulation validée proposant différents niveaux de réalisme. Cette méthode simplifie la mise en production de nouvelles politiques puisque des codes issus à la fois de gestionnaires de ressources de production et de prototypes académiques peuvent être étudiés dans le même contexte.
La méthode de simulation proposée est illustrée dans la seconde partie de cette thèse, qui s'intéresse à des problèmes de gestion de ressources non clairvoyants mêlant optimisation des performances et de la consommation énergétique. Différents algorithmes sont d'abord proposés et étudiés afin de respecter un budget d'énergie pendant une période de temps donnée. Nous étudions ensuite plus généralement les différents compromis réalisables entre performances et énergie grâce à différentes politiques d'extinction de nœuds de calcul.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...