Apprehending heterogeneity at (very) large scale
Appréhender l'hétérogénéité à (très) grande échelle
Résumé
The demand for computation power is steadily increasing, driven by the need to simulate more and more complex phenomena with an increasing amount of consumed/produced data. To meet this demand, the High Performance Computing platforms grow in both size and heterogeneity. Indeed, heterogeneity allows splitting problems for a more efficient resolution of sub-problems with ad hoc hardware or algorithms. This heterogeneity arises in the platforms’ architecture and in the variety of processed applications. Consequently, the performances become more sensitive to the execution context.
We study in this dissertation how to qualitatively bring—at a reasonable cost—context-awareness/obliviousness into allocation and scheduling policies. This study is conducted from two standpoints: within single applications, and at the whole platform scale from an inter-applications perspective.
We first study the minimization of the makespan of sequential tasks on platforms with a mixed architecture composed of multiple CPUs and GPUs. We integrate context-awareness into schedulers with an affinity mechanism that improves local behavior. This mechanism has been implemented in a parallel run-time, and experiments show that it is able to reduce the memory transfers while maintaining a low makespan. We then extend the model to implicitly consider parallelism on the CPUs with the moldable-task model. We propose an efficient algorithm formulated as an integer linear program with a constant performance guarantee of 3/2+ε.
Second, we devise a new modeling framework where constraints are a first-class tool. Rather than extending existing models to consider all possible interactions, we reduce the set of feasible schedules by further constraining existing models. We propose a set of reasonable constraints to model application spreading and I/O traffic. We then instantiate this framework for unidimensional topologies, and propose a comprehensive case study of the makespan minimization under convex and local constraints.
Le besoin de simuler des phénomènes toujours plus complexes accroît les besoins en puissance de calcul, tout en consommant et produisant de plus en plus de données. Pour répondre à cette demande, la taille et l’hétérogénéité des plateformes de calcul haute performance augmentent. L’hétérogénéité permet en effet de découper les problèmes en sous-problèmes, pour lesquels du matériel ou des algorithmes ad hoc sont plus efficients. Cette hétérogénéité se manifeste dans l’architecture des plateformes et dans la variété des applications exécutées. Aussi, les performances sont de plus en plus sensibles au contexte d’exécution.
L’objet de cette thèse est de considérer, qualitativement et à faible coût, l’impact du contexte d’exécution dans les politiques d’allocation et d’ordonnancement. Cette étude est menée à deux niveaux: au sein d’applications uniques, et à l’échelle des plateformes au niveau inter-applications.
Nous étudions en premier lieu la minimisation du temps de complétion pour des tâches séquentielles sur des plateformes hybrides intégrant des CPU et des GPU. Nous proposons de tenir compte du contexte d’exécution grâce à un mécanisme d’affinité améliorant le comportement local des politiques d’ordonnancement. Ce mécanisme a été implémenté dans un run-time parallèle. Une campagne d’expérience montre qu’il permet de diminuer les transferts de données tout en conservant un faible temps de complétion. Puis, afin de prendre implicitement en compte le parallélisme sur les CPU, nous enrichissons le modèle en considérant les tâches comme moldables sur CPU. Nous proposons un algorithme basé sur la programmation linéaire en nombres entiers. Cet algorithme efficace a un rapport de compétitivité de 3/2+ε.
Dans un second temps, nous proposons un nouveau cadre de modélisation dans lequel les contraintes sont des outils de premier ordre. Plutôt que d’étendre les modèles existants en considérant toutes les interactions possibles, nous réduisons l’espace des ordonnancements réalisables via l’ajout de contraintes. Nous proposons des contraintes raisonnables pour modéliser l’étalement des applications ainsi que les flux d’E/S. Nous proposons ensuite une étude de cas exhaustive dans le cadre de la minimisation du temps de complétion pour des topologies unidimensionnelles, sous les contraintes de convexité et de localité.
Fichier principal
manuscript.pdf (1.58 Mo)
Télécharger le fichier
defense.pdf (5.8 Mo)
Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...