Deep Gaussian Processes for the Analysis and Optimization of Complex Systems -Application to Aerospace System Design
Processus Gaussiens Profonds pour l’Analyse et l’Optimisation des Systèmes Complexes - Application à la Conception des Systèmes Aérospatiaux
Résumé
In engineering, the design of complex systems, such as aerospace launch vehicles, involves the analysis and optimization of problems presenting diverse challenges. Actually, the designer has to ake into account different aspects in the design of complex systems, such as the presence of black-box computationally expensive functions, the complex behavior of the optimized performance (e.g., abrupt change of a physical property here referred as nonstationarity), the multiple objectives and constraints involved, the multi-source information handling in a multi-fidelity framework, and the epistemic and aleatory uncertainties affecting the physical models. A wide range of machine learning methods are used to address these various challenges. Among these approaches, Gaussian Processes (GPs), benefiting from their Bayesian and non-parametric formulation, are popular in the literature and diverse state-of-the-art algorithms for the design of complex systems are based on these models.
Despite being widely used for the analysis and optimization of complex systems, GPs, still present some limitations. For the optimization of computationally expensive functions, GPs are used within the Bayesian optimization framework as regression models. However, for the optimization of non-stationary problems, they are not suitable due to the use of a prior stationary covariance function. Furthermore, in Bayesian optimization of multiple objectives, a GP is used for each involved objective independently, which prevents the exhibition of a potential correlation between the objectives. Another limitation occurs in multi-fidelity analysis where GP-based models are used to improve high-fidelity models using low-fidelity information. However, these models usually assume that the different fidelity input spaces are identically defined, which is not the case in some design problems.
In this thesis, approaches are developed to overcome the limits of GPs in the analysis and optimization of complex systems. These approaches are based on Deep Gaussian Processes (DGPs), the hierarchical generalization of Gaussian processes.
To handle non-stationarity in Bayesian optimization, a framework is developed that couples Bayesian optimization with DGPs. The inner layers allow a non-parametric Bayesian mapping of the input space to better represent non-stationary functions. For multi-objective Bayesian optimization, a multi-objective DGP model is developed. Each layer of this model corresponds to an objective and the different layers are connected with undirected edges to encode the potential correlation between objectives. Moreover, a computational approach for the expected hyper-volume improvement is proposed to take into account this correlation at the infill criterion level as well. Finally, to address multi-fidelity analysis for different input space definitions, a two-level DGP model is developed. This model allows a joint optimization of the multi-fidelity model and the input space mapping between fidelities.
The different approaches developed are assessed on analytical problems as well as on representative aerospace vehicle design problems with respect to state-of-the-art approaches.
En ingénierie, la conception de systèmes complexes, tels que les lanceurs aérospatiaux, implique l’analyse et l’optimisation de problèmes présentant diverses problématiques. En effet, le concepteur doit prendre en compte différents aspects dans la conception de systèmes complexes, tels que la présence de fonctions coûteuses en temps de calcul et en boîte noire , la non-stationnarité des performances optimisées, les multiples objectifs et contraintes impliqués, le traitement de multiples sources d’information dans le cadre de la multi-fidélité, et les incertitudes épistémiques et aléatoires affectant les modèles physiques. Un large éventail de méthodes d’apprentissage automatique est utilisé pour relever ces différents défis. Dans le cadre de ces approches, les Processus Gaussiens (PGs), bénéficiant de leur formulation Bayésienne et non paramétrique, sont populaires dans la littérature et divers algorithmes d’état de l’art pour la conception de systèmes complexes sont basés sur ces modèles.
Les PGs, bien qu’ils soient largement utilisés pour l’analyse et l’optimisation de systèmes complexes, présentent encore certaines limites. Pour l’optimisation de fonctions coûteuses en temps de calcul et en boite noire, les PGs sont utilisés dans le cadre de l’optimisation Bayésienne comme modèles de régression. Cependant, pour l’optimisation de problèmes non stationnaires, les PGs ne sont pas adaptés en raison de l’utilisation d’une fonction de covariance stationnaire. En outre, dans l’optimisation Bayésienne multi-objectif, un PG est utilisé pour chaque objectif indépendamment des autres objectifs, ce qui empêche de prendre en considération une corrélation potentielle entre les objectifs. Une autre limitation existe dans l’analyse multi-fidélité où des modèles basés sur les PGs sont utilisés pour améliorer les modèles haute fidélité en utilisant l’information basse fidélité, cependant, ces modèles supposent généralement que les différents espaces d’entrée de fidélité sont définis de manière identique, ce qui n’est pas le cas dans certains problèmes de conception.
Dans cette thèse, des approches sont développées pour dépasser les limites des PGs dans l’analyse et l’optimisation de systèmes complexes. Ces approches sont basées sur les Processus Gaussiens Profonds (PGPs), la généralisation hiérarchique des PGs.
Pour gérer la non-stationnarité dans l’optimisation bayésienne, un algorithme est développé qui couple l’optimisation bayésienne avec les PGPs. Les couches internes permettent une projection Bayésienne non paramétrique de l’espace d’entrée pour mieux représenter les fonctions non stationnaires. Pour l’optimisation Bayésienne multiobjectif, un modèle de PGPs multiobjectif est développé. Chaque couche de ce modèle correspond à un objectif et les différentes couches sont reliées par des arrêtes non orientés pour coder la corrélation potentielle entre objectifs. De plus, une approche de calcul de l’expected hyper-volume improvement est proposée pour prendre également en compte cette corrélation au niveau du critère d’ajout de point. Enfin, pour aborder l’analyse multi-fidélité pour différentes définitions d’espace d’entrée, un PGP à deux niveaux est développé. Ce modèle permet une optimisation conjointe du modèle multi-fidélité et du mapping entre les espaces d’entrée des différentes fidélités. Les différentes approches développées sont évaluées sur des problèmes analytiques ainsi que sur des problèmes de conception de véhicules aérospatiaux et comparées aux approches de l’état de l’art.
Origine : Version validée par le jury (STAR)