On the geometry of optimization problems and their structure
Sur la géométrie de problèmes d'optimisation et leur structure
Résumé
In numerous fields such as machine learning, operational research or circuit design,
a task is modeled by a set of parameters to be optimized in order to take the best
possible decision. Formally, the problem amounts to minimize a function describing
the desired objective with iterative algorithms. The development of these latter de-
pends then on the characterization of the geometry of the function or the structure
of the problem.
In a first part, this thesis studies how sharpness of a function around its minimizers
can be exploited by restarting classical algorithms. Optimal schemes are presented
for general convex problems. They require however a complete description of the
function that is rarely available. Adaptive strategies are therefore developed and
shown to achieve nearly optimal rates. A specific analysis is then carried out for sparse
problems that seek for compressed representation of the variables of the problem.
Their underlying conic geometry, that describes sharpness of the objective, is shown to
control both the statistical performance of the problem and the efficiency of dedicated
optimization methods by a single quantity.
A second part is dedicated to machine learning problems. These perform predic-
tive analysis of data from large set of examples. A generic framework is presented to
both solve the prediction problem and simplify it by grouping either features, samples
or tasks. Systematic algorithmic approaches are developed by analyzing the geome-
try induced by partitions of the data. A theoretical analysis is then carried out for
grouping features by analogy to sparse methods.
Dans de nombreux domaines tels que l’apprentissage statistique, la recherche
opérationnelle ou encore la conception de circuits, une tâche est modélisée par un jeu
de paramètres que l’on cherche à optimiser pour prendre la meilleure décision possi-
ble. Mathématiquement, le problème revient à minimiser une fonction de l’objectif
recherché par des algorithmes itératifs. Le développement de ces derniers dépend
alors de la géométrie de la fonction ou de la structure du problème.
Dans une première partie, cette thèse étudie comment l’acuité d’une fonction au-
tour de ses minima peut être exploitée par le redémarrage d’algorithmes classiques.
Les schémas optimaux sont présentés pour des problèmes convexes généraux. Ils
nécessitent cependant une description complète de la fonction, ce qui est rarement
disponible. Des stratégies adaptatives sont donc développées et prouvées être quasi-
optimales. Une analyse spécifique est ensuite conduite pour les problèmes parci-
monieux qui cherchent des représentations compressées des variables du problème.
Leur géométrie conique sous-jacente, qui décrit l’acuité de la fonction de l’objectif,
se révèle contrôler à la fois la performance statistique du problème et l’efficacité des
procédures d’optimisation par une seule quantité.
Une seconde partie est dédiée aux problèmes d’apprentissage statistique. Ceux-ci
effectuent une analyse prédictive de données à l’aide d’un large nombre d’exemples.
Une approche générique est présentée pour à la fois résoudre le problème de prédiction
et le simplifier en groupant soit les variables, les exemples ou les tâches. Des méthodes
algorithmiques systématiques sont développées en analysant la géométrie induite par
une partition des données. Une analyse théorique est finalement conduite lorsque les
variables sont groupées par analogie avec les méthodes parcimonieuses.
Origine : Fichiers produits par l'(les) auteur(s)