Garanties de convergence pour la résolution de problèmes inverses linéaires par réseaux de neurones génératifs
Résumé
Generative neural networks have become in recent years a prominent approach to solve inverse problems. However,
the theoretical understanding of these models is still lacking. In this paper we are interested in the theoretical guarantees of these
networks trained through gradient flow. We first show that for loss functions verifying the Kurdyka-Łojasiewicz inequality, training
a neural network under some conditions on its jacobian matrix will produce a zero-loss optimal solution. We then provide guarantees
for deterministic stable reconstruction of the underlying signal under a restricted injectivity condition of the forward operator. For
two-layer neural networks with a smooth activation function, we provide overparametrization bounds under which the deterministic
reconstruction guarantees hold with high probability
Les réseaux de neurones génératifs sont devenus depuis quelques années un outil majeur pour la résolution de problèmes
inverses. Cependant, la compréhension théorique de ces modèles reste assez lacunaire. Dans cet article, nous nous intéressons aux
garanties théoriques de ces réseaux entraînés par flot de gradient. Nous démontrons d’abord, que pour n’importe quelle fonction de
coût vérifiant l’inégalité de Kurdyka-Łojasiewicz, l’entraînement du réseau sous certaines conditions sur sa jacobienne produira
une solution de coût nul. Nous fournissons ensuite des garanties déterministes de reconstruction du signal sous-jacent sous une
condition d’injectivité restreinte de l’opérateur de mesure. Pour les réseaux à deux couches, équipés d’une fonction d’activation
lisse, nous exhibons les bornes de sur-paramétrisation sous lesquelles les garanties déterministes de reconstruction sont vraies avec
une grande probabilité.
Domaines
Intelligence artificielle [cs.AI]
Origine : Fichiers produits par l'(les) auteur(s)