A proposal of approaches using deep neural networks and geometric methods for 3D face reconstruction from a single image

Proposition d’approches utilisant les réseaux de neurones profonds et les méthodes géométriques pour la reconstruction d’un visage 3D à partir d’une seule image

Oussema Bouafif (1, 2)

1 IMT Lille Douai - Ecole nationale supérieure Mines-Télécom Lille Douai
2 CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille - UMR 9189

3D face reconstruction from a 2D image is a fundamental problem in computer vision that is attracting considerable interest owing to its various potential applications such as surveillance, health, video games, cinema, etc. This thesis presents two hybrid approaches for 3D face reconstruction from a 2D color image that combine deep learning and geometric techniques. To deal with the lack of data needed to train the neural networks, a 3D synthetic human heads generator is designed. It allowed us to provide a facial image database with several maps that contain facial geometry characteristics for each example. Both 3D face reconstruction approaches use CNN to produce two maps from a human face image. The first approach generates a pixel-wise normal map and an image of the magnitude of the depth gradient. Subsequently, using these maps, the 3D facial geometry is recovered by applying a normals integration process based on weighted least squares method. In the second approach, the neural network produces a landmarks map and a pixel-wise normal map similar to the one produced in the first method. Landmarks are used for pose computation and the initialization of an optimization problem, which in turn, reconstructs the 3D head geometry by using a 3D morphable model (3DMM) and normal vector fields.

La reconstruction 3D d’un visage à partir d’une image 2D est un problème fondamental de la vision par ordinateur qui suscite un intérêt considérable en raison de ses diverses applications telles que la surveillance, la santé, les jeux-vidéo, le cinéma, etc. Cette thèse présente deux approches hybrides de reconstruction 3D de visage à partir d’une image couleur 2D qui combinent les techniques d’apprentissage profond et de géométrie. Pour faire face au manque de données nécessaires à l’apprentissage des réseaux de neurones, un générateur de têtes humaines synthétiques a été conçu. Ce qui a permis de constituer une base de données d’images faciales avec plusieurs cartes qui contiennent des informations caractéristiques de la géométrie du visage. Les deux approches de reconstruction de visage 3D utilisent des CNN pour produire deux types de cartes à partir d’une image d’un visage humain. La première approche produit une carte de champ des normales et une carte du module de gradient de la carte de profondeur du visage. Par la suite, ces deux sorties sont utilisées dans un processus d’intégration du champ des normales basée sur les moindres carrées pondérées pour générer une surface faciale 3D. Dans la deuxième approche, le réseau de neurones produit une carte de points de repère et une carte de champ des normales similaires à celle produite dans la première approche. Elles sont utilisées dans un processus de régression qui vise à trouver la meilleure combinaison linéaire des bases d’un modèle paramétrique (3DMM) et d’obtenir ainsi le modèle 3D qui s’ajuste au visage présent dans l’image d’entrée.

Mots clés: 3D face reconstruction; Hybrid methods; Deep learning; Synthetic data; Facial surface normals

Mots clés: Reconstruction de visage en 3D; Méthodes hybrides; Apprentissage profond; Données synthétiques; Normales de surface faciale

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]

Oussema Bouafif. Proposition d’approches utilisant les réseaux de neurones profonds et les méthodes géométriques pour la reconstruction d’un visage 3D à partir d’une seule image. Vision par ordinateur et reconnaissance de formes [cs.CV]. Ecole nationale supérieure Mines-Télécom Lille Douai, 2021. Français. ⟨NNT : 2021MTLD0001⟩. ⟨tel-03351834⟩