Deep Depth from Defocus: how can defocus blur improve 3D estimation using dense neural networks?
Deep Depth from Defocus: comment le flou de défocalisation améliore l'estimation de la 3D avec des réseaux de neurones denses ?
Résumé
Depth estimation is of critical interest for scene understanding and accurate 3D reconstruction. Most recent approaches in depth estimation with deep learning exploit geometrical structures of standard sharp images to predict corresponding depth maps. However, cameras can also produce images with defocus blur depending on the depth of the objects and camera settings. Hence, these features may represent an important hint for learning to predict depth. In this paper, we propose a full system for single-image depth prediction in the wild using depth-from-defocus and neural networks. We carry out thorough experiments to test deep convolutional networks on real and simulated defocused images using a realistic model of blur variation with respect to depth. We also investigate the influence of blur on depth prediction observing model uncertainty with a Bayesian neural network approach. From these studies, we show that out-of-focus blur greatly improves the depth-prediction network performances. Furthermore, we transfer the ability learned on a synthetic, indoor dataset to real, indoor and outdoor images. For this purpose, we present a new dataset containing real all-focus and defocused images from a Digital Single-Lens Reflex (DSLR) camera, paired with ground truth depth maps obtained with an active 3D sensor for indoor scenes. The proposed approach is successfully validated on both this new dataset and standard ones as NYUv2 or Depth-in-the-Wild.
L'estimation de la profondeur est d'un intérêt critique pour la compréhension de la scène et la reconstruction 3D précise. Les approches les plus récentes en matière d'estimation de profondeur avec l'apprentissage profond exploitent les structures géométriques des images nettes standard pour prédire les cartes de profondeur correspondantes. Toutefois, les caméras peuvent également produire des images avec un flou de défocalisation en fonction de la profondeur des objets et des paramètres de l'appareil photo. Par conséquent, ces caractéristiques peuvent représenter un indice important pour apprendre à prédire la profondeur. Dans cet article, nous proposons un système complet de prédiction de profondeur à image unique dans la nature en utilisant des réseaux neurones et le depth-from-defocus (DFD). Nous effectuons des expériences approfondies pour tester des réseaux convolutifs profonds sur des images défocalisées réelles et simulées en utilisant un modèle réaliste de variation du flou par rapport à la profondeur. Nous étudions également l'influence du flou sur la prédiction de la profondeur en observant l'incertitude du modèle avec une approche de réseau de neurones bayésien. À partir de ces études, nous montrons que le flou de défocalisation améliore considérablement les performances du réseau de prédiction de la profondeur. De plus, nous transférons la capacité apprise sur un ensemble de données d'intérieur synthétique vers des images réelles intérieures et extérieures. À cette fin, nous présentons un nouvel ensemble de données contenant des images réelles entièrement focalisées et défocalisées provenantes d’une caméra reflex numérique (DSLR) couplées à des cartes de profondeur obtenues avec un capteur 3D actif pour les scènes d’intérieur. L'approche proposée a été validée avec succès sur ce nouveau jeu de données et sur des nouvelles bases de données et standard tels que NYUv2 ou Depth-in-the-Wild.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...