RGB-D Fusion by Colored Photometric Stereo

Fusion de données RVB-D par stéréophotométrie colorée

Yvain Quéau (1, 2) , Bastien Durix (2) , Tom Lucas (2) , Jade Boumaza (2) , Jean-Denis Durou (2) , François Lauze (3)

1 TUM - Technische Universität Munchen - Technical University Munich - Université Technique de Munich
2 IRIT - Institut de recherche en informatique de Toulouse
3 DIKU - Department of Computer Science [Copenhagen]

We propose a new approach to photometric stereo, where the scene is illuminated by anisotropic point sources of LED type. This new approach, which is both differential and variational, estimates directly and robustly the depth, without prior estimation of the normals and of the albedo. We show how to use this approach to improve the relief provided by an RGB-D sensor, by equipping the sensor with three colored LEDs, which allows us to apply colored photometric stereo to the RGB image.

Nous proposons une nouvelle approche de la stéréophotométrie, où nous éclairons la scène avec des sources ponctuelles anisotropes de type LED. Cette approche, qui est à la fois différentielle et variationnelle, permet d'estimer la profondeur directement et de façon robuste, sans estimation préalable des normales et de l'albédo. Nous montrons comment utiliser cette nouvelle approche pour améliorer le relief fourni par un capteur RVB-D, en équipant le capteur de trois LEDs colorées, afin d'appliquer la stéréophotométrie colorée à l'image RVB.

Mots clés: 3D-reconstruction; Photometric Stereo; Punctual Light Sources; RGB-D Sensors; Variational Methods

Mots clés: Reconstruction 3D; stéréophotométrie; sources ponctuelles; capteurs RVB-D; méthodes variationnelles

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]

Yvain Quéau, Bastien Durix, Tom Lucas, Jade Boumaza, Jean-Denis Durou, et al.. Fusion de données RVB-D par stéréophotométrie colorée. 2016. ⟨hal-01409663v1⟩