Rendu basé image avec contraintes sur les gradients

Grégoire Nieto (1) , Frédéric Devernay (1) , James L. Crowley (2)

1 IMAGINE - Intuitive Modeling and Animation for Interactive Graphics & Narrative Environments
2 PERVASIVE INTERACTION - PERVASIVE INTERACTION

Le rendu basé image consiste à générer un nouveau point de vue à partir d'un ensemble de photos d'une scène. On commence en général par effectuer une reconstruction 3D approximative de la scène, utilisée par la suite pour mélanger les images sources et ainsi obtenir l'image souhaitée. Malheureusement, les discontinuités dans les poids des images sources, dues à la géométrie de la scène ou au placement des caméras, causent des artefacts visuels dans la vue résultante. Dans cet article nous montrons qu'une façon d'éviter ces artefacts est d'imposer des contraintes supplémentaires sur le gradient de l'image synthétisée. Nous proposons une approche variationnelle suivant laquelle l'image cherchée est solution d'un système linéaire résolu de façon itérative. Nous testons la méthode sur plusieurs jeux de données multi-vues structurés et non-structurés, et nous montrons que non seulement elle est plus performante que les méthodes de l'état de l'art, mais elle élimine aussi les artefacts créés par les discontinuités de visibilité.

Mots clés: Image-Based Rendering; 3D Reconstruction; Computational Photography

Domaines: Traitement des images [eess.IV]; Vision par ordinateur et reconnaissance de formes [cs.CV]; Synthèse d'image et réalité virtuelle [cs.GR]

Grégoire Nieto, Frédéric Devernay, James L. Crowley. Rendu basé image avec contraintes sur les gradients. Reconnaissance des Formes et l'Intelligence Artificielle, RFIA 2016, Jun 2016, Clermont-Ferrand, France. ⟨hal-01393942⟩