Modélisation d'objets 3D par fusion silhouettes-stéréo à partir de séquences d'images en rotation non calibrées - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2004

Stereo and silhouette fusion for 3D object modeling from uncalibrated images under circular motion

Modélisation d'objets 3D par fusion silhouettes-stéréo à partir de séquences d'images en rotation non calibrées

Résumé

We present a new approach to high quality 3D object reconstruction using stereo and silhouettes. Starting from an uncalibrated sequence of color images under circular motion, the algorithm is able to calibrate the camera (both the pose and the focal length), and reconstruct the 3D geometry and the texture. As a difference with other classic methods, calibration is accomplished using a set of silhouettes as the single input data. We develop the concept of silhouette coherence applied to a set of silhouettes generated by a 3D object. We first discuss the silhouette coherence notion and define a practical criterion to estimate it. This criterion depends both on the silhouettes and on the parameters of the cameras that generated them. These parameters can be optimized for the 3D modeling problem by maximizing the overall silhouette coherence. The core of the reconstruction method is based on a deformable model, which defines the framework where texture and silhouette information can be fused. This is achieved by defining two external forces based on the images: a texture driven force and a silhouette driven force. The texture force is computed in two steps: a multi-stereo correlation voting approach and a gradient vector flow diffusion. Due to the high resolution of the voting approach, a multi-grid version of the gradient vector flow has been developed. Concerning the silhouette force, a new formulation of the silhouette constraint is derived. It provides a robust way to integrate the silhouettes in the evolution algorithm. As a consequence, we are able to recover the contour generators of the model at the end of the iteration process. Finally, a texture map is computed from the original images for the reconstructed 3D model. The proposed 3D modeling system has been successfully validated with the reconstruction of a great variety of high quality models.
Nous présentons une nouvelle approche pour la modélisation d'objets 3D de haute qualité à partir de séquences d'images en rotation partiellement calibrées. L'algorithme est capable: de calibrer la caméra (la pose et la longueur focale), de reconstruire la géométrie 3D et de créer une carte de texture. Par rapport à d'autres méthodes plus classiques, le calibrage est réalisé à partir d'un ensemble de silhouettes comme seule source d'information. Nous développons le concept de cohérence d'un ensemble de silhouettes généré par un objet 3D. Nous discutons d'abord la notion de cohérence de silhouettes et définissons un critère pratique pour l'estimer. Ce critère dépend à la fois des silhouettes et des paramètres des caméras qui les ont générées. Ces paramètres peuvent être estimés pour le problème de modélisation 3D en maximisant la cohérence globale des silhouettes. La méthode de reconstruction 3D est fondée sur l'utilisation d'un modèle déformable classique, qui définit le cadre dans lequel nous pouvons fusionner l'information de la texture et des silhouettes pour reconstruire la géométrie 3D. Cette fusion est accomplie en définissant deux forces basées sur les images: une force définie par la texture et une autre définie par les silhouettes. La force de texture est calculée en deux étapes: une approche corrélation multi-stéréo par décision majoritaire, et une étape de diffusion du vecteur gradient (GVF). En raison de la haute résolution de l'approche par décision majoritaire, une version multi-résolution du GVF a été développée. En ce qui concerne la force des silhouettes, une nouvelle formulation de la contrainte des silhouettes est dérivée. Elle fournit une manière robuste d'intégrer les silhouettes dans l'évolution du modèle déformable. A la fin de l'évolution, cette force fixe les contours générateurs du modèle 3D. Finalement, une carte de texture est calculée à partir des images originales et du modèle 3D reconstruit.
Fichier principal
Vignette du fichier
hernandez_thesis_600dpi.pdf (20.31 Mo) Télécharger le fichier
hernandez_thesis_150dpi.pdf (7.46 Mo) Télécharger le fichier
hernandez_thesis_300dpi.pdf (20.52 Mo) Télécharger le fichier

Dates et versions

pastel-00000862 , version 1 (22-11-2010)

Identifiants

  • HAL Id : pastel-00000862 , version 1

Citer

Carlos Hernández Esteban. Modélisation d'objets 3D par fusion silhouettes-stéréo à partir de séquences d'images en rotation non calibrées. domain_other. Télécom ParisTech, 2004. Français. ⟨NNT : ⟩. ⟨pastel-00000862⟩
336 Consultations
1388 Téléchargements

Partager

Gmail Facebook X LinkedIn More