Motion Analysis for Dynamic 3D Scene Reconstruction and Understanding
Analyse du mouvement pour la reconstruction et la compréhension de scènes 3D dynamiques
Résumé
This thesis studies the problem of dynamic scene 3D reconstruction and understanding using a calibrated 2D-3D camera setup mounted on a mobile platform via the analysis of objects' motions. For static scenes, the sought 3D map reconstruction can be obtained by registering the point cloud sequence. However, with dynamic scenes, we require a prior step of moving object elimination, which yields to the motion detection and segmentation problems. We provide solutions for the two practical scenarios, namely the known and unknown camera motion cases, respectively. When camera motion is unknown, our 3D-SSC and 3D-SMR algorithms segment the moving objects by analysing their 3D feature trajectories. In contrast, by compensating the known camera motion, our 3D Flow Field Analysis algorithm inspects the spatio-temporal property of the object's motion. By removing the dynamic objects, we attain the high quality 3D background and multi-body reconstruction by using our DW-ICP point cloud registration algorithm. In the context of scene understanding, semantic object information is learned from images and transferred to the reconstructed static map via our 2D-to-3D label transfer scheme. All the proposed algorithms have been quantitatively and qualitatively evaluated and validated by using extensive experiments of real outdoor scenes.
Cette thèse s’intéresse au problème de l’analyse et de la reconstruction 3D de scènes fortement dynamiques à partir un système de vision monté sur une plateforme mobile. Ce capteur calibré acquière à chaque instant la photométrie (image 2D) et la carte de profondeur (information 3D). Lorsque la scène est statique, la reconstruction 3D peut être facilement obtenue par recalage du nuage de points 3D tout au long de l’acquisition. Cependant, dès que des objets mobiles sont présents dans la scène, il est nécessaire de les détecter a priori pour reconstruire le 3D de la scène. Dans ce travail, nous proposons de résoudre le problème dans deux cas pratiques. Dans un premier temps, nous abordons le cas où le mouvement de la caméra est inconnu. Dans ce cas, nous développons des méthodes originales nommées 3D-SCC (3D-based Sparse Subspace Clustering) et 3D –SMR (3D-based SMooth Representation) basées sur la segmentation au sens du mouvement à partir de l’analyse des points 3D. Dans un second temps, lorsque le mouvement de la caméra est supposé connu, ce mouvement est compensé puis une analyse spatio-temporelle fine du champ de mouvement 3D est réalisée pour extraire les objets mobiles. En retirant ces objets, nous montrons que nous sommes capables de reconstruire à la fois les parties statiques de la scène et les parties mobiles de façon très précise grâce à une nouvelle approche de recalage des données (DW-ICP) qui combine ICP et RANSAC. Enfin ces méthodes sont validées pour l’analyse de scène où les données sémantiques sont apprises sur les images 2D et transférées sur les cartes 3D ainsi reconstruites. Tous les algorithmes, proposés dans ce travail, sont validés de manière quantitative et qualitative sur de nombreuses séquences réelles.
Origine : Fichiers produits par l'(les) auteur(s)