Motion Analysis for Dynamic 3D Scene Reconstruction and Understanding

Résumé : Cette thèse s’intéresse au problème de l’analyse et de la reconstruction 3D de scènes fortement dynamiques à partir un système de vision monté sur une plateforme mobile. Ce capteur calibré acquière à chaque instant la photométrie (image 2D) et la carte de profondeur (information 3D). Lorsque la scène est statique, la reconstruction 3D peut être facilement obtenue par recalage du nuage de points 3D tout au long de l’acquisition. Cependant, dès que des objets mobiles sont présents dans la scène, il est nécessaire de les détecter a priori pour reconstruire le 3D de la scène. Dans ce travail, nous proposons de résoudre le problème dans deux cas pratiques. Dans un premier temps, nous abordons le cas où le mouvement de la caméra est inconnu. Dans ce cas, nous développons des méthodes originales nommées 3D-SCC (3D-based Sparse Subspace Clustering) et 3D –SMR (3D-based SMooth Representation) basées sur la segmentation au sens du mouvement à partir de l’analyse des points 3D. Dans un second temps, lorsque le mouvement de la caméra est supposé connu, ce mouvement est compensé puis une analyse spatio-temporelle fine du champ de mouvement 3D est réalisée pour extraire les objets mobiles. En retirant ces objets, nous montrons que nous sommes capables de reconstruire à la fois les parties statiques de la scène et les parties mobiles de façon très précise grâce à une nouvelle approche de recalage des données (DW-ICP) qui combine ICP et RANSAC. Enfin ces méthodes sont validées pour l’analyse de scène où les données sémantiques sont apprises sur les images 2D et transférées sur les cartes 3D ainsi reconstruites. Tous les algorithmes, proposés dans ce travail, sont validés de manière quantitative et qualitative sur de nombreuses séquences réelles.
Type de document :
Thèse
Computer Vision and Pattern Recognition [cs.CV]. Universite de Bourgogne, 2017. English
Liste complète des métadonnées

https://hal.archives-ouvertes.fr/tel-01736353
Contributeur : Cansen Jiang <>
Soumis le : vendredi 16 mars 2018 - 18:38:42
Dernière modification le : samedi 24 mars 2018 - 01:15:43

Fichier

CansenJiang_PhD_Thesis.pdf
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : tel-01736353, version 1

Collections

Citation

Cansen Jiang. Motion Analysis for Dynamic 3D Scene Reconstruction and Understanding. Computer Vision and Pattern Recognition [cs.CV]. Universite de Bourgogne, 2017. English. 〈tel-01736353〉

Partager

Métriques

Consultations de la notice

50

Téléchargements de fichiers

33