Local features for RGBD image matching under viewpoint changes

Résumé : Au cours des dernières années l'acquisition des données 3D s’est de plus en plus démocratisée grâce à des nouvelles technologies permettant la génération massive du contenu texture+profondeur (RGBD), y compris les capteurs infra-rouges Microsoft Kinect, Asus Xtion, Intel RealSense, Google Tango, scanneurs laser (LIDARs). La disponibilité croissante de cette modalité visuelle enrichie, combinant l'information photométrique et géométrique, présente des nouvelles perspectives pour des différents problèmes classiques dans la vision, robotique et multimédia. Dans cette thèse, nous considérons la recherche des correspondances visuelles locales dans les images RGBD, qui est une tâche basique pour un nombre de problèmes de haut niveau et de scénarios applicatifs. Les correspondances locales sont typiquement établies à l'aide de caractéristiques visuelles locales. Quoique ces dernières aient été étudiées profondément dans l'imagerie traditionnelle, peu de travaux couvrent ce sujet le cas du contenu texture+profondeur. Cette thèse commence par une étude de l'invariance des caractéristiques visuelles existantes à des différentes déformations visuelles. Il est connu que les caractéristiques locales traditionnelles issues de l'information photométrique uniquement peuvent être robustes à des différentes transformations dans le plan de caméra, mais sont très sensibles aux distorsions perspectives induites par des mouvements de la caméra et des transformations locales tridimensionnelles de la surface. Au même temps, ces déformations visuelles sont fréquemment présentes dans la majorité des applications réelles. Partant de cette observation, nous essayons d'éliminer cette vulnérabilité dans le cas des images texture+profondeur, en intégrant proprement le complément géométrique dans les deux étapes de l'extraction des caractéristiques visuelles: la détection de points clefs répétables et leur description locale. Avec cet objectif, nous contribuons avec plusieurs approches de détection et description des points clefs, qui préservent la dégrée conventionnelle de la covariance des points clefs et de l'invariance des descripteurs aux transformations visuelles dans le plan de caméra, mais qui ciblent également une meilleure stabilité aux transformations tridimensionnelles par rapport aux approches existantes. Afin de évaluer la performance des techniques développées, nous avons adapté une procédure standard d'évaluation de répétabilité et de discriminabilité des caractéristiques visuelles, en prenant compte la présence de l’information géométrique. Avec cela, nous mettons en place des applications des caractéristiques locales en utilisant des données acquises avec un capteur Kinect. Les résultats obtenus démontrent des avantages des méthodes conçues en termes de stabilité des caractéristiques aux mouvements de la caméra.
Type de document :
Thèse
Computer Vision and Pattern Recognition [cs.CV]. Télécom ParisTech, 2016. English
Liste complète des métadonnées

Littérature citée [143 références]  Voir  Masquer  Télécharger

https://tel.archives-ouvertes.fr/tel-01483314
Contributeur : Maxim Karpushin <>
Soumis le : dimanche 5 mars 2017 - 10:24:17
Dernière modification le : jeudi 11 janvier 2018 - 06:23:39
Document(s) archivé(s) le : mardi 6 juin 2017 - 12:16:50

Fichier

Identifiants

  • HAL Id : tel-01483314, version 1

Relations

Citation

Maxim Karpushin. Local features for RGBD image matching under viewpoint changes. Computer Vision and Pattern Recognition [cs.CV]. Télécom ParisTech, 2016. English. 〈tel-01483314〉

Partager

Métriques

Consultations de la notice

508

Téléchargements de fichiers

380