Towards a computer imagination: Robust real-time 3D tracking of rigid and articulated objects for augmented reality and robotics - Archive ouverte HAL Accéder directement au contenu
Thèse Année : 2005

Towards a computer imagination: Robust real-time 3D tracking of rigid and articulated objects for augmented reality and robotics

Vers une imagination par ordinateur : Suivi robuste d'objets 3D rigides et articulés en temps réel pour la réalité augmentée et la robotique

Résumé

This thesis treats real-time 3D tracking of rigid and non-rigid objects using an apriori CAD model of the environment and a monocular vision sensor. The tracking is based on the estimation of the pose between the camera and its environment and is essential for many applications such as Augmented Reality (AR) or Visual Servoing (VS). The pose is estimated via a non-linear relation between visual features extracted from the image and the projection of the 3D object onto the image. The estimation is considered as synonymous to a Virtual Visual Servoing control law. The local features, comprising elements of the contours of the object, are tracked by an efficient Moving Edges (ME) technique. An adaptation of this tracker is proposed to make it invariant to changes in scale of the contour and so that no predetermined threshold is needed. The features and the model are related to the pose by distance-to-contour type interaction matrices. In order to take into account erroneous data a robust closed loop control law is proposed. It is based on the robust statistical technique of M-estimation which allows to consider a general class of errors including : noise in feature extraction, small tracking errors and large correspondence errors. In a last part, the approach is extended to a class of non-rigid objects in 3\D. More particularly, different types of mechanical joints are defined within the CAD model. The configuration of an articulated object is therefore obtained from a set of generalised parameters which represent both the pose of all the components of the object as well as the relative poses between the different components. In order to derive the minimal parameter representation a Kinematic Set approach is proposed. Kinematic subsets are derived in a symmetric manner using velocity constraints associated with the mechanical joints. The subsets are then combined to form the articulation matrix which defines the minimal representation. Experimental results are finally presented on several indoor and outdoor sequences. They show the efficiency of the proposed 3D tracking method even with severe outlier contamination including occlusion, changes in illumination and miss-tracking. In the case of articulated motion tracking, experiments have validated the approach for prismatic, rotational and helical type joints.
Ce manuscrit traite du suivi 3D d'objets rigides et non-rigides en temps réel par un système de vision monoculaire, en se basant sur un modèle CAO de l'environnement. Ce suivi permet d'estimer la pose entre la camera et son environnement, information essentielles pour de nombreuses applications, comme la réalité augmentée ou l'asservissement visuel qui sont considérés ici. La pose est estimée à travers une relation non linéaire entre des primitives visuelles extraites de l'image et la projection d'un objet 3D sur l'image. L'estimation est considérée comme une loi de commande d'asservissement visuel virtuel. Les primitives locales, constituées des éléments de contours de l'objet, sont suivis par la méthode efficace des Éléments de Contour en Mouvement (ECM). Une adaptation de ce suivi est proposé qui permet de le rendre invariant à l'échelle du contour, et de s'affranchir d'un seuil de détection. Les primitives et le modèle sont reliées à la pose par des matrices d'interaction de type distance-à-courbe. Afin de prendre en compte des données erronées, une loi de commande robuste est proposée. Elle se base sur une technique statistique robuste de M-estimation. Ceci permet de considérer une grande variété d'erreurs : bruit dans l'extraction des indices visuels, faibles erreurs de suivi, et importantes erreurs de mise en correspondance entre les contours dans l'image et la projection du modèle. Dans une dernière partie, l'approche est étendue pour considérer une classe d'objets non-rigides en 3D. Plus particulièrement, le modèle CAO est élargi pour prendre en compte différents types de liaisons mécaniques. La configuration d'un objet articulé est alors définie comme un ensemble de paramètres généralisés décrivant à la fois la pose de tous les composants de l'objet ainsi que les poses relatives entre ces différents composants. Pour dériver la représentation minimale, une approche d'Ensemble Cinématique est proposée. Des sous-ensembles cinématiques sont dérivés de façon symétrique à partir des contraintes de vélocité associées aux liaisons mécaniques. Les sous-ensembles sont ensuite combinés pour former une matrice d'articulation qui permet d'obtenir la représentation minimale. Des résultats expérimentaux sont finalement présentés, sur de nombreuses séquences d'environnements intérieurs et extérieurs. Ils démontrent l'efficacité de la méthode de suivi 3\D\ proposé, et ce même en présence d'erreurs plus ou moins importantes dans les données image. Dans le cadre du suivi d'objets articulés, les expériences montrent la validité de l'approche pour des liaisons de type prismatique, rotoide, hélicoïdale.
Fichier principal
Vignette du fichier
thesis_impression.pdf (5.44 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

tel-03326667 , version 1 (26-08-2021)

Identifiants

  • HAL Id : tel-03326667 , version 1

Citer

Andrew I. Comport. Towards a computer imagination: Robust real-time 3D tracking of rigid and articulated objects for augmented reality and robotics. Computer Vision and Pattern Recognition [cs.CV]. Université de Rennes I, 2005. English. ⟨NNT : ⟩. ⟨tel-03326667⟩
68 Consultations
106 Téléchargements

Partager

Gmail Facebook X LinkedIn More