Acquisition 3D des gestes par vision monoscopique et restitution virtuelle

Résumé : Les environnements virtuels en réseau permettent à plusieurs utilisateurs d'interagir à distance et de partager une impression de téléprésence en animant un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l'utilisateur. La démonstration proposée consiste à animer un avatar distant par acquisition 3D des gestes de l'utilisateur sans marqueur en temps réel par vision monoculaire, au moyen seulement d'un PC grand public équipé d'une webcam. Une première étape d'initialisation automatique consiste à apprendre l'apparence de l'arrière-plan et de l'utilisateur. En outre, le processus de recalage est utilisé pour ajuster le modèle du corps à l'acteur dans la vidéo. La deuxième étape consiste à suivre les gestes en temps réel. Pour chaque image de la séquence vidéo, la pose 3D dont la projection correspond le mieux aux caractéristiques (régions et contours) de l'image 2D est recherchée par optimisation. Les ambiguïtés monoculaires (absence de l'information de profondeur) et la limitation du temps de calcul sont prises en compte par des heuristiques dans un algorithme de filtrage particulaire. Finalement, la pose 3D obtenue est envoyée par réseau vers un avatar éventuellement distant. Nous avons développé une interface peu coûteuse pour l'acquisition 3D des gestes, qui peut fonctionne en temps réel sur des ordinateurs personnels grand public munis d'une simple webcam et permettent une communication gestuelle à très bas débit dans un environnement virtuel pour renforcer l'interaction et de le sentiment de présence à distance. Ceci permet d'établir un canal de communication gestuelle dans un monde virtuel 3D.
Type de document :
Communication dans un congrès
RFIA 2012 (Reconnaissance des Formes et Intelligence Artificielle), Jan 2012, Lyon, France. pp.978-2-9539515-2-3, 2012
Liste complète des métadonnées

Littérature citée [1 références]  Voir  Masquer  Télécharger

https://hal.archives-ouvertes.fr/hal-00660963
Contributeur : Marie Lefevre <>
Soumis le : jeudi 19 janvier 2012 - 16:36:53
Dernière modification le : lundi 4 décembre 2017 - 14:52:02
Document(s) archivé(s) le : vendredi 20 avril 2012 - 02:22:00

Fichier

rfia2012-demonstrations-007.pd...
Fichiers produits par l'(les) auteur(s)

Identifiants

  • HAL Id : hal-00660963, version 1

Collections

Citation

David Antonio Gomez Jauregui, Patrick Horain. Acquisition 3D des gestes par vision monoscopique et restitution virtuelle. RFIA 2012 (Reconnaissance des Formes et Intelligence Artificielle), Jan 2012, Lyon, France. pp.978-2-9539515-2-3, 2012. 〈hal-00660963〉

Partager

Métriques

Consultations de la notice

271

Téléchargements de fichiers

128