Acquisition 3D des gestes par vision monoscopique et restitution virtuelle

Résumé : Les environnements virtuels en réseau permettent à plusieurs utilisateurs d'interagir à distance et de partager une impression de téléprésence en animant un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l'utilisateur. La démonstration proposée consiste à animer un avatar distant par acquisition 3D des gestes de l'utilisateur sans marqueur en temps réel par vision monoculaire, au moyen seulement d'un PC grand public équipé d'une webcam. Une première étape d'initialisation automatique consiste à apprendre l'apparence de l'arrière-plan et de l'utilisateur. En outre, le processus de recalage est utilisé pour ajuster le modèle du corps à l'acteur dans la vidéo. La deuxième étape consiste à suivre les gestes en temps réel. Pour chaque image de la séquence vidéo, la pose 3D dont la projection correspond le mieux aux caractéristiques (régions et contours) de l'image 2D est recherchée par optimisation. Les ambiguïtés monoculaires (absence de l'information de profondeur) et la limitation du temps de calcul sont prises en compte par des heuristiques dans un algorithme de filtrage particulaire. Finalement, la pose 3D obtenue est envoyée par réseau vers un avatar éventuellement distant. Nous avons développé une interface peu coûteuse pour l'acquisition 3D des gestes, qui peut fonctionne en temps réel sur des ordinateurs personnels grand public munis d'une simple webcam et permettent une communication gestuelle à très bas débit dans un environnement virtuel pour renforcer l'interaction et de le sentiment de présence à distance. Ceci permet d'établir un canal de communication gestuelle dans un monde virtuel 3D.
Liste complète des métadonnées

Cited literature [1 references]  Display  Hide  Download

https://hal.archives-ouvertes.fr/hal-00660963
Contributor : Marie Lefevre <>
Submitted on : Thursday, January 19, 2012 - 4:36:53 PM
Last modification on : Monday, December 4, 2017 - 2:52:02 PM
Document(s) archivé(s) le : Friday, April 20, 2012 - 2:22:00 AM

File

rfia2012-demonstrations-007.pd...
Files produced by the author(s)

Identifiers

  • HAL Id : hal-00660963, version 1

Citation

David Antonio Gomez Jauregui, Patrick Horain. Acquisition 3D des gestes par vision monoscopique et restitution virtuelle. RFIA 2012 (Reconnaissance des Formes et Intelligence Artificielle), Jan 2012, Lyon, France. pp.978-2-9539515-2-3. ⟨hal-00660963⟩

Share

Metrics

Record views

289

Files downloads

135