Acquisition 3D des gestes par vision monoscopique et restitution virtuelle
Résumé
Les environnements virtuels en réseau permettent à plusieurs utilisateurs d'interagir à distance et de partager une impression de téléprésence en animant un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l'utilisateur. La démonstration proposée consiste à animer un avatar distant par acquisition 3D des gestes de l'utilisateur sans marqueur en temps réel par vision monoculaire, au moyen seulement d'un PC grand public équipé d'une webcam. Une première étape d'initialisation automatique consiste à apprendre l'apparence de l'arrière-plan et de l'utilisateur. En outre, le processus de recalage est utilisé pour ajuster le modèle du corps à l'acteur dans la vidéo. La deuxième étape consiste à suivre les gestes en temps réel. Pour chaque image de la séquence vidéo, la pose 3D dont la projection correspond le mieux aux caractéristiques (régions et contours) de l'image 2D est recherchée par optimisation. Les ambiguïtés monoculaires (absence de l'information de profondeur) et la limitation du temps de calcul sont prises en compte par des heuristiques dans un algorithme de filtrage particulaire. Finalement, la pose 3D obtenue est envoyée par réseau vers un avatar éventuellement distant. Nous avons développé une interface peu coûteuse pour l'acquisition 3D des gestes, qui peut fonctionne en temps réel sur des ordinateurs personnels grand public munis d'une simple webcam et permettent une communication gestuelle à très bas débit dans un environnement virtuel pour renforcer l'interaction et de le sentiment de présence à distance. Ceci permet d'établir un canal de communication gestuelle dans un monde virtuel 3D.
Origine : Fichiers produits par l'(les) auteur(s)
Loading...