Nautilus: Real-Time Interaction Between Dancers and Augmented Reality with Pixel-Cloud Avatars

Andreas Fischer (1, 2) , Sara Grimm (3) , Valentine Bernasconi (1) , Angelika Garz (1) , Pascal Buchs (2) , Maurizio Caon (2) , Omar Abou Khaled (2) , Elena Mugellini (2) , Franziska Meyer (3) , Claudia Wagner (3)

1 UNIFR - Université de Fribourg = University of Fribourg
2 HES-SO - University of Applied Sciences and Arts Northwestern Switzerland
3 Bern University of Arts

Real-time interaction with augmented reality is a novel material for dancers and choreographers to work with on stage. Rather than focusing on a perfect synchronization between dance and music, it allows the dancers to affect their audiovisual environment and react to the change. In this paper, we report the process and outcome of a col-laborative effort between art and technology that has explored this new material and resulted in the dance performance Nautilus. We suggest an interaction method based on a depth sensor and pixel-cloud avatars that allows the dancers to interact reliably with an augmented reality while moving freely on stage.

L'interaction en temps réel avec la réalité augmentée re-présente un nouveau matériel avec lequel les danseurs et chorégraphes peuvent travailler pour leurs spectacles. Cela permet aux danseurs d'aller au-delà de la seule syn-chronisation entre musique et mouvement et amène de nouvelles opportunités comme modifier l'environnement audio-visuel et de réagir à ses changements. Dans cet article, nous présentons le processus et le résultat d'un travail collaboratif entre art et technologie, lequel a per- mis d’explorer ce nouveau matériel dans le cadre du spec- tacle Nautilus. Nous suggérons une approche basée sur le tracking des corps par caméra 3D et sur des avatars com- posés de nuages de pixels ; cette approche permet aux danseurs d’interagir de manière fiable avec la réalité augmentée en gardant la liberté de mouvements.

Mots clés: Danse; Réalité Augmentée; Interaction Homme-Machine; Kinect; Unity

Domaines: Interface homme-machine [cs.HC]

Andreas Fischer, Sara Grimm, Valentine Bernasconi, Angelika Garz, Pascal Buchs, et al.. Nautilus: Real-Time Interaction Between Dancers and Augmented Reality with Pixel-Cloud Avatars. 28ième conférence francophone sur l’Interaction Homme-Machine, Oct 2016, Fribourg, Switzerland. pp.50-57. ⟨hal-01386445⟩