Exploring the Physicality of Widgets for Head-Based Interaction: the Case of Menu in Mixed Reality

Exploration de la Physicalité des Widgets pour l’Interaction Basée sur des mouvements de la Tête : le Cas des Menus en Réalité Mixte

Charles Bailly (1, 2) , François Leitner (3) , Laurence Nigay (4, 1)

1 LIG - Laboratoire d'Informatique de Grenoble
2 IIHM - Ingénierie de l’Interaction Homme-Machine
3 AESCULAP SAS
4 UGA - Université Grenoble Alpes

Mixed Reality with a Head-Mounted Display (HMD) offers unique perspectives for head-based interaction with virtual content and widgets. Besides virtual widgets, physical objects can be anchors (mixed widgets) or directly materialised widgets (physical widgets). The physicality (virtual-mixed-physical) of widgets defines a new dimension for Mixed Reality (MR) interaction that extends existing taxonomies of widgets in MR. As a first step to explore this new dimension, we focus on a commonly used widget: a menu. We thus evaluate the performance and usability of head pointing to a virtual, a mixed and a physical menu. Results suggest that pointing to a physical menu was on average 2s faster than pointing to a mixed or a virtual menu and preferred by participants. Virtual and mixed menus led to similar performances, but 11 participants over 15 preferred mixed menus over virtual ones. Based on our findings, we provide recommendations (benefits/limitations) for virtual, mixed and physical menus in MR.

La réalité mixte avec un casque offre des perspectives uniques pour l’interaction basée sur des mouvements de la tête avec du contenu et des objets d’interaction (widgets) virtuels. Outre les widgets virtuels, les objets physiques peuvent être des ancres (widgets mixtes) ou des widgets directement matérialisés (widgets physiques). La physicalité des widgets (virtuel-mixte-physique) définit une nouvelle dimension pour l’interaction en Réalité Mixte (RM) qui étend les taxonomies existantes. Pour explorer cette nouvelle dimension, nous nous concentrons sur un widget couramment utilisé : un menu. Les résultats d’une étude expérimentale suggèrent que pointer avec la tête vers un menu physique est en moyenne 2s plus rapide que pointer vers un menu mixte ou virtuel. Il s’agit de la condition préférée par les participants. Les menus virtuels et mixtes ont conduit à des performances similaires, mais 11 participants sur 15 ont préféré les menus mixtes aux menus virtuels. Sur la base de ces résultats expérimentaux, nous proposons des recommandations (avantages/limites) pour les menus virtuels, mixtes et physiques en RM.

Domaines: Interface homme-machine [cs.HC]

Charles Bailly, François Leitner, Laurence Nigay. Exploration de la Physicalité des Widgets pour l’Interaction Basée sur des mouvements de la Tête : le Cas des Menus en Réalité Mixte. Actes de la 32e conférence francophone sur l'Interaction Humain-Machine (IHM'20.21), Apr 2021, Virtual Event, France. pp.11:1-11, ⟨10.1145/3450522.3451326⟩. ⟨hal-03567060⟩