Engineering study on the use of Head-Mounted display for Brain- Computer Interface

Etude d'ingénieurie sur l'utilisation d'un casque de Réalité Virtuelle pour une Interface Cerveau-Ordinateur

Anton Andreev (1) , Grégoire Cattan (2, 3) , Marco Congedo (2)

1 GIPSA-Services - GIPSA-Services
2 GIPSA-VIBS - GIPSA - Vision and Brain Signal Processing
3 IHMTEK [Vienne, France]

In this article, we explore the availability of head-mounted display (HMD) devices which can be coupled in a seamless way with P300-based brain-computer interfaces (BCI) using electroencephalography (EEG). The P300 is an event-related potential appearing about 300ms after the onset of a stimulation. The recognition of this potential on the ongoing EEG requires the knowledge of the exact onset of the stimuli. In other words, the stimulations presented in the HMD must be perfectly synced with the acquisition of the EEG signal. This is done through a process called tagging. The tagging must be performed in a reliable and robust way so as to guarantee the recognition of the P300 and thus the performance of the BCI. An HMD device should also be able to render images fast enough to allow an accurate perception of the stimulations, and equally to not perturb the acquisition of the EEG signal. In addition, an affordable HMD device is needed for both research and entertainment purposes. In this study, we selected and tested two HMD configurations.

Dans cet article, nous recherchons un casque de réalité virtuelle compatible avec l’utilisation des interfaces-cerveau ordinateurs reposant sur l’électroencéphalographie (EEG) et l’exploitation du P300. Le P300 est un potentiel évoqué apparaissant dans l’EEG environ 300ms après le début d’une stimulation. L’exploitation de ce potentiel dans l’EEG nécessite de connaître avec précision le début des stimulations. En d’autres termes, le matériel de réalité virtuelle doit être parfaitement synchronisé avec l’acquisition du signal EEG, ce qui est réalisé grâce à un processus appelé tagging. Le matériel de réalité virtuelle doit permettre un tagging robuste et précis afin de s’assurer de la bonne détection du P300, laquelle détermine la performance de la BCI. En plus d’avoir un prix accessible, le casque doit également simuler des environnements de qualité, de sorte que les stimuli soient correctement perçus par l’utilisateur, et dans le même temps garantir la qualité du signal EEG. Dans cette étude, nous choisissons et testons deux configurations possibles.

Mots clés: Brain-Computer Interface (BCI); Virtual Reality (VR); Head-Mounted Display (HMD)

Mots clés: Interface Cerveau-Ordinateur (ICM); Réalité Virtuelle (VR); P300

Domaines: Interface homme-machine [cs.HC]

Anton Andreev, Grégoire Cattan, Marco Congedo. Engineering study on the use of Head-Mounted display for Brain- Computer Interface. [Technical Report] 1, GIPSA-lab. 2019. ⟨hal-02166844⟩