Networked Head-Mounted Displays for Animated Notation and Audio-Scores with SmartVox

Jonathan Bell (1)

1 PRISM - Perception, Représentations, Image, Son, Musique

The combination of graphic/animated scores, acoustic signals (audio-scores) and Head-Mounted Display (HMD) technology offers promising potentials in the context of distributed notation, for live performances and concerts involving voices, instruments and electronics. After an explanation of what SmartVox is technically, and how it is used by composers and performers, this paper explains why this form of technology-aided performance might help musicians for (spectral) tuning and synchronization with an electronic tape. Then, from an exploration of the concepts of distributed notation and networked music performances, it proposes solutions (in conjunction with INScore, BabelScores and the Decibel Score Player) seeking for the expansion of distributed notation practice to a wider community. It finally presents findings relative to the use of SmartVox with HMDs.

La combinaison de partitions graphiques/animées, de signaux acoustiques (partitions audio) et de technologie d'affichage "head-mounted display" (HMD) offre des perspectives prometteuses dans le contexte de la notation distribuée, pour des performances et concerts avec voix et instrumentistes équipés de smartphones. Après avoir expliqué ce qu'est techniquement SmartVox, et cet outil est utilisé par les compositeurs et les interprètes, cet article explique pourquoi cette forme de performance assistée pourrait aider les musiciens à s'accorder (spectralement) et à se synchroniser avec une bande électronique. Puis, à partir d’une exploration des concepts de notation distribuée et de performances musicales en réseau, il propose des solutions (conjointement avec INScore, BabelScores et le Decibel Score Player) visant à étendre la pratique de la notation distribuée à une communauté plus large. Il présente enfin des résultats relatifs à l’utilisation de SmartVox avec des casques HMD.

Mots clés: •Applied computing → Computer-assisted instruction; Performing arts; Sound and music computing; Networked Music Performance; Computer-aided performance; Computer-aided composition; Musical notation; Head-Mounted Display; Augmented Reality CCS Concepts •Networks → Local area networks; •Human-centered computing → Smartphones

Domaines: Son [cs.SD]

Jonathan Bell. Networked Head-Mounted Displays for Animated Notation and Audio-Scores with SmartVox. NIME - New Interfaces for Musical Expression, Jun 2019, Porto Allegre, Brazil. ⟨hal-02280046⟩