XR Music Toy

Extended Reality (XR) is in opmars als een transformatieve technologie en wint terrein in uiteenlopende sectoren—van entertainment tot onderwijs. Met grote spelers zoals Apple die fors investeren in XR-hardware, zoals de Apple Vision Pro, groeit het potentieel voor meeslepende ervaringen snel. Binnen het VMX-project stelden we ons de vraag: “Welke rol kan XR spelen in liveshows?” Om die vraag te onderzoeken, lanceerden we het XR Music Toy-project—een onderzoeksinitiatief dat focust op experimenteren met XR binnen de context van muzikale performance. Ons doel? Kleine, creatieve ideeën prototypen die muziek en extended reality op boeiende manieren samenbrengen.

De opbouw van de XR Music Toy

De XR Music Toy bestaat uit drie kerncomponenten:

1. XR-toepassing gebouwd in Unity

Centraal in het systeem staat een XR-applicatie ontwikkeld in Unity, een van de meest toegankelijke en breed gebruikte game-engines voor XR. Unity laat snelle prototyping toe, wat het uitermate geschikt maakt voor onze experimentele aanpak.

De applicatie draait rechtstreeks op een XR-headset en maakt zo interactieve, immersieve ervaringen in realtime mogelijk.

2. OSC-communicatieprotocol

Om communicatie tussen de XR-headset en externe apparaten mogelijk te maken, gebruiken we Open Sound Control (OSC)—een protocol dat bekendstaat om zijn lage latency, hoge precisie en flexibiliteit. OSC is al populair in professionele licht- en audio-installaties en is dus een logische keuze voor muziekperformances verrijkt met XR.

3. Audioprocessing met PlugData en Reaper

Audio wordt verwerkt via PlugData, een visuele audio-programmeeromgeving, in combinatie met Reaper, een digitale audio workstation (DAW). Deze setup laat ons toe om realtime data van fysieke instrumenten te combineren met OSC-signalen uit het XR-systeem, wat leidt tot dynamische en expressieve audio-effecten.

Fysieke en virtuele werelden versmelten

XR maakt een naadloze integratie mogelijk tussen de echte en virtuele wereld. Dankzij technologieën zoals eye tracking, hand tracking en spatial mapping kunnen performers op een intuïtieve en expressieve manier interageren met virtuele elementen.

 

Voorbeeld 1: Sampling met oogbesturing

In dit prototype wordt eye tracking gebruikt om te detecteren waar de performer naar kijkt. Wanneer de gebruiker naar een virtueel blok kijkt en tegelijk gitaar speelt, wordt een sample getriggerd. Dit zorgt voor een subtiele maar krachtige interactie tussen fysieke actie en virtuele respons.

Voorbeeld 2: Immersieve visuele werelden

Hier wordt de virtuele wereld een canvas. Met Unity kunnen we fantasierijke visuals renderen—lasers, planeten, zwevende objecten, enz.—die reageren op muziek of interactie. Dit opent een schat aan creatieve mogelijkheden voor liveshows en installaties.

Voorbeeld 3: Volledig virtuele instrumenten

In dit geval is er helemaal geen fysiek instrument nodig. Het instrument bestaat volledig in XR, en de gebruiker speelt het via handgebaren of oogbewegingen. Dit opent compleet nieuwe manieren van muzikale expressie, waarbij de beperkingen van fysieke hardware wegvallen.