Om dit te realiseren, brachten we een reeks technologieën samen: fotogrammetrie, MetaHumans, akoestische analyse, motion capture en virtual reality. Het resultaat is een volledig meeslepende VR-ervaring, waarin een pianist optreedt in gedetailleerd gescande concertzalen—met audio-reactieve akoestiek en een virtueel instrument dat volledig klopt.
Stap 1: De Muzikant Scannen – Van Realiteit naar MetaHuman
We begonnen met het maken van een digitale twin van pianist en Orpheus-onderzoeker Tom Beghin. Doel: een levensechte MetaHuman creëren die geanimeerd kan worden en klaar is voor een virtuele performance.
Met behulp van fotogrammetrie maakten we een gedetailleerd 3D-model van Toms hoofd. Hiervoor gebruikten we meer dan 100 simultane foto’s via onze high-end scanrig op Campus The Square (Kortrijk).
De mesh werd verwerkt in RealityCapture en vervolgens via Mesh to MetaHuman van Epic Games omgezet naar een realistische digitale kopie.
Voor nog meer visuele precisie gebruikten we FaceBuilder van KeenTools in Blender om de geometrie te verfijnen en een unieke textuur te genereren—denk aan huidskleur, rimpels en andere gelaatstrekken. Zo kwam de MetaHuman opvallend dicht in de buurt van Toms echte verschijning.
Stap 2: De Locaties Scannen – Digitale Podiums voor Virtuele Performances
Voor een geloofwaardige totaalervaring hadden we ook digitale versies van echte concertlocaties nodig. Samen met RealVisuals scanden we twee unieke ruimtes met geavanceerde fotogrammetrie:
De Kreun (Kortrijk): Gescand met een draagbaar systeem dat fotogrammetrie en infrarood combineert voor nauwkeurige indoor scans.
d’Hane Steenhuyse: Een beschermd historisch pand waar je zelfs niet op de vloer mag stappen. Deze ruimte werd vanuit de lucht gescand met drones, wat het mogelijk maakte om een virtueel optreden te houden op een locatie waar fysiek optreden verboden is.
De locaties werden volledig heropgebouwd als interactieve 3D-omgevingen in Unreal Engine 5.
Stap 3: De Akoestiek Vastleggen – Geluid zoals in de Echte Ruimte
Onze collega’s van PXL Music Research voegden een cruciale laag toe: akoestische analyse. Ze voerden audioscans uit van beide locaties en registreerden hun unieke nagalm en klankprofiel.
Deze akoestische data werd geïntegreerd in de virtuele performance via Ableton Live en MAX for Live-tools. Tijdens de VR-ervaring kan de gebruiker met een controller wisselen tussen beide zalen—en hoort dan real-time hoe de ruimte de muziek beïnvloedt.
Stap 4: Het Virtuele Concert – Pianist, Piano en Performance
De muziek werd uitgevoerd op een Stein-piano, die we digitaal reconstrueerden aan de hand van CAD-bestanden voor maximale visuele én mechanische nauwkeurigheid.
Tom speelde zijn stuk op een MIDI-keyboard, waardoor we de toetsaanslagen konden linken aan de juiste toetsen op de virtuele piano.
Daarnaast droeg hij motion capture-handschoenen om hand- en vingerbewegingen te registreren. Deze data werd toegepast op zijn MetaHuman, zodat zelfs de kleinste expressieve nuances terug te zien zijn in het virtuele optreden.
De Finale Ervaring: Volledig Meeslepend en Artistiek Nauwkeurig
Alle elementen kwamen samen in een VR-beleving gebouwd in Unreal Engine 5, waarin de gebruiker:
De gedigitaliseerde pianist ziet optreden in twee realistische locaties
Hoort hoe de akoestiek per ruimte de muziek beïnvloedt
Een virtuele Stein-piano ziet reageren op de echte noten
On-the-fly kan wisselen tussen locaties, waarbij zowel geluid als beeld mee veranderen
Deze case toont hoe ver je vandaag al kan gaan in het reproduceren van een muzikale ervaring—niet enkel visueel, maar ook auditief en emotioneel.
