Een Groepsproject met Impact
Dit project ontstond oorspronkelijk als een groepsproject in opdracht van DAE Research. In deze projecten werken studenten van Digital Arts & Entertainment een volledig semester aan een game of interactieve opdracht. Ze doorlopen het volledige ontwikkeltraject: van briefing met de klant (in dit geval DAE Research en Psychonaut), tot het bouwen van een prototype en uiteindelijk het afwerken van de volledige ervaring.
Dankzij het intensieve werkschema—vier van de vijf werkdagen zijn gewijd aan het project—was een ambitieuzere scope mogelijk. Toch leunde de eerste versie te sterk op game-mechanieken en te weinig op muziekbeleving. De integratie tussen 3D-elementen en de fysieke omgeving was onvoldoende, en de kracht van moderne AR kwam nog niet ten volle tot zijn recht.
Wat Kan AR Vandaag?
De meeste mensen kennen AR via Pokémon Go, waar 3D-wezens in je omgeving verschijnen via je smartphone. Dit gebeurt meestal met GPS en eenvoudige tracking. Maar AR-technologie is intussen veel verder geëvolueerd.
Visual Positioning System (VPS)
Dankzij VPS-technologie kunnen camera’s vandaag de omgeving herkennen aan de hand van visuele kenmerken. Je smartphone combineert GPS, gyroscoop, en camerabeelden met een bestaande databank van omgevingsscans om je locatie tot op enkele centimeters nauwkeurig te bepalen.
In onze AR-ervaring met Psychonaut gebruikten we VPS om 3D-beelden vast te hechten aan echte gebouwen op de site van Kortrijk Weide.
Scene Semantics
Deze techniek analyseert het camerabeeld en labelt elk pixel (bijv. lucht, gebouw, persoon, boom). Zo kan je bijvoorbeeld visuele effecten alleen op de lucht toepassen. Wij gebruikten dit om de lucht te vervangen door een surrealistische onderwaterwereld.
Diepte-inschatting
Hiermee kan AR bepalen welke objecten dichterbij of verder weg zijn in het camerabeeld. Zo lijkt het alsof 3D-objecten zich echt achter gebouwen bevinden. Voor verre objecten zoals gebouwen is dit minder betrouwbaar, dus we maakten ‘onzichtbare’ 3D-modellen van de gebouwen om visueel realisme te bewaren.
Lichtinschatting
Deze techniek analyseert het omgevingslicht en past dat toe op de 3D-objecten voor een realistische schaduw- en lichtwerking.
De Locatie Inbouwen
Om VPS te gebruiken hadden we twee opties:
Google ARCore: maakt gebruik van Street View-beelden. Helaas was Kortrijk niet beschikbaar in hun database.
Niantic Lightship: laat gebruikers toe zelf scans toe te voegen of bestaande publieke scans te gebruiken. Gelukkig was er al een publieke scan van Kortrijk Weide, wat het proces vergemakkelijkte.
ARCore laat toe om een 3D-kaart van de omgeving te importeren in de game engine, Lightship niet. We compenseerden dit door satellietbeelden te gebruiken en handmatig de elementen uit te lijnen via trial-and-error.
Art Direction
In overleg met de band kozen de studenten voor een onderwaterwereld met een cel-shaded stijl: dikke contouren, sterke contrasten, en levendige kleuren.
Om de immersie te versterken en 3D-objecten aan de echte omgeving te koppelen, werden veel modellen op of tegen gebouwen geplaatst.
De onderwaterstijl werd doorgetrokken met luchtvervanging, bubbels, lichtgevende kwallen en vissen.
De avatars van de bandleden werden gemaakt met Ready Player Me, een gratis tool voor gestileerde en rigged 3D-personages. Deze werden in Unity geïmporteerd en aangepast met onze eigen shaders.
Animatie gebeurde met gratis Mixamo-assets om de avatars tot leven te brengen.
Een Muziekvideo Heruitgevonden in AR
Door deze artistieke en technische elementen te combineren met een eenvoudige storyboardstructuur—die animaties en effecten triggert op basis van de intensiteit van de muziek—maakten we een immersieve AR-muziekvideo.
Een unieke ervaring waarin de echte wereld transformeert en de band letterlijk centraal staat, heruitgevonden door de lens van augmented reality.