{"id":249,"date":"2025-07-03T14:30:46","date_gmt":"2025-07-03T14:30:46","guid":{"rendered":"https:\/\/futuremusichubs.be\/?post_type=research&p=249"},"modified":"2026-03-04T14:29:00","modified_gmt":"2026-03-04T14:29:00","slug":"249","status":"publish","type":"research","link":"https:\/\/futuremusichubs.be\/index.php\/research\/249\/","title":{"rendered":"Psychonaut AR Towards the Edge"},"content":{"rendered":"\t\t
\n\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Een Groepsproject met Impact<\/strong><\/h3>

Dit project ontstond oorspronkelijk als een groepsproject in opdracht van DAE Research<\/strong>. In deze projecten werken studenten van Digital Arts & Entertainment<\/strong> een volledig semester aan een game of interactieve opdracht. Ze doorlopen het volledige ontwikkeltraject: van briefing met de klant (in dit geval DAE Research en Psychonaut), tot het bouwen van een prototype en uiteindelijk het afwerken van de volledige ervaring.<\/p>

Dankzij het intensieve werkschema\u2014vier van de vijf werkdagen zijn gewijd aan het project\u2014was een ambitieuzere scope mogelijk. Toch leunde de eerste versie te sterk op game-mechanieken en te weinig op muziekbeleving. De integratie tussen 3D-elementen en de fysieke omgeving was onvoldoende, en de kracht van moderne AR kwam nog niet ten volle tot zijn recht.<\/p>

\u00a0<\/p>

Wat Kan AR Vandaag?<\/strong><\/h3>

De meeste mensen kennen AR via Pok\u00e9mon Go, waar 3D-wezens in je omgeving verschijnen via je smartphone. Dit gebeurt meestal met GPS en eenvoudige tracking. Maar AR-technologie is intussen veel verder ge\u00ebvolueerd.<\/p>

Visual Positioning System (VPS)<\/strong><\/h6>

Dankzij VPS-technologie kunnen camera\u2019s vandaag de omgeving herkennen aan de hand van visuele kenmerken. Je smartphone combineert GPS, gyroscoop, en camerabeelden met een bestaande databank van omgevingsscans om je locatie tot op enkele centimeters nauwkeurig te bepalen.
In onze AR-ervaring met Psychonaut gebruikten we VPS om 3D-beelden vast te hechten aan echte gebouwen op de site van Kortrijk Weide<\/strong>.<\/p>

Scene Semantics<\/strong><\/h6>

Deze techniek analyseert het camerabeeld en labelt elk pixel (bijv. lucht, gebouw, persoon, boom). Zo kan je bijvoorbeeld visuele effecten alleen op de lucht toepassen. Wij gebruikten dit om de lucht te vervangen door een surrealistische onderwaterwereld.<\/p>

Diepte-inschatting<\/strong><\/h6>

Hiermee kan AR bepalen welke objecten dichterbij of verder weg zijn in het camerabeeld. Zo lijkt het alsof 3D-objecten zich echt achter gebouwen bevinden. Voor verre objecten zoals gebouwen is dit minder betrouwbaar, dus we maakten \u2018onzichtbare\u2019 3D-modellen van de gebouwen<\/strong> om visueel realisme te bewaren.<\/p>

Lichtinschatting<\/strong><\/h6>

Deze techniek analyseert het omgevingslicht en past dat toe op de 3D-objecten voor een realistische schaduw- en lichtwerking<\/strong>.<\/p>

\u00a0<\/p>

De Locatie Inbouwen<\/strong><\/h3>

Om VPS te gebruiken hadden we twee opties:<\/p>

  • Google ARCore<\/strong>: maakt gebruik van Street View-beelden. Helaas was Kortrijk niet beschikbaar in hun database.<\/p><\/li>

  • Niantic Lightship<\/strong>: laat gebruikers toe zelf scans toe te voegen of bestaande publieke scans te gebruiken. Gelukkig was er al een publieke scan van Kortrijk Weide<\/strong>, wat het proces vergemakkelijkte.<\/p><\/li><\/ul>

    ARCore laat toe om een 3D-kaart van de omgeving te importeren in de game engine, Lightship niet. We compenseerden dit door satellietbeelden te gebruiken en handmatig de elementen uit te lijnen<\/strong> via trial-and-error.<\/p>

    \u00a0<\/p>

    Art Direction<\/strong><\/h3>

    In overleg met de band kozen de studenten voor een onderwaterwereld met een cel-shaded stijl<\/strong>: dikke contouren, sterke contrasten, en levendige kleuren.
    Om de immersie te versterken en 3D-objecten aan de echte omgeving te koppelen, werden veel modellen op of tegen gebouwen geplaatst.<\/p>

    De onderwaterstijl werd doorgetrokken met luchtvervanging, bubbels, lichtgevende kwallen en vissen<\/strong>.<\/p>

    De avatars van de bandleden werden gemaakt met Ready Player Me<\/strong>, een gratis tool voor gestileerde en rigged 3D-personages. Deze werden in Unity ge\u00efmporteerd en aangepast met onze eigen shaders.
    Animatie gebeurde met gratis Mixamo-assets<\/strong> om de avatars tot leven te brengen.<\/p>

    \u00a0<\/p>

    Een Muziekvideo Heruitgevonden in AR<\/strong><\/h3>

    Door deze artistieke en technische elementen te combineren met een eenvoudige storyboardstructuur<\/strong>\u2014die animaties en effecten triggert op basis van de intensiteit van de muziek\u2014maakten we een immersieve AR-muziekvideo<\/strong>.
    Een unieke ervaring waarin de echte wereld transformeert en de band letterlijk centraal staat, heruitgevonden door de lens van augmented reality<\/strong>.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"

    Om te laten zien wat er vandaag mogelijk is met Augmented Reality (AR), besloten we een meeslepende muzikale ervaring te bouwen. Onze inspiratie kwam van de \u201cSkinny Ape\u201d AR-performance van Gorillaz, die gelijktijdig met hun gelijknamige single werd gelanceerd. Die ervaring toonde hoe gametechnologie kan worden ingezet om nieuwe, boeiende fanbelevingen te cre\u00ebren.<\/p>\n

    Voor ons eigen experiment hadden we het geluk samen te werken met Psychonaut, een Belgische psychedelische post-metalband, die ons vriendelijk toestond hun muziek als basis te gebruiken voor deze AR-ervaring.<\/p>\n","protected":false},"featured_media":112,"template":"","meta":{"_acf_changed":false},"categories":[14],"tags":[],"project":[11],"uc_status":[40],"class_list":["post-249","research","type-research","status-publish","has-post-thumbnail","hentry","category-use_case","project-vmx","uc_status-final"],"acf":[],"_links":{"self":[{"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/research\/249","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/research"}],"about":[{"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/types\/research"}],"version-history":[{"count":5,"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/research\/249\/revisions"}],"predecessor-version":[{"id":254,"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/research\/249\/revisions\/254"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/media\/112"}],"wp:attachment":[{"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/media?parent=249"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/categories?post=249"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/tags?post=249"},{"taxonomy":"project","embeddable":true,"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/project?post=249"},{"taxonomy":"uc_status","embeddable":true,"href":"https:\/\/futuremusichubs.be\/index.php\/wp-json\/wp\/v2\/uc_status?post=249"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}