Dit onderzoek situeert zich binnen het domein van New Interfaces for Musical Expression (NIME), waar traditionele controllers plaatsmaken voor alternatieve interactievormen. In plaats van knoppen, toetsen of faders staat het lichaam centraal als instrument. Beweging, gebaren en expressie worden vertaald naar muzikale parameters en vormen zo een directe brug tussen performer en geluid.
Van camerabeeld naar klank
Een recent ontwikkelde Python-toolkit maakt gebruik van AI-modellen zoals MediaPipe om in realtime handen, vingers, gebaren en gezichtslandmarks te detecteren via een standaard webcam. Die data wordt via OSC doorgestuurd naar Ableton Live met behulp van Max for Live.
Concreet betekent dit dat muzikanten met een handbeweging een filter kunnen openen, via een knijpgebaar een arpeggiator kunnen activeren of met subtiele veranderingen in houding en expressie klankparameters kunnen beïnvloeden. Het lichaam wordt zo een dynamische controller die intuïtieve interactie mogelijk maakt.
Naast handtracking wordt ook geëxperimenteerd met emotiedetectie via AI-modellen zoals DeepFace. Gedetecteerde emotionele staten kunnen gekoppeld worden aan muzikale modi of harmonische structuren. Zo kan een positieve expressie bijvoorbeeld resulteren in een lichtere toonladder, terwijl spanning of intensiteit leidt tot een donkerder klankkleur. Hoewel realtime emotiedetectie technisch uitdagend blijft, toont het concept duidelijke artistieke potentie.
Breder experimenteel kader
De experimenten beperken zich niet tot webcamtracking. Er wordt ook getest met Leap Motion, MYO-spiersensoren, dieptesimulatie via dual-camera-opstellingen en integratie binnen audiovisuele omgevingen zoals TouchDesigner.
Deze verkenningen passen binnen de bredere doelstelling van Future Music Hubs om immersive en interactieve technologieën toegankelijk te maken voor artiesten en creatieve professionals.
Van technologie naar expressie
De technische prototypes vormen slechts een eerste stap. De echte uitdaging ligt in het ontwikkelen van muzikale mappings die coherent, expressief en artistiek relevant zijn. Technologie mag geen gimmick worden, maar moet de muzikale intentie versterken.
Door het lichaam als instrument te benaderen, ontstaan nieuwe vormen van performance waarin beweging, emotie en klank naadloos met elkaar verbonden zijn. Binnen Future Music Hubs vormt dit onderzoek een belangrijke bouwsteen in de zoektocht naar innovatieve en toegankelijke tools voor de muziekpraktijk van morgen.
