Immersive Music

De muziekgeschiedenis kende verschillende technologische revoluties: van mono naar stereo over surround naar 3D sound. Deze revoluties kenden allemaal hun oorsprong in technologische vooruitgang. Artiesten en componisten omarmden de technologie later en maakte het mogelijk om hun kunstvorm te vernieuwen. Beethoven veranderde zijn compositiestijl toen hij een nieuwe Engelse piano kreeg, filmmuziek veranderde radicaal toen de soundtrack werd geïntroduceerd (als vervanger van de live begeleiding met piano). Vandaag vindt er een gelijkaardige revolutie plaats: de technologie voor immersive music in 3D applicaties en VR is beschikbaar, artiesten en componisten moeten nu volgen. Een enorme creatieve ruimte ligt te wachten om verkend te worden door innovatieve en experimentele bands, films en games. PXL-Music wil onderzoeken wat deze technologische evolutie kan betekenen voor de muziekwereld door een aantal casestudies.

 

Werkwijze

In al onze onderzoeken gaan de researchers aan de slag met de 4 stappen van het creatieproces van een nummer: componeren, opnemen, mixen en live performen. In elk van deze stappen liggen uitdagingen specifiek aan het Immersive formaat.
Een componist moet op een nieuwe manier nadenken over instrumentarium, beweging en harmonie van een nummer.
De technicus moet tijdens opnames en mixen rekening houden met nieuwe microfoontechnologie, plaatsing van instrumenten en opnamemateriaal en een mix die alle instrumenten in de ruimte tot hun recht laat komen.
Een live performance brengt uitdagingen met zich mee op vlak van podiumopstelling, plaats van het publiek en live mixen van verschillende geluidsbronnen.

 

Immersive Drums

Steven Maes, Arthur Moelants en Harm Peters onderzoeken hoe ze op verschillende manieren basisinstrumenten zoals drum, bas, gitaar en stem kunnen opnemen en vertalen naar 3D audio. Ze willen zich hierbij niet beperken tot channel based systemen als Auro of Dolby maar ook bekijken hoe ze de vertaling kunnen maken naar Ambisonic en binaural.

Ze namen drumsounds op van vier legendarische producers (Mark Ronson, Darrell Thorp, Tchad Blake en Nick DiDia) in verschillende immersive en traditionele stereo opstellingen en akoestieken. Deze opnames leverde gigantisch veel materiaal op om te vergelijken en te beluisteren: 40 kanalen audio voor 4 verschillende songs in 2 verschillende akoestieken op 3 verschillende formaten (channel based systemen, binaural en Ambisonic) verschillende output formaten.

Het idee om verschillende microfoonopstellingen te gebruiken voor verschillende 3D audio toepassingen lijkt te werken. Daarnaast blijkt de black kiwi (hun eigen versie van een kunsthoofd) meer en meer een blijver. Zeker bij de drumopnames is de spatialisatie en het resultaat op koptelefoon veelbelovend.

Het team wil aan de hand van deze experimenten een workflow creëren voor pop- en rockopnames, zodat producers, engineers en de eigen studenten goede immersive audio-opnames kunnen maken.

 

Synrise Immersive

Naar aanleiding van de tiende verjaardag van de dancefloor classic Synrise van het Kortrijkse Goose nam de band samen met het immersive team van PXL-Music Research en Sennheiser een live versie op van het nummer in immersive sound.

De track werd in oktober 2020 in 1 take gefilmd en opgenomen in de Safari Studios in Kortrijk met een interessante live-opstelling: de 4 bandleden speelden vanuit 4 plaatsen in de ruimte rondom een aantal centraal geplaatste microfoons, waarbij het ruimtelijk effect nog werd versterkt door vrijstaande microfoons en een microfoon op de bewegende camera.

De verschillende audiobronnen werden door het team van PXL-Music Research gebruikt om in de eindmix het geluid mee te laten bewegen met de camera door de ruimte.

CREDITS

Audio
Engineered and Mixed by: Arthur Moelants & Tom Van Achte (PXL-Music)
Recorded by: Frank Voet

Video
Director of Photography: Maximiliaan Dierickx
Executive produces: Universal Music Belgium & Safari Studios

 

Lancering Immersive Music Labo

Om dit onderzoek uit te voeren werd een belangrijke investering gedaan in onderzoeksinfrastructuur met steun van het Vlaams agentschap Innoveren en Ondernemen. Dankzij deze investering openden we in februari 2020 met gepaste trots het Immersive Music Labo.

Het laboratorium bestaat enerzijds uit een studioruimte met een variable luidspreker setup met 23 luidsprekers en anderzijds uit een mobiele PA opstelling voor live Immersive concerten. Muziekodroom is onze partner in de live Immersive opstelling. De Hasseltse muziekclub stelt haar concertzaal ter beschikking van dit onderzoek.

 

Innovatief partnerproject : Immersive Bach.

Eén van de manieren waarop we onze kennis en infrastructuur ten dienste stellen van de sector is in een innovatief partnerproject in samenwerking met B-Classic gesteund door Vlaams agentschap Innoveren en Ondernemen. Met het project ‘Immersive Bach’ geven we cellist Benjamin Glorieux de opdracht om zich onder te dompelen in de technologie van Immersive Sound. Eenmaal hij de mogelijkheden hiervan heeft doorgrond, herdenkt hij de 6 cellosuites van Bach. PXL-Music onderzoekers Brent Mijnendonckx en Micha Volders begeleiden Benjamin in zijn technologische en artistieke ontdekkingstocht.

 

Het Narrenschip / The Ship Of Fools

Samen met docent Sara Gilis en studenten muziek onderzoekt de researchgroep hoe een akoestische opname herwerkt kan worden voor immersive. De muzikanten worden in een cirkel rond een denkbeeldige luisteraar geplaatst.

Als luisteraar en kijker zit je in de performance, waardoor je naar de muziek kan luisteren en kijken op meerdere manieren. Instrumenten en speeltechnieken worden zorgvuldig gekozen om detail aan het geluid te geven en om de toeschouwer de gelegenheid te geven om te verkennen: percussie, polyfonie, plotselinge stops en gitaarsolo’s trekken de aandacht van de luisteraar/kijker.

Opgelet: 360° audio werkt enkel in Google Chrome — Credits: Cis De Gendt (drum), Paul Moreau (drums), Gil Persoons (contrabas), Arnaud Soetens (zang), Lucas Nevelsteen (gitaar), Studenten MUT3 (recording), Steven Maes (mix)

 

Songs

David Poltrock (docent Soundlab) werkt aan songs met immersive in het achterhoofd. Hij focust op compositie: wat is het effect op een componist als hij over een “360 graden vrijheid” beschikt? En wat is het effect op de luisteraar?

Het team onderzoekt bovendien hoe de opname en het mixen van de muziek worden beïnvloed door deze nieuwe mindset. Luister naar Sleep, een eerste experiment van David Poltrock, op 3 verschillende manieren gemixt:

Mono mix:

Stereo mix:

Binaural mix:

Credits: David Poltrock (compositie, instrumenten), Nina Sampermans (zang), Arthur Moelants en Steven Maes (opname en mix). Mixen in 9.1 en 7.1.2 en vertaling naar Binaural met MyBino panner van X audio.

 

NMBS 360

Johan Hogewijs (Heterdaad, Russen, Witse) componeert een soundtrack voor een commercial van de Belgische spoorwegmaatschappij NMBS. Studenten mogen meewerken aan postproductie, bruitage en setaudio.

Opgelet: 360° audio werkt enkel in Google Chrome — Credits: Arthur Moelants (opname en mix)

 

Het doel

Het team wil een methodologie uitwerken voor het componeren en mixen van immersive music, een lab uitbouwen waar muzikanten en technici kunnen experimenteren in een driedimensionele muzikale ruimte en fungeren als adviesorgaan. Bovendien zal zij in de toekomst inhoud kunnen creëren voor VR-applicaties en live concerten.

Team Immersive Music zijn Steven Maes, Erik Loots en Arthur Moelants.

Vragen? Mail naar steven.maes@pxl.be