messages: Er det mulig å forske på musikkteknologi og samtidig være produsent for verdensstjerner som hun Beyonce? Møt han Jon Marius Aareskjold og få siste nytt innen algoritmer og forsinkelse i musikkproduksjon! Marit han Jon Marius Aareskjold er gjest hos oss i dag. Jeg er starstruck. Det skjønner jeg godt fordi som formell tittel så er det så er han altså førsteamanuensis i musikkteknologi. Men av kan vi si den herre altså det folk flest kanskje ville ha hatt kjennskap til er jo at han har vært produsent og tekniker for veldig store navn, blant anna a-ha, Nils Petter Molvær og Beyonce å. Det er kult. Men, altså det. Han har vunnet en drøss med eller hvert fall vært delaktig i utgivelser, nå seinest i totusenogsytten hvor Nils Petter Molvær fikk spellemannpris, og der var han Jon Marius produsent. Han er altså du, Jon Marius. Velkommen hit. Tusen takk. Ja. Hyggelig å få være her. Ja, så bra. Også er han ikke bare førsteamanuensis, men han er førsteamanuensis ved Universitetet i Tromsø, Norges arktiske universitet. Det stemmer det glemte jeg å si. Er så langt og flott det navnet der. Ja Ja. Men Jon Marius vi skal snakke om forskninga som du gjør, men først så syns jeg nesten vi har pirra lite grann ved å snakke om de samarbeida du har hatt Ja. Har du lyst til også ta oss tilbake til en sånn herre sånn kjapp nærmest sånn biografisk gjennomgang av din historikk som Ja, absolutt. Altså jeg begynte jo da som seg hør og bør så begynte jeg som sånn du vet sånn studentlydtekniker på Samfundet i Trondheim mens jeg studerte der. Og så balla det lite grann på seg, og så etter hvert så begynte jeg å prioritere da å jobbe med musikken mer og mer. Mindre og mindre studier, mer og mer musikk. Og da spilte du sjøl? Ja jeg spilte i band spilte i Tre Små Kinesere blant annet. Ja. Jeg har vært litt sånn hadde med en sånn sampler og var litt sånn det gjorde masse fancy greier sammen med de, og så og så etter hvert så flytta jeg til Oslo og fikk jobb i noen studioer der og endte opp til slutt med sammen med Tromsøs to av Tromsøs  store musikalske sønner, Espen Lind og Amund Bjørklund. Ja. Så jeg hadde jobba i et produksjonsteam sammen med de da, så jeg har tilbrakt utrolig mange tusen timer med de to i studio. Hvordan er deres og Ja Trengt inn i et studio med dem det var greit? Ja nei de lukta alltid godt begge to Ja det er bra. Ja også veien videre da har det jo begynt å åpne seg. Ja altså det som så var det sånn at da jobba vi jo med masse norske sånn David Pedersen, den der Wild at heart og gjorde litt sånn Idol. Idol-David. Ja Idol-David ja, og fra Andenes, er det ikke det? Yes. Ja han fantastisk fyr og gjorde og masse norske ting da også en del engelsk-amerikanske ting og hadde et samarbeid med Stargate som mange har hørt om, et stort altså Trondheimsbasert ja. Ja de var Trondheimsbaserte og da og altså da var de tre stykker da, altså Hallgeir og Mikkel og Tor Erik, og de på en måte tok oss litt under vingen, og da hadde de ganske stort sånn internasjonalt kontaktnettverk, så vi fikk tilgang til og liksom litt sånn med sånn litt kanaler ut da. Ja og sånn helt kort, Stargate dem er linka til noen av de største popartistene som vi har i verden. Ja og det er et av de et av de største produksjonsteamene i historien faktisk. Ok ja Ja for liksom de har produsert den nye den siste Coldplay-plata, og de har gjort sånn dem har gjort masse Katy Perry-låter, Fireworks, og liksom gjort en hel altså masse låter da. Ja. Og virkelig markert seg og åpna liksom det internasjonale musikkmarkedet for en hel generasjon med produsenter fra Norge som vi ser nå gjør det stort da. Og da og da var vi liksom med på den der første bølgen da, og vi satt liksom i studio for vi hadde nabostudio til Mikkel og Tor Erik da i New York, og satt der og mekka, og fikk gjort noen veldig store låter da. De største låtene som på en måte jeg har vært med på da, ikke som å ikke med å skrive men på en måte å spille inn og produsere, det er det er den Irreplacable med Beyonce også er det Ja. Monsterhit. Det er en ordentlig hit, også er det Hey soul sister med Train. Nei. Ja den er ja. Å den er så catchy. Ja og det er sånn fantastisk historie om liksom hvordan når liksom de fikk ikke refrenget til å funke og Espen dro fram ukulelen og liksom ja men kom an vi prøver noe her og ikke sant og det liksom kjempeartig veldig sånn fin prosess da som de hadde med han vokalisten fra Train. Så det så det er jo også vært litt sånn vært med på veldig mye artige ting der. Og så men så på et punkt så jeg har jo familie og unger og alt dette her, og på et punkt så valgte vi da å flytte hjem å flytte til Tromsø for der hadde vi familie.  og da var det samtidig med at vi eller grunnen til at vi kunne flytte og at jeg fortsatt kunne jobbe var at vi hadde altså det da var internett blitt raskt nok til at man kunne drive og sende filer fram til sånn ja godt ut på totusentallet så dreiv vi å sendte filer med sendte harddisker med Fedex liksom fram og tilbake. Men så men så på et eller annet punkt sånn ja for en ti tolv år sia så begynte det å bli sånn at du kan bruke YouSendIt da, og det var liksom det store altså sendte vi som sånne pakker med filer, og det var helt fantastisk at man kunne sende ikke sant det var husker når vi fikk det til å virke og bare å. Å ja. Og det er helt utrolig ikke sant. Da var det sånn at jeg hadde hatt en dialog med en som heter Fredrik Forssman som jobba da som det som de kalte for rockekonsulent og som driver det som nå heter KOFOR her oppe. Kompetansesenter for rock? Ja og han vi hadde lufta det at vi hadde litt tenkt på å være litt i Tromsø da og så og han drev og skulle sette opp et studio. Også traff vi han tilfeldig egentlig på Kaffebønna, så vi kom vi litt i prat og han men hva skal vi ikke prøve å få til etter annet og ikke sant, og så satt vi på Kaffebønna så satt vi og tegna på en serviett liksom, hva må vi ha for at det skal være et ordentlig studio i Tromsø? Også han er jo så utrolig driftig, sånn at han bare så ringte han meg, det var bare altså noen uker etterpå, så tenkte jeg vet du hva Jon Marius jeg tror faen meg jeg får det her til, også og da var det som ble Kysten studio da som han hadde sådd kimen til der. Ja. Og det og det da var det først var vi borte på det Kystens hus og i en sånn øvingshall som ble lagd for NOSO der, og så nå er det jo i brannstasjonen nede på TVIBIT for de som ja de som for de som er godt kjent i Tromsø så er det et sånn et svært ungdomshus da som kommunen har bygd opp. Ja i Tromsø de som er godt kjent her ja Men så det er ikke noe særlig akademisk over det, så tar du en akademisk vending. Nei. Ja for da og da er det sånn at da er det den daværende dekanen ved Kunstfaglig fakultet, altså Håkon Stødle og Anne Aagaard som og fortsatt er administrativ leder, de var på utkikk etter noen som kunne undervise i musikkteknologi da. Så og så og så etter litt sånn fram og tilbake, så fikk jeg da på en måte en begynte som timelærer da ikke sant så går man liksom gradene oppover, og nå etter hvert så ble jeg da til slutt førsteamanuensis i musikkteknologi Så du kombinerer altså en fulltids akademisk syssel med produksjon av musikk på verdensnivå? Ja,og og det er jo det som er fantastisk med det å være ved et kunstfaglig fakultet, fordi at da er det da er det, altså det er jo mitt musikalske virke på samme måte som en altså Sergei som underviser som er professor i piano som gjør konserter og sånn så er det så jeg gjør da produksjoner som en del for å holde meg relevant. Ja. Og ikke sant og det er jo selvfølgelig veldig artig å vise til studentene at ja her er her er liksom den låta som jeg gjorde med Nils Petter i fjor og den ja han fikk jo Spellemannprisen akkurat og ikke sant. Altså produksjonene blir en form for både didaktisk eller pedagogisk empri og forskningsempiri samtidig? Det er veldig fin måte å gjøre det på da. Ja det blir det. Absolutt. Sånn at så sånn som det her med Nils Petter-plata den har jeg også gjort en paper på som jeg presenterte nå før jul i fjor og jobber med en artikkel basert på det hvor jeg sammenligner produksjonsprosessen som vi gjorde og med hvordan Jan Erik Kongshaug spilte inn Belonging med Keith Jarrett og Jan Garbarek på syttitallet. Og liksom sammenligna gjort intervjuer med de guttene fra som spilte inn Belonging da og med de som jeg jobba sammen med på. Men hva altså jeg skjønner jo at det er jo store forskjeller fra å liksom assosieres med digre altså sånn derre superstjerner og bo i New York og være med på å skrive hitter som drar inn milliarder av dollars til å være her i Tromsø og rett og slett drive forskning og finne ut litt av hvordan ting henger sammen. Ja. Og det er jo da musikkteknologi. Ja. Hva var det et vendepunkt der, hvor du bare slapp spaken holdt jeg på å si og sa det her Ja nei altså når jeg flytta så var det så var det ikke en da fortsatte jeg egentlig bare i samme altså jeg de fortsatte å sende meg filer, og da var det sånn at når de satt der og jobba så ikke sant så på grunn av tidsforskjellen da så var det sånn at når de liksom dro fra studio om på kvelden sånn i tolvtida så lasta de opp filer, og da hadde jeg det sånn at jeg når jeg kunne levere i barnehagen, mikse og gjøre det som var min del av arbeidet da, og så sende av gårde filene til de dra og hente i barnehagen, og de fikk den akkurat når de kom i studio. Så det var helt sånn perfekt altså, så vi hadde sånn tjuefiretimersoperasjon gående der noen år da. På grunn av tidsforskjellen ja? Ja. Men så etter hvert så forandra på en måte altså ikke sant musikkbransjen er jo i stor endring også teknologisk, og etter hvert så forandra det lite grann hvordan vi trengte å jobbe, samtidig som jeg fikk altså jeg prioriterte da mer og mer det å jobbe akademisk altså som lærer da. Sånn at jeg fikk større og større stilling og fler og fler studenter, og også trivdes veldig godt med å gjøre det. Sånn at jeg sånn at det var det var ikke liksom en sånn, det var ikke en sånn skift. Når vi kom til Tromsø så var det egentlig bare på en måte at alt det praktiske plutselig gikk opp fordi at sånn altså sånn å bo med to småunger på Manhatten, det er veldig dyrt og veldig upraktisk. Så barnehagen var sånn to etasjer under Rockefeller center, og det var det var bare var bare styr ikke sant sånn at det er mye bedre å for barn å vokse opp her. Ja. Ja. Det var vi enig om da. Du er samboer med en av de holdt på å si største navna i Tromsø, hun Anneli Drecker? Ja. Ja så Absolutt som er stipendiat ved Musikkonservatoriet ja holder på med. Ikke sant ja Kan vi gå til den der musikkteknologiske forskninga fordi hva når du. Ja. Vi har jo hatt noen erfaring i Tromsø allerede om at det har vært forsøkt å sende sette opp opera på kinoen, at vi har fått sitte i kinoen og høre opera samtidig som de hørte operaen på Metropolitan. Ja.  ja. Og så vet vi at dere har jobba med å prøve å få til samspill mellom USA som er så har så annerledes tidsfase enn som oss altså man har spilt sammen, Ja. Lange avstander ikke minst. Ja lange avstander både i tid og rom. Ja og det dette er det et prosjekt som jeg kom inn i tidlig når jeg etter hvert ble ansatt ved konservatoriet som var World Opera-prosjektet som ble leda av Niels Windfeld Lund som jobber ved dokumentasjonsvitenskap her på i på UiT Norges arktiske universitet og han hadde et større prosjekt gående da allerede som var et samarbeidsprosjekt med Stanford, NYU, McGill og den Det Kungliga Tekniska i Stockholm hvor man hvor vi satt opp et sånn spesiallagd programvare som gjorde at vi kunne altså at vi kunne spille konsert som foregikk på alle de stedene samtidig. Men den og men den det som er utfordringa når du skal spille musikk med noen som er i California, det er det at det er tidsforsinkelse. Og selvfølgelig en ting er jo på en måte at du må sende via masse ruter og sånne ting som introduserer en del forsinkelser. Men så er det også det at du har altså bare altså signalet brer seg i ledningsnettet med lyshastigheten, og bare det gjør at du får liksom en sånn tretti førti millisekund forsinkelse som vil si at istedenfor liksom hvis vi står og snakker sammen så plutselig så hadde vi stått i hver vår ende av en konsertsal og skulle snakke sammen ikke sant. Og da blir det jo klart at dialogen blir vanskeligere ikke sant. Og fordi og det er jo ikke helt umulig å tenke seg at man kunne stått kanskje i hver vår hver sin ende av en konsertsal og spilt sammen. Men i tillegg så er det at du har på grunn av den her nærmikkinga og all måten man må jobbe for å unngå at det blir sånn feedback og masse sånn ekkogreier og sånn så må vi så blir det veldig vanskelig da å spille ikke sant. Hvis vi skal spille liksom holde liksom et tempo og sånn en time og en klokke så blir det en sånn forsinkelse, så blir det helt sånn så det blir sånn hele tida. Og det og det er liksom den store utfordringa når man jobber i innafor det her formatet at du har sånne tidsforsinkelser og litt forskjellige tidsforsinkelser overalt og sånn, og da må man jobbe og det liksom og der var det på en måte vi litt sånn essensen i det arbeidet ble etter hvert å finne det kunstneriske uttrykket som passa i et sånt format. At man måtte liksom skape kunst som fungerte innafor en altså skape musikk som hvor tid time liksom klokke ikke er viktig men samtidig som man er interessant å høre på. Men. Men hva er neste skritt? Neste skritt er og det er en sånn det som vi jobber med, og som det som er litt sånn det store innafor det her utrolig smale fagfeltet, det er jo det er jo da det som kalles for prediksjon. Ja. Altså prediksjon som er å forutsi. En gang til. Prediksjon. Ja. Ja. Predikere ja. Ikke sant ja og liksom det som jeg et prosjekt som jeg er i gang med nå akkurat fått finansiering fra UiT Norges arktiske universitet ikke sant vi har jo noe sånn derre sånn eksperimentelle prosjekt da som man kan få penger til, og da har jeg fått penger til å prøve å utvikle en maskinlæringsalgoritme som kan altså det og den liksom er at å lage en algoritme som kan forutse hva Bugge Wesseltoft skal spille om tretti millisekund. Det er ganske kult. Det. Det er jo det føles ut som en sånn tidsreise nærmest, men det er liksom det er da du, hvis jeg forstår deg rett da, så er det rett og slett man har et kamera som filmer inne i nei inni pianokassa og klarer å beregne at den når den hammeren treffer strengen. Ja, nei mye mer mye mer spennende enn det egentlig. Ja. Å. Ja fordi at maskinlæring ikke sant det er jo dette herre det er det at vi kan bruke algoritmer til altså vi kan bruke store datasett og utforme algoritmer som kan på en måte analysere og finne sammenhenger som vi ikke klarer å se fordi at det er så komplekst. Sånn som at dere har fått med dere at NASA har funnet noen nye planeter nå fordi at de har liksom brukt maskinlæringsalgoritmer til å jobbe med det her keplerbildene funnet liksom nye planeter som mennesker da har oversett ikke sant. Ja. Og på og det liksom det som er tanken da er da å hvis man ut fra et stort la oss si enten Bugge sitt materiale eller en annen musiker, hvis man analyserer store mengder med innspillinger og så håpet er da at den her datamaskinen skal eller det her algoritmen da skal kunne klare å lage et se et mønster som vi ikke kan se. Altså jeg tenker at jeg syns at Bugge er en av de store improvisatorene ikke sant i den i moderne musikk. Ja det var derfor det var litt sånn spesielt at du altså jeg hadde skjønt det hvis det var blues. Da veit man som oftest hva hvilken akkord som kommer etter. Ikke sant Ja. Eller notebasert klassisk musikk. Ja men og det som er at ikke sant at det og det jobbes jo veldig mye med maskinlæringsalgoritmer innafor det her feltet og særlig da innafor komposisjon, altså prøve å få en maskin en algoritme til å komponere en poplåt og alt mulig sånn, og det er veldig vanskelig fordi at det er det er jo det å komponere er jo to forskjellige ting. Ja. Det er den kreative outputen, og så er det analytiske, altså du lager noe og så hører du er det bra ikke sant. Og for å være en god komponist så må du ha begge deler, og der er det en liksom og det å klare å lage en algoritme som gjør begge de to tingene, det er veldig vanskelig. Mens det du men og så det å lage en hel Bugge Wesseltoft-sang ikke sant det er det er det krever et geni. Mens hvis du men det å se men å se kanskje et vindu på ti millisekund, fem millisekund, tretti millisekund ikke sant, du spiller så vet du at det kommer du vet mest sannsynlig hva som kommer ikke sant. Og det samme og det og det er liksom hvis Bugge spiller så og liksom så kommer han mest sannsynlig til å spille ikke sant altså skjønner du? Ja Det er en sånn det er en sannsynlighetsting. Selvfølgelig er det jo på en måte når man snakker om det på det her nivået så blir det litt flåsete, men det men dette her handler altså om å i en sånn her setting hvor man spiller sammen, klarer vi å klarer vi å ta bort den her tidsforsinkelsen med en algoritme? Ja. Det er utrulig men fordi at du vi snakker jo faktisk om at vi snakker jo på det utøvende planet, men vi snakker jo egentlig om en utøvende planet. Ja. Ja veldig spennende, veldig fin betraktning ja. Du Kygo-skolen. Det er et engasjement du har gjennom universitetet i Kristiansand? Ja. Ja Universitetet i Agder ja. Agder er det vel. Ja altså jeg har jeg er også førsteamanuensis i musikkteknologi ved Universitetet i Agder, men det men det er en veldig flott utdanning det også. Det er jo jeg gjør jo egentlig mye av det samme som lærer her, altså at jeg underviser, altså lærer studenter hvordan de skal bruke musikkteknologi i det musikalske virket sitt. Men mange av de jeg underviser her i Tromsø er jo musikere som spiller et annet instrument, altså jeg har gitarister og trommiser og sånn de aller fleste eller folk som skriver eller noe sånt. Mens i Agder så er det en ren der er det ren elektronisk musikk, altså at folk jobber kun med laptop, så de kaller det for laptoplinja. Å. Så spennende ja. Så det og det og det kommer vi vel også til å tilby her der jeg vet ikke om vi rekker å tilby det i år, men jeg vet at vi det er snakk om å tilby det, eller ja altså at folk kan gå som produsenter eller som elektroniske musikere da. I tjuenitten? Det  Spiller du sjøl instrument lenger? Ja jeg gjør det altså jeg spilte var og spilte Julekveldsvisa med klassen til dattera mi på når vi hadde konsert på Veitasenteret. Det var det var en det var hardt det så jeg spiller. Laptop? Nei hadde god gammal gitar, men jeg savna laptopen vondt i fingrene og alt mulig ja Ja å helt ute av trening. Ja ja nei men så men jeg prøver å gjøre det altså sånn det er jo en det er en viktig del av jobben å på en måte å prøve å være våken musikalsk da. Altså det her er jo helt det her er jo så stilig for at her er det jo både innenfor forskninga og teknologien, og også i forhold til produksjon av musikk så er liksom verden bare blitt så bitte liten og så tett på. Stilig. Ja. Vi skulle nesten hatt mere tid med deg Jon Marius for at det er jo liksom flere ting etter hvert som vi har prata her som jeg tenkte å det her skulle vi snakka mer om. Ja Det er det er ting som går også på sånne tekniske sånn der nerdeting, men det får vi kanskje ta enten en seinere gang, eller at folk sjekker ut forsknings-paperene dine som du kaller det altså publikasjonene. Ja. Ja ja. Da går man bare inn på Universitetet i Tromsø, og så googler man Jon Marius Aareskjold, og så kommer man rett inn på hans forskningsidentitetsside ja og da kommer man rett inn. Ja Yes. Men du sa tidligere at det var ved i Trondheim ved på husa altså studenthuset der du begynte Studentersamfundet der du begynte som, men hvorfor teknologi? Ja Studentersamfundet. Hvorfor tok du ikke gitaren på ryggen og reiste ut i verden? Hvorfor teknologi? Nei det altså det føler jeg at på en måte det er det er et godt spørsmål, men jeg føler at det er på en måte det er altså jeg er ikke sånn sinnssykt flink musiker, også er jeg ikke sånn jeg er ikke liksom den flinkeste til å programmere datamaskiner, men jeg er sånn skikkelig bra midt imellom jeg er ganske god på begge deler, så jeg tror det er det at jeg er på en måte Flink til å binde de to i sammen. Ja jeg er på en måte ganske flink til begge ting, og det ser jeg at det er mange av de andre som er i innafor det her fagfeltet da. De har litt den samme i at det er en sånn at man er en kreativ person og lager musikk, og man nerder helt sykt liksom med å sitte og lage algoritmer og ikke sant. Hvor er dette forskningsfeltet om femti år? Ja det er veldig spennende altså. Jeg tror det jeg ser sånn som jeg opplever det nå kan det være at det her maskinlæringsgreia bare at det kommer til å kjøre over et stup eller krasje i en vegg eller noe sånn, men sånn som jeg ser det nå så er det på en måte veldig mange av de tinga som vi nå er nødt til å gjøre sjøl det er det gjør datamaskinen for oss. Også tenker jeg at det er veldig lite altså interfacet som man bruker for å deale med, altså når jeg nå sitter jeg ikke sant jeg sitter jo med en skjerm og ei mus og et miksebord på en måte og noen sånn fadere som man drar opp og ned ikke sant, men jeg tenker at det interfacet tror jeg er mye mer sånn altså den Hva er interfacet? Ja altså måten jeg interagerer med datamaskinen, den tror jeg er helt annerledes. Jeg tror at det der er det. Det kan du gjøre med stemme eller med? Ja med stemme og med blikk og med hva det nå måtte være, og så sånn og også det at liksom at man alt fra sånn at jeg tenker at datamaskinen mi kanskje ikke står i rommet sammen med meg og det er ikke sant det er masse sånne spennende ting som skjer da. Det tror jeg så. Ja. Ja det må jo bli det må kanskje bli femti år til for at jeg syns ikke altså akkurat den her med et tastatur, ei mus og en dataskjerm, jeg synes ikke den har forandra seg nevneverdig på tjue år Ja. Nei eller ja og eller femti år ikke sant. Ja Ja nei det er sant det, men jeg tenker men jeg føler i hvert fall i en sånn musikkproduksjonsverden da, så føler jeg at det er en altså den så tenker jeg at det virker på meg som det er en stor endring der. Ja. Jeg tror det var det Jon Marius, og så var det en stor glede å ha deg som gjest her og høre på deg. Ja. Takk det samme, så hyggelig også snakke med dere også. Ja. Også så har jeg lært et par nye ord og det er altså forsinkelse. Ja. Det er et vesentlig ord hos dere. Ja. Det er det dere skal unngå, så det kan vi liksom ha som et motto at vi skal liksom forsøke å unngå Ja. Vi skal få ting til å skje. Ja så syns jeg du holdt deg bra Marit, selv om du sa du kom til å bli starstruck. Ja. Du får ta en selfie med han Jon Marius Skal jeg sannelig gjøre Ha det godt. Yes, ha det bra. Takk skal du ha. Fikk du lyst til å høre mer om han Jon Marius Aareskjold, kan du lese mere på UiT punktum N O skråstrek femti. Lik gjerne podkasten vår på Facebook under navnet Observatoriet podkast! Neste torsdag kan du lytte til en ny forsker som kan gi deg noe å tenke på.