In muziek, 'portamento' is een term die al honderden jaren wordt gebruikt, verwijzend naar het effect van het glijden van een noot op één toonhoogte in een noot met een lagere of hogere toonhoogte. Maar alleen instrumenten die continu in toonhoogte kunnen variëren, zoals de menselijke stem, snaarinstrumenten, en trombones - kunnen het effect bewerkstelligen.

Nu heeft een MIT-student een nieuw algoritme uitgevonden dat in realtime een portamento-effect produceert tussen twee willekeurige audiosignalen. Bij experimenten, het algoritme voegde naadloos verschillende audioclips samen, zoals een pianonoot die in een menselijke stem glijdt, en het ene nummer versmelt met het andere. Zijn paper waarin het algoritme wordt beschreven, won de prijs voor "beste studentenpaper" op de recente internationale conferentie over digitale audio-effecten.

Het algoritme gaat uit van "optimaal transport, " een op geometrie gebaseerd raamwerk dat de meest efficiënte manieren bepaalt om objecten - of gegevenspunten - te verplaatsen tussen meerdere oorsprongs- en bestemmingsconfiguraties. Geformuleerd in de 18e eeuw, het raamwerk is toegepast op toeleveringsketens, vloeistofdynamica, beeld uitlijning, 3D-modellering, computer beelden, en meer.

In werk dat voortkwam uit een klassenproject, Trevor Henderson, nu een afgestudeerde student informatica, optimaal transport toegepast om audiosignalen te interpoleren - of het ene signaal in het andere te mengen. Het algoritme verdeelt de audiosignalen eerst in korte segmenten. Vervolgens, het vindt de optimale manier om de toonhoogtes in elk segment te verplaatsen naar toonhoogtes in het andere signaal, om het soepel glijden van het portamento-effect te produceren. Het algoritme bevat ook gespecialiseerde technieken om de getrouwheid van het audiosignaal te behouden tijdens de overgang.

"Hier wordt optimaal transport gebruikt om te bepalen hoe toonhoogtes in het ene geluid worden toegewezen aan de toonhoogtes in het andere, " zegt Henderson, een klassiek geschoolde organist die elektronische muziek uitvoert en DJ is geweest op WMBR 88.1, MIT's radiostation. "Als het een akkoord transformeert in een akkoord met een andere harmonie, of met meer notities, bijvoorbeeld, de noten splitsen zich van het eerste akkoord en vinden een positie om naadloos naar toe te glijden in het andere akkoord."

Volgens Henderson, dit is een van de eerste technieken om optimaal transport toe te passen op het transformeren van audiosignalen. Hij heeft het algoritme al gebruikt om apparatuur te bouwen die naadloos overgaat tussen nummers in zijn radioshow. DJ's kunnen de apparatuur ook gebruiken om tijdens live-optredens tussen nummers te wisselen. Andere muzikanten kunnen het gebruiken om instrumenten en stem te mengen op het podium of in de studio.

De co-auteur van Henderson op het papier is Justin Solomon, een X-Consortium Career Development Assistant Professor bij de afdeling Elektrotechniek en Informatica. Solomon, die ook cello en piano speelt, leidt de Geometric Data Processing Group in het Computer Science and Artificial Intelligence Laboratory (CSAIL) en is lid van het Center for Computational Engineering.

Henderson volgde de klas van Salomo, 6.838 (vormanalyse), waarin studenten worden belast met het toepassen van geometrische hulpmiddelen zoals optimaal transport naar toepassingen in de echte wereld. Studentenprojecten richten zich meestal op 3D-vormen uit virtual reality of computergraphics. Dus het project van Henderson kwam als een verrassing voor Solomon. "Trevor zag een abstract verband tussen geometrie en bewegende frequenties in audiosignalen om een ​​portamento-effect te creëren, " zegt Solomon. "Hij was het hele semester in en uit mijn kantoor met DJ-apparatuur. Het was niet wat ik verwachtte te zien, maar het was best vermakelijk."

voor Henderson, het was niet te langdradig. "Als ik een nieuw idee zie, Ik vraag, "Is dit van toepassing op muziek?", zegt hij. "Dus, toen we het hadden over optimaal vervoer, Ik vroeg me af wat er zou gebeuren als ik het op audiospectra zou aansluiten."

Een goede manier om te denken aan optimaal vervoer, Henderson zegt, is het vinden van "een luie manier om een ​​zandkasteel te bouwen." In die analogie, het raamwerk wordt gebruikt om de manier te berekenen om elke zandkorrel van zijn positie in een vormeloze stapel naar een overeenkomstige positie in een zandkasteel te verplaatsen, met zo min mogelijk werk. Bij computergraphics, bijvoorbeeld, optimaal transport kan worden gebruikt om vormen te transformeren of te veranderen door de optimale beweging van elk punt op de ene vorm naar de andere te vinden.

Het toepassen van deze theorie op audioclips brengt enkele aanvullende ideeën van signaalverwerking met zich mee. Muziekinstrumenten produceren geluid door trillingen van componenten, afhankelijk van het instrument. Violen gebruiken snaren, koperblazers gebruiken lucht in holle lichamen, en mensen gebruiken stembanden. Deze trillingen kunnen worden vastgelegd als audiosignalen, waarbij de frequentie en amplitude (piekhoogte) verschillende toonhoogtes vertegenwoordigen.

conventioneel, de overgang tussen twee audiosignalen gebeurt met een fade, waarbij het ene signaal in volume wordt verminderd terwijl het andere stijgt. Hendersons algoritme, anderzijds, schuift frequentiesegmenten soepel van de ene clip naar de andere, zonder volumeverlies.

Om dit te doen, het algoritme splitst twee willekeurige audioclips in vensters van ongeveer 50 milliseconden. Vervolgens, het voert een Fourier-transformatie uit, die elk venster in zijn frequentiecomponenten verandert. De frequentiecomponenten binnen een venster worden samengevoegd tot individuele gesynthetiseerde 'noten'. Optimaal transport brengt vervolgens in kaart hoe de noten in het ene signaalvenster naar de noten in het andere zullen gaan.

Vervolgens, een "interpolatieparameter" neemt het over. Dat is in feite een waarde die bepaalt waar elke noot zich op het pad bevindt van de begintoonhoogte in het ene signaal tot de eindtoonhoogte in het andere. Het handmatig wijzigen van de parameterwaarde zal de toonhoogtes tussen de twee posities vegen, waardoor het portamento-effect ontstaat. Die ene parameter kan ook worden geprogrammeerd in en bestuurd door, zeggen, een crossfader, een slider-component op het mengpaneel van een DJ die soepel vervaagt tussen nummers. Terwijl de cross-fader schuift, de interpolatieparameter verandert om het effect te produceren.

Achter de schermen zijn twee innovaties die zorgen voor een storingsvrij signaal. Eerst, Henderson gebruikte een nieuwe toepassing van een signaalverwerkingstechniek, genaamd "frequentie hertoewijzing, " die de frequentiebakken samenvoegt om enkele noten te vormen die gemakkelijk kunnen overschakelen tussen signalen. Ten tweede, hij vond een manier uit om nieuwe fasen voor elk audiosignaal te synthetiseren terwijl hij de vensters van 50 milliseconden aan elkaar naaide, zodat aangrenzende ramen elkaar niet hinderen.

Volgende, Henderson wil experimenteren met het terugvoeren van de output van het effect naar de input. Dit, hij denkt, zou automatisch een ander klassiek muziekeffect kunnen creëren, "legato, " wat een vloeiende overgang is tussen verschillende noten. In tegenstelling tot een portamento - die alle noten tussen een begin- en eindnoot speelt - gaat een legato naadloos over tussen twee verschillende noten, zonder tussenliggende noten vast te leggen.

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.