Muziek is een onmisbaar element in film:het zorgt voor sfeer en stemming, stimuleert de emotionele reacties van de kijker en heeft een grote invloed op de interpretatie van het verhaal door het publiek.

In een recent artikel gepubliceerd in PLOS ONE , een onderzoeksteam aan de USC Viterbi School of Engineering, geleid door professor Shrikanth Narayanan, probeerde het effect van muziek op filmische genres objectief te onderzoeken. Hun onderzoek was bedoeld om te bepalen of op AI gebaseerde technologie het genre van een film zou kunnen voorspellen op basis van alleen de soundtrack.

"Door beter te begrijpen hoe muziek de perceptie van een film door de kijker beïnvloedt, krijgen we inzicht in hoe filmmakers hun publiek op een boeiendere manier kunnen bereiken", zegt Narayanan, universiteitsprofessor en Niki en Max Nikias Chair in Engineering, hoogleraar elektrische en computertechniek en informatica en de directeur van USC Viterbi's Signal Analysis and Interpretation Laboratory (SAIL).

Het idee dat verschillende filmgenres meer geneigd zijn om bepaalde muzikale elementen in hun soundtrack te gebruiken, is nogal intuïtief:een luchtige romance kan rijke strijkerspassages en weelderige, lyrische melodieën bevatten, terwijl een horrorfilm in plaats daarvan verontrustende, doordringende frequenties en griezelig dissonante tonen kan bevatten .

Maar hoewel eerder werk kwalitatief aangeeft dat verschillende filmgenres hun eigen sets van muzikale conventies hebben - conventies die ervoor zorgen dat die romantische film anders klinkt dan die horrorfilm - gingen Narayanan en zijn team op zoek naar kwantitatief bewijs dat elementen van de soundtrack van een film kunnen worden gebruikt om kenmerken het filmgenre.

De studie van Narayanan en zijn team was de eerste die deep learning-modellen toepaste op de muziek die in een film wordt gebruikt om te zien of een computer het genre van een film kon voorspellen op basis van alleen de soundtrack. Ze ontdekten dat deze modellen in staat waren om het genre van een film nauwkeurig te classificeren met behulp van machine learning, wat het idee ondersteunt dat muzikale kenmerken krachtige indicatoren kunnen zijn voor hoe we verschillende films waarnemen.

Volgens Timothy Greer, Ph.D. student aan USC Viterbi in de afdeling computerwetenschappen die met Narayanan aan het onderzoek werkte, hun werk zou waardevolle toepassingen kunnen hebben voor mediabedrijven en makers om te begrijpen hoe muziek andere vormen van media kan verbeteren. Het zou productiemaatschappijen en muziekbegeleiders een beter begrip kunnen geven van het creëren en plaatsen van muziek in televisie, films, advertenties en documentaires om bepaalde emoties bij kijkers op te wekken.

Naast Narayanan en Greer omvatte het onderzoeksteam voor de studie Dillon Knox, een Ph.D. student elektrotechniek en computertechniek, en Benjamin Ma, die in 2021 afstudeerde aan het USC met een B.S. in computerwetenschappen, een master in computerwetenschappen en een minor in muziekproductie. (Ma werd ook uitgeroepen tot een van de twee 2021 USC Schwarzman Scholars.) Het team werkte binnen het Center for Computational Media Intelligence, een onderzoeksgroep in SAIL.

Genre voorspellen op basis van soundtrack

In hun onderzoek onderzocht de groep een dataset van 110 populaire films die tussen 2014 en 2019 zijn uitgebracht. Ze gebruikten de genreclassificatie die is vermeld op de Internet Movie Database (IMDb) om elke film te labelen als actie, komedie, drama, horror, romantiek of wetenschap. -fictie, met veel van de films die meer dan één van deze genres omvatten.

Vervolgens pasten ze een deep learning-netwerk toe dat de auditieve informatie, zoals timbre, harmonie, melodie, ritme en toon, uit de muziek en score van elke film haalde. Dit netwerk gebruikte machine learning om deze muzikale kenmerken te analyseren en bleek in staat om het genre van elke film nauwkeurig te classificeren op basis van alleen deze kenmerken.

De groep interpreteerde deze modellen ook om te bepalen welke muzikale kenmerken het meest indicatief waren voor verschillen tussen genres. De modellen gaven geen details over welke soorten noten of instrumenten bij elk genre hoorden, maar ze waren in staat om vast te stellen dat tonale en timbrale kenmerken het belangrijkst waren bij het voorspellen van het genre van de film.

"Het is heel spannend om deze basis te leggen, omdat we nu preciezer kunnen zijn in het soort vragen dat we willen stellen over hoe muziek in film wordt gebruikt", aldus Knox. "De algehele filmervaring is erg ingewikkeld en het is erg opwindend om de impact ervan en de keuzes en trends die bij de constructie betrokken zijn computationeel te analyseren."

Toekomstige routebeschrijving

Narayanan en zijn team onderzochten de auditieve informatie van elke film met behulp van een technologie die bekend staat als audio-vingerafdrukken, dezelfde technologie waarmee diensten zoals Shazam nummers uit een database kunnen identificeren door naar opnames te luisteren, zelfs als er geluidseffecten of ander achtergrondgeluid aanwezig zijn. Met deze technologie konden ze kijken waar de muzikale signalen in een film plaatsvinden en voor hoe lang.

"Door audio-vingerafdrukken te gebruiken om naar alle audio van de film te luisteren, konden we een beperking van eerdere filmmuziekstudies overwinnen, die meestal alleen naar het hele soundtrackalbum van de film keken zonder te weten of en wanneer nummers van het album in de film verschijnen, " zei mam. In de toekomst wil de groep profiteren van deze mogelijkheid om te bestuderen hoe muziek op specifieke momenten in een film wordt gebruikt en hoe muzikale aanwijzingen dicteren hoe het verhaal van de film evolueert in de loop van de tijd.

"Met de steeds toenemende toegang tot zowel film als muziek, is het nog nooit zo cruciaal geweest om kwantitatief te bestuderen hoe deze media ons beïnvloeden," zei Greer. "Als we begrijpen hoe muziek werkt in combinatie met andere vormen van media, kunnen we betere kijkervaringen bedenken en kunst maken die ontroerend en impactvol is."