Deep learning-technieken blijken uiterst nuttig te zijn voor het analyseren van allerlei soorten gegevens, variërend van afbeeldingen tot tekst, online berichten en audio-opnamen. Deze technieken zijn ontworpen om patronen in grote datasets te identificeren, items in verschillende categorieën scheiden en voorspellingen veel sneller doen dan mensen.

In een recente studie, onderzoekers van de Simon Fraser University, Academia Sinica en Dartmouth College hebben deep learning-technieken toegepast om overeenkomsten en verschillen tussen Chinese en westerse klassieke muziek te identificeren. hun papier, voorgepubliceerd op arXiv, presenteert een vergelijkende analyse van muziekopnames met behulp van sound event detectie (SED) en soundscape emotieherkenning (SER) modellen.

"We hebben zowel naar Chinese als westerse klassieke muziek geluisterd, "Jianyu-fan, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde TechXplore. "We zijn van mening dat verschillende factoren Chinese muziek onderscheiden van westerse muziek, inclusief hun onderliggende cultuur, filosofie en manier van denken. Daarom zijn we erg geïnteresseerd in studies die Chinese en westerse muziek met elkaar vergelijken."

Deep learning-modellen voor de analyse van muziekopnames presteren soms slecht, omdat ze moeite hebben om patronen in informatie op hoog niveau te leren, zoals de melodie van een lied, harmonie, enz. Om de beperkingen van eerdere onderzoeken te overwinnen, Fan en zijn collega's pasten soundscape-modellen toe bij de analyse van Chinese en westerse klassieke muziek, om hun effectiviteit te evalueren bij het identificeren van overeenkomsten en verschillen tussen de twee subgenres.

aanvankelijk, de onderzoekers stelden twee geannoteerde datasets samen met opnames van Chinese en westerse muziek, genaamd WCMED en CCMED. Vervolgens, ze trainden afzonderlijk een vooraf getrainde SED en een vooraf getraind SER-model op deze datasets, door beide te combineren met een ondersteuningsvectorregressie (SVR) -model. SED-modellen zijn ontworpen om geluidsgebeurtenissen in audiosignalen te detecteren, terwijl SER-modellen zijn getraind om de emotie te herkennen die wordt overgebracht door soundscape-opnames.

"Terwijl eerdere muziekstudies voornamelijk modellen gebruiken die gebaseerd zijn op muziek, we waren benieuwd of een op algemene soundscape getraind model kan worden gebruikt voor het analyseren van muziek en hoe ze verschillen voor Chinese en westerse klassieke muziek, " legde Fan uit. "Daarom, we hebben geprobeerd twee modellen te gebruiken die zijn gebaseerd op algemeen geluid:een model voor detectie van geluidsgebeurtenissen en een model voor het herkennen van emoties in soundscape."

De onderzoekers gebruikten transfer-learningtechnieken om representaties van geluid op hoog niveau te extraheren. Vervolgens gebruikten ze deze representaties om hun muziekemotieherkenningsmodel te trainen om emoties te detecteren die door muziekopnames worden overgebracht. Omdat hun model vooraf was getraind om de kenmerken van geluid te generaliseren, ze ontdekten dat deze representaties beter werkten in combinatie met een eenvoudiger model, vooral voor de analyse van Chinese klassieke muziek. De onderzoekers trainden ook een deep learning classifier op de datasets die ze hebben gemaakt en voerden verdere analyses uit met de nadruk op specifieke kenmerken van Chinese en westerse liedjes.

"Omdat ons doel is om vooraf getrainde soundscape-modellen te gebruiken om Chinese en westerse klassieke muziek te analyseren en te vergelijken, we hadden niet verwacht dat het model perfect zou werken voor verschillende soorten audio en verschillende soorten taken, " zei Fan. "Echter, onze resultaten suggereren dat het effectief is voor het voorspellen van de opwinding van zowel Chinese als westerse klassieke muziek met behulp van soundscape-modellen."

De bevindingen verzameld door Fan en zijn collega's suggereren dat SED- en SER-modellen veelbelovende hulpmiddelen zijn voor de analyse van muziekopnames. interessant, de vergelijkende analyse van Chinese en westerse klassieke muziek met behulp van deze technieken leidde tot resultaten die in overeenstemming zijn met de ideeën van muziektheoretici in China.

De onderzoekers merkten ook op dat hun deep learning-classifier soundscape-opnames herkende als Chinese klassieke muziek. Dit suggereert dat soundscape-opnames doorgaans meer overeenkomsten vertonen met Chinese klassieke muziek dan met westerse klassieke muziek.

"Onze studie benadrukte dat er bepaalde overeenkomsten bestaan ​​tussen Chinese klassieke muziek en geluidsopnames, " zei Fan. "Deze resultaten komen overeen met die gerapporteerd door Chinese musicologen en Chinese klassieke muziekfilosofen."

In de toekomst, de studie van dit team van onderzoekers zou andere studies kunnen inspireren die verschillende muziekgenres vergelijken op basis van de analyse van soundscape-modellen. In de tussentijd, Fan en zijn collega's zijn van plan de overeenkomsten en verschillen tussen Chinese en westerse muziek te blijven onderzoeken met behulp van deep learning-methoden, terwijl ze ook proberen modellen te bouwen die automatisch nieuwe klassieke muziek kunnen componeren.

© 2020 Wetenschap X Netwerk