Onderzoekers van de Universiteit van Waterloo, Canada, hebben onlangs een systeem ontwikkeld voor het genereren van songteksten die passen bij de stijl van bepaalde muziekartiesten. Hun aanpak, geschetst in een paper dat vooraf is gepubliceerd op arXiv, maakt gebruik van een Variational Autoencoder (VAE) met artiest-embedding en een CNN-classifier die is getraind om artiesten te voorspellen op basis van MEL-spectrogrammen van hun songclips.

"De motivatie voor dit project kwam voort uit mijn persoonlijke interesse, "Olga Vechtomova, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde TechXplore. "Muziek is een passie van mij, en ik was benieuwd of een machine lijnen kan genereren die klinken als de teksten van mijn favoriete muziekartiesten. Tijdens het werken aan tekstgeneratieve modellen, mijn onderzoeksgroep ontdekte dat neurale netwerken indrukwekkende tekstregels kunnen genereren. De natuurlijke volgende stap voor ons was om te onderzoeken of een machine de 'essentie' van de lyrische stijl van een specifieke muziekartiest kon leren, inclusief woordkeuze, thema's en zinsbouw, om nieuwe songtekstlijnen te genereren die klinken als de artiest in kwestie."

Het systeem dat door Vechtomova en haar collega's is ontwikkeld, is gebaseerd op een neuraal netwerkmodel genaamd Variational Autoencoder (VAE), die kunnen leren door originele tekstregels te reconstrueren. In hun studie hebben de onderzoekers trainden hun model om een ​​willekeurig aantal nieuwe, diverse en coherente lyrische lijnen.

"Om lijnen te genereren in de stijl van een bepaalde artiest, we conditioneerden de generatie op een inbedding van een kunstenaar (d.w.z. een multidimensionale vector van reële getallen), geleerd door een afzonderlijk neuraal netwerk, die is opgeleid om spectrogrammen van muziekaudioclips van artiesten te classificeren, "Zei Vechtomova. "Vervolgens gebruiken we de artiest-inbeddingen om het genereren van songtekstlijnen in de stijl van elke artiest te conditioneren. De motivatie hierachter is dat we willen dat de verschillen tussen de inbedding van artiesten de verschillen in hun lyrische en muzikale stijlen weerspiegelen."

In een reeks voorlopige evaluaties het door Vechtomova en haar collega's ontwikkelde systeem presteerde opmerkelijk goed. Hun bevindingen suggereren dat het insluiten van artiesten nuttig is voor het genereren van songteksten die passen bij de stijl van een artiest. Veel lijnen die door het model werden gegenereerd, waren onmiskenbaar in lijn met de kunstenaar waarop het werd geconditioneerd, het weerspiegelen van de thema's die over het algemeen in zijn/haar muziek aan bod komen.

"Terwijl de gegenereerde regels vaak de woorden van een kunstenaar bevatten, deze worden op een interessante nieuwe manier gebruikt, het uiten van nieuwe gedachten die niet in de originele teksten voorkomen, " legde Vechtomova uit. "Sommige van de gegenereerde lijnen brengen nieuwe en krachtige poëtische beelden over, uitgedrukt met behulp van stijlmiddelen zoals metaforen en oxymorons, terwijl ze trouw blijven aan de stijl van de kunstenaar."

In de toekomst, het systeem van Vechtomova en haar collega's zou kunnen worden gebruikt om artiesten te inspireren die teksten voor nieuwe nummers schrijven. In plaats van lyrische componisten te vervangen, de onderzoekers hopen dat het nieuwe ideeën oplevert, die kunstenaars vervolgens kunnen vormen, zelfstandig voortbouwen en ontwikkelen.

"Het systeem is niet bedoeld om een ​​muziekartiest te vervangen, maar om te gebruiken als inspiratiebron tijdens het songwritingproces, " zei Vechtomova. "In de muziekwereld, dit kan analoog zijn aan een synthesizer die een oneindig aantal geluiden kan genereren, waaruit een artiest vervolgens een nummer maakt. evenzo, deze tool kan een oneindig aantal nieuwe regels genereren die artiesten op elke manier kunnen gebruiken om hun eigen songteksten te componeren."

Als onderdeel van een ander project, Vechtomova gebruikte hetzelfde systeem om intrigerende poëzie te genereren in de stijl van verschillende muziekartiesten. De resulterende verzameling gedichten werd aanvaard als kunstwerk tijdens de NeurIPS 2018 Workshop over ML for Creativity and Design.

"In de toekomst, we zijn van plan te werken aan modellen die nieuwe thema's en woordenschat uit aanvullende bronnen kunnen leren, en gebruik ze om songteksten te genereren in de stijl van een bepaalde artiest, "Zei Vechtomova. "Ik zou ook willen onderzoeken hoe zo'n systeem mogelijk door muziekartiesten als inspiratiebron kan worden gebruikt."

© 2019 Wetenschap X Netwerk