Experts van het Institute of Cyber ​​Intelligence Systems van de National Research Nuclear University MEPhI (Rusland) ontwikkelen momenteel een virtuele componistenassistent die de emotionele toestand van muziekcomponisten kan analyseren en hun logica kan volgen. Ondanks het hoge ontwikkelingsniveau van de muziektheorie, het proces van het maken van muziek is nog steeds moeilijk formeel te algoritmen, omdat het onlosmakelijk verbonden is met de emotionele ervaringen van de componist. Dit aspect van het creatieve proces is van bijzonder belang voor experts op het gebied van machine-intelligentie.

Wetenschappers kunnen al synergie tussen mens en software creëren op een manier die de computer waarop de software draait gegevens kan verzamelen over de emotionele toestand en de bedoelingen van de maker, en daardoor een voortzetting van de menselijke geest worden. De virtuele componistenassistent is software die zelf muziek op menselijk niveau van hoge esthetische kwaliteit kan maken. Het is een creatieve slimme assistent die zijn eigen notities kan toevoegen, akkoorden en combinaties op een door de componist geschreven melodie.

Om dit doel te bereiken, onderzoekers moesten muzikale geluiden identificeren, akkoorden en hun combinaties, semantische kaarten maken op basis van deze analyse, en verbind ze met modellen van de emotionele perceptie van muziek door mensen. De nieuwe software is fundamenteel anders dan andere benaderingen, aangezien de virtuele assistent emotioneel contact kan onderhouden met de componist, zei professor Alexei Samsonovich van het MEPhI Institute of Cyber ​​Intelligence Systems.

"De meeste van dergelijke programma's vertegenwoordigen neurale netwerken die zijn aangeleerd om muziek te schrijven of kunst te maken, " zei hij. "Maar ons idee was om de emotionele toestand van de componist te identificeren en de logica ervan te volgen."

Deze methode is gebaseerd op het gebruik van semantische kaarten in plaats van neurale netwerken, zei Samsonovich. In semantische kaarten, de emotionele toestand van de geest wordt weergegeven door een punt in de affectieve ruimte. In deze ruimte, elke mogelijke actie heeft zijn eigen coördinaten, en er is een bepaalde regel die onderzoekers in staat stelt verschillende coördinaten met de andere te verbinden door de logica van emotionele waarneming te volgen. De wetten van muzikale harmonie en ritme leggen bepaalde beperkingen op aan dit proces.

"Deze beperkingen, echter, kan niet alles definiëren; ze laten wat vrijheid voor creativiteit, " legde Samsonovich uit. "Dit is de vrijheid die onze software gebruikt, terwijl je wordt geleid door de semantische kaart en de regels voor het kiezen van de coördinaten erop, en rekening houdend met de evolutie van de emotionele toestand. Ik wil erop wijzen dat we het niet hebben over machinaal leren, omdat het model is gebaseerd op de principes van de psychologie (basische psychologische aspecten van gedrag). In deze betekenis, in tegenstelling tot neurale netwerken, modellen als deze kunnen de essentie van het fenomeen creativiteit verklaren."

Het wederzijds begrip tussen de componist en de virtuele assistent kan worden bereikt door verschillende soorten emotionele reacties op muzikale elementen te organiseren en op te slaan:akkoorden, hun volgorde en intervallen - in de softwareomgeving.

Om te zorgen voor opslag en gebruik van de informatie over de meest succesvolle en passende combinaties van geluiden, de virtuele assistent gebruikt een semantische kaart, waarmee de virtuele componist niet alleen kan voortbouwen op een door de gebruiker naar eigen smaak ingestelde melodie, maar houd ook zijn stemming in de gaten, verschillende versies voorstellen en de juiste begeleiding creëren.

Tijdens de ontwikkeling van de methode onderzoekers gebruikten een aparte applicatie om te testen hoe deelnemers verschillende combinaties van akkoorden evalueren volgens drie maten, elk beoordeeld op een schaal van één tot 10:aangenaam-onaangenaam, vrolijk-verdrietig en opwindend-saai. Met dit evaluatiesysteem konden onderzoekers driedimensionale semantische kaarten maken.

"We gingen ervan uit dat iemands gedragskeuze gebaseerd op sociale emoties, gevoelens en relaties kunnen worden beschreven door relatief eenvoudige dynamische vergelijkingen, "Zei Samsonovich. "Het eenvoudige gedragsmodel op basis van de semantische kaart en twee vergelijkingen is niet te onderscheiden van het menselijk gedrag in de eenvoudigste paradigma's van sociale interactie in een virtuele omgeving."

Samsonovich voegde er ook aan toe dat de meest veelbelovende benadering op dit onderzoeksgebied is gebaseerd op cognitieve architecturen die zijn gemaakt met behulp van psychologie- en neurowetenschappelijke gegevens - de zogenaamde biologisch geïnspireerde cognitieve architecturen (BICA).

De onderzoekers zijn van mening dat de nieuwe ontwikkeling kan worden opgeschaald en niet alleen in muziek, maar ook op vele andere gebieden van digitale creativiteit, maar ook in mens-machine-systemen. Het creëren en implementeren van dergelijke innovaties is een belangrijke stap in de studie van het sociaal-emotionele aspect van intelligentie, die verantwoordelijk is voor het herkennen en uiten van emoties, intenties, drijfveren en verlangens. De belangrijkste resultaten van dit onderzoek zijn gepubliceerd in de Procedia Informatica logboek.