Emilia Gomez, een onderzoeker bij de Musical Technology Research Group (MTG) van de afdeling Informatie- en Communicatietechnologie (DTIC) bij UPF, heeft geprobeerd om nieuwe digitale benaderingen te creëren om de ervaring van een klassiek muziekconcert te verrijken, tijdens en na het concert zelf, om klassieke muziek op een innovatieve manier via technologie naar een nieuw publiek te brengen.

"Een van de toepassingen die we in de post-concertcontext hebben onderzocht, was een type faciliteit waarin de gebruiker de rol van dirigent op zich neemt, zodat hun bewegingen een virtueel orkest 'geleiden'. Dit type faciliteit is succesvol geweest in plaatsen zoals het Muziekhuis in Wenen, " zegt Álvaro Sarasúa, eerste auteur van een studie gepubliceerd op 25 februari in het tijdschrift Grenzen in de digitale geesteswetenschappen , onder leiding van Emilia Gomez.

Bij interactie tussen mens en computer, interface-metaforen bieden gebruikers een manier om met de machine te communiceren die lijkt op een bekende activiteit. Deze metaforen worden veel gebruikt in digitale muziekinstrumenten. In dit onderzoek, de auteurs gebruikten de dirigentmetafoor. De interesse in het gebruik van deze metaforen is dat de gebruiker, in een virtuele faciliteit om het tempo en de dynamiek te regelen waarin een orkest speelt, kunnen hun kennis of hun eerdere intuïtie toepassen over hoe een bepaalde activiteit in de echte wereld functioneert - in dit geval het dirigeren van een orkest.

"Vanuit het onderzoeksoogpunt in dit onderzoek, we waren geïnteresseerd in het bepalen hoe intuïtieve noties die beschikbaar zijn voor gebruikers van dit soort faciliteiten expliciet door het systeem kunnen worden gebruikt om intuïtiever te reageren op hun gebaren om een ​​orkest te dirigeren, en daarom, kan een meer expressieve uitvoering geven, " zegt Sarasúa.

In de beginfase van het project is de onderzoekers voerden observatiestudies uit waarin ze mensen met verschillende gradaties van muzikale opleiding vroegen om naar verschillende fragmenten van klassieke muziek te luisteren en vervolgens, terwijl de muziek weer speelde, om lichaamsbewegingen te maken die ze zouden maken tijdens het dirigeren van een orkest om verschillende aspecten zoals tempo en intensiteit te communiceren. Ze registreerden de bewegingen van de deelnemers met behulp van een Kinect-camera, die de positie van verschillende delen van het lichaam registreerde.

Verschillende interpretatieve tendensen waargenomen

Analyse van deze gegevens bracht verschillende tendensen tussen proefpersonen aan het licht. Aan de ene kant, om het tempo van de muziek te communiceren, er waren mensen die consequent de beat communiceerden die iets voor het tempo van de muziek was, terwijl anderen dat volledig synchroon of met enige vertraging deden. Wat betreft de dynamiek waarmee de instrumenten speelden, sommige mensen hadden de neiging om energieker te bewegen tijdens de forte delen, terwijl anderen gewoon hun armen meer opheven.

"Onze uitgangshypothese voor deze studie was dat een systeem dat het mogelijk maakt om het tempo en het volume van een muziekstuk te regelen door bewegingen die die van een dirigent nabootsen, intuïtiever kan zijn als het kan worden aangepast aan deze persoonlijke neigingen, " legt Sarasúa . uit

"In het voorbeeld van ons experiment, er is een 'impliciet' voordeel door de metafoor te gebruiken, door de gebruiker te vertellen dat hij het orkest moet 'dirigeren', ze weten dat ze hun armen moeten bewegen en hebben enige intuïtie met betrekking tot hun vermogen om tempo en dynamiek te beheersen. Met behulp van het voorgestelde systeem, deze verbetering is explicieter omdat het systeem observeert en analyseert wat de gebruiker voelt dat hij moet doen en zich aanpast om te presteren volgens deze intuïties."

De auteurs noemen deze strategie mapping door observatie, sinds het in kaart brengen, of de manier waarop de bewegingen van de gebruiker zijn verbonden met de resulterende muziek, past zich specifiek aan elke gebruiker aan door te observeren wat ze doen wanneer ze worden gevraagd bewegingen uit te voeren die een dirigent imiteren zonder specifieke instructies te geven.

Bij de evaluatie van het systeem, de onderzoekers observeerden 24 deelnemers die als eerste presteerden met een basislijnsysteem dat zich niet aanpaste aan elke gebruiker, en vervolgens een systeem gebaseerd op de kaartstrategie, en de resultaten vergeleken. Deze vergelijking werd uitgevoerd in een context waarin gebruikers door oefening het virtuele orkest leerden "dirigeren". De twee systemen werden op basis van objectieve en subjectieve metingen vergeleken op een reeks taken waarbij de deelnemers het orkest op verschillende volumes moesten laten spelen, synchroon met de metronoom op verschillende tempo's.

De bruikbaarheid van het op maat gemaakte systeem is beter

De resultaten van het experiment toonden aan dat de bruikbaarheid van het op maat gemaakte systeem beter is, zowel in termen van een meer intuïtieve controle over de dynamiek waarmee de gebruiker het orkest dirigeert, en in termen van een preciezere controle over het tempo. Verder, de resultaten laten ook een sterke correlatie zien tussen maatregelen die kunnen worden afgeleid uit de gegevens die zijn gebruikt om de door het systeem ingevoerde aanpassing en verbetering door te voeren, wat aangeeft dat het mogelijk is om van tevoren in te schatten in hoeverre de spontane bewegingen van een bepaalde gebruiker echt nuttig zullen zijn om het systeem aan hun stijl aan te passen.

De bevindingen van deze studie zijn met name relevant in contexten waar interactie wordt ontworpen met behulp van interfacemetaforen, zoals het geval is met de dirigent van een orkest. "In het voorbeeld van ons experiment, er is een "impliciet" voordeel in het gebruik van de metafoor, door de gebruiker te vertellen dat hij het orkest moet "dirigeren", ze weten dat ze hun armen moeten bewegen en hebben enige intuïtie om het tempo en de dynamiek te beheersen. Met behulp van het voorgestelde systeem, deze verbetering is meer 'expliciet' omdat het systeem observeert en analyseert wat de gebruiker voelt dat hij moet doen en zich aanpast om te presteren volgens deze intuïties, ’ concluderen de auteurs.