Jazzmuzikanten die met elkaar riffen, mensen die met elkaar praten en groepen orka's hebben allemaal interactieve gesprekken die opmerkelijk veel op elkaar lijken, nieuw onderzoek onthult.

Cognitieve wetenschappelijke onderzoekers van UC Merced hebben een nieuwe methode ontwikkeld voor het analyseren en vergelijken van spraakgeluiden, muziek en complexe geluiden van dieren zoals walviszang en vogelzang. Het document waarin hun bevindingen worden beschreven, wordt vandaag gepubliceerd in de Tijdschrift van de Royal Society Interface .

Hun methode is gebaseerd op het idee dat deze geluiden complex zijn omdat ze meerdere structuurlagen hebben. elke taal, bijvoorbeeld, heeft individuele geluiden, komt ongeveer overeen met letters, die samen lettergrepen vormen, woorden, zinnen, zinnen enzovoort. Het is een hiërarchie die iedereen intuïtief begrijpt. Muzikale composities hebben hun eigen temporele hiërarchieën, maar tot nu toe was er geen manier om de hiërarchieën van spraak en muziek direct te vergelijken, of test of er vergelijkbare hiërarchieën kunnen bestaan ​​in vogelzang en walviszang.

"Het spelen van jazzmuziek wordt vergeleken met een gesprek tussen muzikanten, en orka's zijn zeer sociale wezens die hun stem uitbrengen alsof ze met elkaar praten. Maar klinkt jazzmuziek echt als een gesprek, en klinken orka's echt alsof ze praten?", vroeg hoofdonderzoeker en UC Merced-professor Chris Kello. "We weten dat orka's zeer sociaal en intelligent zijn, maar het is moeilijk te zeggen dat ze interactie hebben als je naar opnames van ze luistert. Onze methode laat zien hoeveel hun geluidspatronen lijken op pratende mensen, maar niet zoals andere, minder sociale walvissen of vogels."

De onderzoekers bedachten een manier om geluidsopnames te meten en te vergelijken door ze om te zetten in "barcodes" die clusters van geluidsenergie vastleggen, en clusters van clusters, over niveaus van een hiërarchie. Met deze streepjescodes konden de onderzoekers temporele hiërarchieën direct vergelijken in meer dan 200 opnames van verschillende soorten spraak in zes verschillende talen, verschillende soorten populaire en klassieke muziek, vier verschillende soorten vogels en walvissen die hun liedjes zingen, en zelfs onweer.

Kello en zijn collega's gebruiken de barcodemethode al enkele jaren. Ze ontwikkelden het voor het eerst in studies van gesprekken. De vandaag gepubliceerde studie is de eerste keer dat ze de methode toepassen op muziek en geluiden van dieren.

"De methode stelt ons in staat om vragen te stellen over taal en muziek en dierenliedjes die we niet zouden kunnen stellen zonder een manier om patronen in al deze opnames te zien en te vergelijken, ' zei Kello.

Een gewoon lied

Kello, collega UC Merced professor cognitieve wetenschappen Ramesh Balasubramaniam, afgestudeerde student Butovens Me´de´ en medewerker professor Simone Dalla Bella ontdekten ook dat de angstaanjagende liedjes van enorme bultruggen opmerkelijk veel lijken op de prachtige liedjes van kleine nachtegalen en heremietlijsters wat betreft hun tijdelijke hiërarchieën.

"Bultruggen, nachtegalen en heremietlijsters zijn solitaire zangers, "Zei Kello. "De streepjescodes laten zien dat hun liedjes vergelijkbare structuurlagen hebben, maar we weten nog niet wat het betekent."

Het idee voor dit project kwam van Kello's sabbatical aan de Universiteit van Montpellier in Frankrijk, waar hij werkte en ideeën besprak met Dalla Bella. Balasubramaniam, die bestudeert hoe muziek wordt waargenomen, zit in de School voor Sociale Wetenschappen, Geesteswetenschappen en kunst met Kello, die spraak- en taalverwerking bestudeert. Het project was een natuurlijke samenwerking en maakt deel uit van een groeiende onderzoeksfocus aan UC Merced die mogelijk werd gemaakt door de door de National Science Foundation gefinancierde CHASE-zomerschool over muziek en taal in 2014, en een Google Faculty Award voor Kello.

Balasubramaniam is geïnteresseerd in het voortzetten van het werk om beter te begrijpen hoe hersenen onderscheid maken tussen muziek en spraak, terwijl Kello zei dat er veel verschillende wegen zijn om na te streven.

Bijvoorbeeld, de onderzoekers vonden bijna identieke temporele hiërarchieën voor zes verschillende talen, die iets universeels kan suggereren over menselijke spraak. Echter, omdat dit resultaat was gebaseerd op opnames van TED Talks - die een gemeenschappelijke stijl en voortgang hebben - zei Kello dat het belangrijk zal zijn om naar andere vormen van spraak en taal te blijven kijken.

Een van zijn afstudeerstudenten, Sara Schneider, gebruikt de methode om de convergentie van Spaanse en Engelse streepjescodes in tweetalige gesprekken te bestuderen. Een andere afgestudeerde student, Adolfo Ramirez-Aristizabal, werkt samen met Kello en Balasubramaniam om te onderzoeken of de barcodemethode licht kan werpen op hoe hersenen spraak en andere complexe geluiden verwerken.

"Luisteren naar muziek en spraak, we kunnen iets horen van wat we zien in de streepjescodes, en de informatie kan nuttig zijn voor automatische classificatie van audio-opnames. Maar dat betekent niet dat onze hersenen muziek en spraak verwerken met behulp van deze streepjescodes, " zei Kello. "Het is intrigerend, maar we moeten vragen blijven stellen en gaan waar de gegevens ons leiden."