Een recent onderzoek onder leiding van de Universiteit van Alabama aan de afdeling Computerwetenschappen van Birmingham onderzocht de neurale onderbouwing van spraakbeveiliging, en analyseerde de verschillen in neurale activiteiten wanneer gebruikers verschillende soorten stemmen verwerken, inclusief morphed stemmen.

De resultaten? Niet prettig voor het oor. Of de hersenen.

De studie toonde aan dat er mogelijk geen statistisch significante verschillen zijn in de manier waarop het menselijk brein originele legitieme luidsprekers verwerkt versus gesynthetiseerde luidsprekers, terwijl er duidelijke verschillen zichtbaar zijn bij het ontmoeten van legitieme versus verschillende andere menselijke sprekers, wat betekent dat mensen kwetsbaar zijn voor stemimitatie-aanvallen.

"Onze studie suggereert dat menselijke gebruikers op een fundamenteel niveau kwetsbaar kunnen zijn voor voice morphing-aanvallen, omdat hun hersenen niet anders lijken te reageren op originele versus veranderde stemmen, " zei Nitesh Saxena, doctoraat, hoofdonderzoeker van het onderzoek, een professor in UAB's Department of Computer Science en de directeur van UAB's SPIES Lab. "We denken dat dit een significant resultaat is, omdat het erop kan wijzen dat mensen - en hun hersenen - mogelijk niet in staat zijn om echte en nepstemmen van elkaar te onderscheiden."

Welke stem is die van Oprah Winfrey? WBHM stelt je oren en hersenen op de proef.

De onderzoekers onderzochten hoe de informatie, aanwezig in de neurale signalen vastgelegd door een geavanceerde neuroimaging-modaliteit genaamd functionele nabij-infrarood spectroscopie, of fNIRS, kan worden gebruikt om de gevoeligheid van gebruikers voor spraakimitatie-aanvallen met behulp van gesynthetiseerde stemmen uit te leggen.

De studie analyseerde de verschillen in neurale activiteiten wanneer deelnemers luisterden naar de originele stem en veranderde stem van een spreker. De gemorphte stemmen werden geproduceerd met behulp van een openbaar beschikbare stemsynthesetool genaamd CMU Festvox. De onderzoekers zeggen dat ze geen statistisch significante verschillen hebben gezien in de activeringen in hersengebieden die zijn gerapporteerd in eerdere onderzoeken naar echte versus nepdetectie, zoals echte versus nep-websites (onder phishing-aanvallen) en echte versus nep-schilderijen.

Contrast 1:Oorspronkelijke luidspreker versus getransformeerde stem

Deze analyse verschafte inzicht in hoe de stem van de oorspronkelijke spreker en de stem van de getransformeerde spreker door het menselijk brein worden waargenomen. De onderzoekers verzamelden vier slachtoffersprekers die tijdens het experiment allemaal bekend waren met de deelnemers.

In dit gedeelte, de onderzoekers onderzochten de neurale activiteiten wanneer deelnemers luisterden naar alle originele sprekers en alle morphed speakers.

Contrast 2:originele luidspreker versus andere luidspreker

Het tweede contrast werd vergeleken met de neurale statistieken wanneer deelnemers luisterden naar de stem van een originele spreker versus de stem van een andere spreker. Onderzoekers veronderstelden dat de originele sprekers - aangezien ze bekend waren bij de deelnemers - neurale activeringen zullen produceren die verschillen van die van de verschillende sprekers.

Belangrijkste inzichten

De deelnemers aan het onderzoek toonden een verhoogde activering op de gebieden die verband houden met besluitvorming, werkgeheugen, geheugenherinnering en vertrouwen terwijl ze beslissen over de legitimiteit van de stemmen van sprekers in vergelijking met de rustproeven (waar ze niet bezig waren met een taak) als de basislijn.

Algemeen, de resultaten toonden aan dat de gebruikers zeker veel moeite deden om echte versus nepbeslissingen te nemen, zoals blijkt uit hun hersenactiviteit in regio's die gecorreleerd zijn met cognitieve verwerking van hogere orde. Hoewel er neurale verschillen waren in de manier waarop de hersenen van de deelnemers de stemmen van het origineel versus de stemmen van verschillende sprekers verwerkten, er werden geen verschillen gevonden in de manier waarop de hersenen van de deelnemers originele versus veranderde stemmen verwerkten.

De gedragsresultaten suggereerden ook dat gebruikers het niet goed deden in het identificeren van originele en veranderde stemmen.

"Dit zou alledaagse gebruikers zeer vatbaar maken voor verschillende vormen van oplichting die de huidige en toekomstige vooruitgang in spraaksynthese kunnen misbruiken, " zei Saxena. "Bijvoorbeeld, iemand kan een spraakbericht voor je achterlaten dat zich voordoet als je moeder, en je zou het niet kunnen zeggen. Aan de positieve kant, onze studie suggereert ook dat de huidige tools voor stemsynthese klaar kunnen zijn om diegenen te helpen die hun stem hebben verloren, omdat de luisteraars misschien niet het verschil kunnen waarnemen tussen de werkelijke stem van een spreker en de gesynthetiseerde stem."