Onze hersenen hebben een opmerkelijk talent voor het oppikken van individuele stemmen in een lawaaierige omgeving, zoals een drukke coffeeshop of een drukke stadsstraat. Dit is iets waar zelfs de meest geavanceerde hoortoestellen moeite mee hebben. Maar nu kondigen de technici van Columbia een experimentele technologie aan die de natuurlijke aanleg van de hersenen nabootst om één stem uit vele te detecteren en te versterken. Aangedreven door kunstmatige intelligentie, dit hersengestuurde hoortoestel werkt als een automatisch filter, het monitoren van de hersengolven van dragers en het versterken van de stem waarop ze zich willen concentreren.

Hoewel nog in een vroeg ontwikkelingsstadium, de technologie is een belangrijke stap in de richting van betere hoortoestellen waarmee dragers naadloos en efficiënt met de mensen om hen heen kunnen praten. Deze prestatie wordt vandaag beschreven in wetenschappelijke vooruitgang .

"Het hersengebied dat geluid verwerkt, is buitengewoon gevoelig en krachtig; het kan de ene stem versterken boven andere, schijnbaar moeiteloos, terwijl de hoortoestellen van vandaag nog steeds verbleken in vergelijking, " zei Nima Mesgarani, doctoraat, een hoofdonderzoeker bij het Mortimer B. Zuckerman Mind Brain Behavior Institute van Columbia en de senior auteur van het artikel. "Door een apparaat te maken dat gebruikmaakt van de kracht van de hersenen zelf, we hopen dat ons werk zal leiden tot technologische verbeteringen die de honderden miljoenen slechthorende mensen wereldwijd in staat stellen om net zo gemakkelijk te communiceren als hun vrienden en familie doen."

Moderne hoortoestellen zijn uitstekend in het versterken van spraak en het onderdrukken van bepaalde soorten achtergrondgeluid, zoals het verkeer. Maar ze worstelen om het volume van een individuele stem boven die van anderen te verhogen. Wetenschappers noemen dit het cocktailpartyprobleem, genoemd naar de kakofonie van stemmen die samensmelten tijdens luide feesten.

"Op drukke plaatsen zoals feesten, hoortoestellen hebben de neiging om alle luidsprekers tegelijk te versterken, " zei dr. Mesgarani, die ook universitair hoofddocent elektrotechniek is bij Columbia Engineering. "Dit belemmert ernstig het vermogen van een drager om effectief te converseren, ze in wezen isoleren van de mensen om hen heen."

Het hersengestuurde hoortoestel van het Columbia-team is anders. In plaats van alleen te vertrouwen op externe geluidsversterkers, zoals microfoons, het bewaakt ook de eigen hersengolven van de luisteraar.

"Eerder, hadden we ontdekt dat als twee mensen met elkaar praten, de hersengolven van de spreker beginnen te lijken op de hersengolven van de luisteraar, " zei dr. Mesgarani.

Met behulp van deze kennis combineerde het team krachtige spraakscheidingsalgoritmen met neurale netwerken, complexe wiskundige modellen die de natuurlijke rekenvaardigheden van de hersenen nabootsen. Ze creëerden een systeem dat eerst de stemmen van individuele sprekers scheidt van een groep, en vergelijkt vervolgens de stemmen van elke spreker met de hersengolven van de persoon die luistert. De spreker wiens stempatroon het meest overeenkomt met de hersengolven van de luisteraar ¬wordt dan versterkt over de rest.

De onderzoekers publiceerden in 2017 een eerdere versie van dit systeem die, terwijl het belooft, had een belangrijke beperking:het moest vooraf worden getraind om specifieke sprekers te herkennen.

"Als je met je gezin in een restaurant zit, dat apparaat zou die stemmen voor je herkennen en decoderen, " legde Dr. Mesgarani uit. "Maar zodra een nieuwe persoon, zoals de ober, aangekomen, het systeem zou falen."

De opmars van vandaag lost dat probleem grotendeels op. Met financiering van Columbia Technology Ventures om hun oorspronkelijke algoritme te verbeteren, Dr. Mesgarani en eerste auteurs Cong Han en James O'Sullivan, doctoraat, opnieuw gebruik gemaakt van de kracht van diepe neurale netwerken om een ​​meer geavanceerd model te bouwen dat kan worden gegeneraliseerd naar elke potentiële spreker die de luisteraar tegenkomt.

"Ons eindresultaat was een spraakscheidingsalgoritme dat op dezelfde manier presteerde als eerdere versies, maar met een belangrijke verbetering, "zei Dr. Mesgarani. "Het kan een stem - elke stem - meteen herkennen en decoderen."

Om de effectiviteit van het algoritme te testen, werkten de onderzoekers samen met Ashesh Dinesh Mehta, MD, doctoraat, een neurochirurg bij het Northwell Health Institute for Neurology and Neurosurgery en co-auteur van het artikel van vandaag. Dr. Mehta behandelt epilepsiepatiënten, sommigen van hen moeten regelmatig geopereerd worden.

"Deze patiënten boden vrijwillig aan om naar verschillende sprekers te luisteren, terwijl we hun hersengolven rechtstreeks volgden via elektroden die in de hersenen van de patiënten waren geïmplanteerd, " zei Dr. Mesgarani. "We hebben toen het nieuw ontwikkelde algoritme op die gegevens toegepast."

Het algoritme van het team volgde de aandacht van de patiënten terwijl ze luisterden naar verschillende sprekers die ze nog niet eerder hadden gehoord. Wanneer een patiënt zich op één spreker concentreerde, het systeem versterkte die stem automatisch. Toen hun aandacht naar een andere spreker verschoof, de volumeniveaus veranderden om die verschuiving weer te geven.

Aangemoedigd door hun resultaten, de onderzoekers onderzoeken nu hoe dit prototype kan worden omgezet in een niet-invasief apparaat dat extern op de hoofdhuid of rond het oor kan worden geplaatst. Ze hopen ook het algoritme verder te verbeteren en te verfijnen, zodat het in een breder scala aan omgevingen kan functioneren.

"Tot dusver, we hebben het alleen in een binnenomgeving getest, " zei Dr. Mesgarani. "Maar we willen ervoor zorgen dat het net zo goed kan werken op een drukke stadsstraat of een lawaaierig restaurant, zodat waar dragers ook gaan, ze kunnen de wereld en de mensen om hen heen volledig ervaren."