Een nieuw systeem dat in staat is om lippen te lezen met opmerkelijke nauwkeurigheid, zelfs wanneer sprekers gezichtsmaskers dragen, zou kunnen helpen bij het creëren van een nieuwe generatie hoortoestellen.

Een internationaal team van ingenieurs en computerwetenschappers ontwikkelde de technologie, die voor het eerst radiofrequentiedetectie combineert met kunstmatige intelligentie om lipbewegingen te identificeren.

Wanneer het systeem wordt geïntegreerd met conventionele hoortoesteltechnologie, kan het helpen het 'cocktailparty-effect' aan te pakken, een veelvoorkomende tekortkoming van traditionele hoortoestellen.

Momenteel helpen hoortoestellen slechthorenden door alle omgevingsgeluiden om hen heen te versterken, wat nuttig kan zijn in veel aspecten van het dagelijks leven.

In lawaaierige situaties zoals cocktailparty's kan het brede versterkingsspectrum van hoortoestellen het echter moeilijk maken voor gebruikers om zich te concentreren op specifieke geluiden, zoals een gesprek met een bepaalde persoon.

Een mogelijke oplossing voor het cocktailparty-effect is het maken van "slimme" hoortoestellen, die conventionele audioversterking combineren met een tweede apparaat om aanvullende gegevens te verzamelen voor betere prestaties.

Terwijl andere onderzoekers succes hebben gehad met het gebruik van camera's om liplezen te vergemakkelijken, roept het verzamelen van videobeelden van mensen zonder hun uitdrukkelijke toestemming zorgen op voor de individuele privacy. Camera's kunnen ook geen lippen lezen door maskers heen, een dagelijkse uitdaging voor mensen die gezichtsbedekking dragen voor culturele of religieuze doeleinden en een breder probleem in het tijdperk van COVID-19.

In een nieuw artikel dat vandaag is gepubliceerd in het tijdschrift Nature Communications , schetst het door de Universiteit van Glasgow geleide team hoe ze de allernieuwste sensortechnologie wilden gebruiken om lippen te lezen. Hun systeem beschermt de privacy door alleen radiofrequentiegegevens te verzamelen, zonder begeleidende videobeelden.

Om het systeem te ontwikkelen, vroegen de onderzoekers mannelijke en vrouwelijke vrijwilligers om de vijf klinkers (A, E, I, O en U) eerst te herhalen terwijl ze ontmaskerd waren en daarna met een chirurgisch masker op.

Terwijl de vrijwilligers de klinkers herhaalden, werden hun gezichten gescand met behulp van radiofrequentiesignalen van zowel een speciale radarsensor als een wifi-zender. Hun gezichten werden ook gescand terwijl hun lippen stil bleven.

Vervolgens werden de 3.600 gegevensmonsters die tijdens de scans werden verzameld, gebruikt om machine learning en deep learning-algoritmen te "leren" om de karakteristieke lip- en mondbewegingen te herkennen die bij elk klinkergeluid horen.

Omdat de radiofrequentiesignalen gemakkelijk door de maskers van de vrijwilligers kunnen gaan, kunnen de algoritmen ook de klinkervorming van gemaskerde gebruikers leren lezen.

Het systeem bleek in staat de lippen van de vrijwilligers meestal correct te lezen. Wifi-gegevens werden correct geïnterpreteerd door de leeralgoritmen tot 95% van de tijd voor ontmaskerde lippen en 80% voor gemaskerde. Ondertussen werden de radargegevens correct geïnterpreteerd tot 91% zonder masker en 83% van de tijd met een masker.

Dr. Qammer Abbasi, van de James Watt School of Engineering van de Universiteit van Glasgow, is de hoofdauteur van het artikel. Hij zei:"Ongeveer 5% van de wereldbevolking - ongeveer 430 miljoen mensen - heeft een of andere vorm van gehoorverlies.

"Hearing aids have provided transformative benefits for many hearing-impaired people. A new generation of technology which collects a wide spectrum of data to augment and enhance the amplification of sound could be another major step in improving hearing-impaired people's quality of life.

"With this research, we have shown that radio-frequency signals can be used to accurately read vowel sounds on people's lips, even when their mouths are covered. While the results of lip-reading with radar signals are slightly more accurate, the Wi-Fi signals also demonstrated impressive accuracy.

"Given the ubiquity and affordability of Wi-Fi technologies, the results are highly encouraging which suggests that this technique has value both as a standalone technology and as a component in future multimodal hearing aids."

Professor Muhammad Imran, head of the University of Glasgow's Communications, Sensing and Imaging research group and a co-author of the paper, added, "This technology is an outcome from two research projects funded by the Engineering and Physical Sciences Research Council (EPSRC), called COG-MHEAR and QUEST.

"Both aim to find new methods of creating the next generation of health care devices, and this development will play a major role in supporting that goal."

The team's paper, titled "Pushing the Limits of Remote RF Sensing by Reading Lips Under the Face Mask," is published in Nature Communications . + Verder verkennen

How to know if you need an over-the-counter hearing aid, or a doctor