Een team van onderzoekers en ingenieurs van Huawei AI heeft een unieke manier bedacht om dove kinderen te helpen gebarentaal te leren lezen, door AI en augmented reality te gebruiken om gedrukte boeken te interpreteren. Ze hebben ook een manier gevonden om dove kinderen te helpen plezier in lezen te ontwikkelen.

Het idee voor de app was een reactie op de frustratie die veel ouders voelen wanneer ze een boek proberen voor te lezen aan hun dove kind - in de meeste van dergelijke situaties, een horende ouder probeert zijn dove kind te betrekken bij een activiteit die een automatisch overgangsritueel is voor mensen zonder gehoorbeperking. Om dit probleem op te lossen, onderzoekers van Huawei kwamen op het idee om kunstmatige intelligentie te gebruiken om een ​​kind te helpen een boek te lezen. Het AI/AR-systeem is ingebed in een app genaamd StorySign die op een telefoon of tablet kan worden uitgevoerd:de ouder of het kind houdt de telefoon boven de pagina en een avatar wordt naast de tekst geplaatst en interpreteert de woorden via ondertekening.

Naarmate het verhaal vordert, de app markeert de woorden die worden ondertekend, het kind helpen te begrijpen dat de woorden verband houden met het teken dat wordt gebruikt om ze voor te stellen. De onderzoekers melden dat ze ook veel werk hebben verzet om een ​​avatar te ontwikkelen waar kinderen zich mee kunnen identificeren. Ze werkten samen met Aardman Animations om een ​​avatar te creëren met de naam Star, die meer doet dan alleen handgebaren tonen - ze gebruikt ook lichaams- en gezichtsuitdrukkingen om emoties over te brengen, het kind helpen om de contextuele aard van het materiaal in het boek beter te begrijpen. Een waarschuwing is dat de app alleen werkt met bepaalde kinderboeken, allemaal uitgegeven door Penguin Random House.

De app is ontwikkeld met steun van de European Union of the Deaf en de British Deaf Association. Het is gratis, en beschikbaar voor Android- en Apple-producten in 10 talen in 10 Europese landen. De ontwikkelaars zeggen dat als de app populair blijkt, het zal beschikbaar worden gemaakt in meer regio's en in meer talen.

© 2018 Wetenschap X Netwerk