Kansen die ooit ver weg lagen voor de hardhorende gemeenschap, zullen werkelijkheid worden met een baanbrekende gebarentaalvertaler. Ingenieurs van de Michigan State University hebben een technologie ontwikkeld en gepatenteerd die - in tegenstelling tot eerdere vertaalmechanismen - niet-invasief is en zo draagbaar als een tube chapstick.

"We bieden een alomtegenwoordige oplossing voor vertalingen in gebarentaal, " zei Mi Zhang, assistent-professor elektrische en computertechniek. "Hardhorenden die moeten communiceren met iemand die geen gebarentaal verstaat, kunnen een gepersonaliseerde, virtuele tolk op elk moment, overal."

Honderdduizenden slechthorenden vertrouwen op Amerikaanse gebarentaal, of ASL, communiceren. Zonder tolk aanwezig, ze hebben niet dezelfde kansen op werk en worden vaak benadeeld in delicate of gevoelige situaties, zei Zhang.

"Stel je voor dat je in het ziekenhuis zou zijn en met een arts moest communiceren. Je zou moeten wachten tot de vertaler van het ziekenhuis - als ze die hebben - arriveert, verbinding maken met een gratis service of erop vertrouwen dat een familielid aanwezig is, "Zei Zhang. "Dit brengt je privacy in gevaar en kan een gezondheidsnoodgeval verergeren. Dit is slechts één voorbeeld dat de cruciale behoefte aan vertaaltechnologie voor gebarentaal aantoont."

Zhang en collega's, promovendus Biyi Fang en niet-gegradueerde Jillian Co, zag een kans om de slechthorende bevolking te helpen de communicatiebarrière naar de horende meerderheid te doorbreken.

technologie van Zhang, genaamd DeepASL, beschikt over een deep learning - of machine learning op basis van gegevens geïnspireerd door de structuur en functie van de hersenen - algoritme dat automatisch tekens in het Engels vertaalt. De technologie werkt via een sensorisch apparaat van 3 inch, ontwikkeld door Leap Motion, dat is uitgerust met camera's om de bewegingen van handen en vingers continu vast te leggen.

"Leap Motion zet de bewegingen van iemands handen en vingers om in skeletachtige gewrichten. Ons deep learning-algoritme pikt gegevens op van de skeletachtige gewrichten en vergelijkt deze met tekenen van ASL, ' zei Fang.

Vergelijkbaar met het instellen van Siri op een nieuwe iPhone, gebruikers ondertekenen bepaalde woorden om hun handen en gewrichten vertrouwd te maken met de technologie en sensoren. Ze kunnen ook aangepaste tekens voor hun naam of niet-woordenboekwoorden maken door ze te spellen, en hebben meer gemak en comfort communiceren.

"Een onderscheidend kenmerk van DeepASL is dat het volledige zinnen kan vertalen zonder dat gebruikers na elk teken hoeven te pauzeren. Andere vertalers zijn woord-voor-woord, waarbij gebruikers moeten pauzeren tussen borden. Deze beperking vertraagt ​​aanzienlijk face-to-face gesprekken, gesprekken moeilijk en ongemakkelijk maken, " zei Fang. "Onze technologie is ook niet opdringerig, in tegenstelling tot andere tolktechnologieën waarbij ondertekenaars handschoenen moeten dragen, waardoor ze zich gemarginaliseerd voelen omdat je letterlijk hun handicap kunt zien."

Naast het vermogen om slechthorenden te helpen met anderen te communiceren, DeepASL kan mensen helpen die ASL virtueel leren door realtime feedback te geven over hun ondertekening. Voorafgaande technologie, Zhang legde uit, door middel van video-tutorials had beperkte persoonlijke assistentie.

"Ongeveer 90 procent van de dove kinderen wordt geboren bij horende ouders. Deze ouders leren gebarentaal om met hun kinderen te communiceren, maar hebben meestal geen tijd om live lessen bij te wonen, "Zei Zhang. "Onze technologie kan hun ondertekening meten om hen te helpen leren en verbeteren."

Terwijl de technologie van Zhang gebarentaal vertaalt naar verbaal gesprek, hij legde uit dat bestaande, succesvolle spraakherkenningstechnologieën kunnen de andere kant van het gesprek helpen, waardoor verbale communicatoren kunnen spreken met slechthorenden.

De onderzoekers zeggen dat de volgende stap voor hun technologie commercialisering is, het beschikbaar maken voor de honderdduizenden mensen die een toegankelijker tolk nodig hebben. Sprong Beweging, ze zeiden, verkoopt voor ongeveer $ 78, waardoor het een betaalbare optie is. Ze zijn ook van plan om de technologie compatibel te maken met iPhones, evenals het onderwijzen van verschillende gebarentalen.