Gebarentalen zijn niet gemakkelijk te leren en nog moeilijker om te onderwijzen. Ze gebruiken niet alleen handgebaren, maar ook monden, gezichtsuitdrukkingen en lichaamshouding om betekenis te communiceren. Door deze complexiteit zijn professionele onderwijsprogramma's nog steeds zeldzaam en vaak duur. Maar dit kan allemaal snel veranderen, met een beetje hulp van kunstmatige intelligentie (AI).

Mijn collega's en ik werken aan software om jezelf gebarentalen te leren in een geautomatiseerd, intuïtieve manier. Momenteel, deze tool kan de manier analyseren waarop een leerling een gebarentaal uitvoert in Zwitsers-Duitse gebarentaal en gedetailleerde feedback geven over hoe de handvorm kan worden verbeterd, beweging, locatie en tijdstip. Maar we hopen dat we de AI achter de tool kunnen gebruiken om software te maken die verschillende gebarentalen van over de hele wereld kan aanleren, en rekening houden met meer ingewikkelde kenmerken van de talen, zoals zinsgrammatica en de niet-hand-elementen van communicatie.

AI is eerder gebruikt voor de herkenning, vertaling of vertolking van gebarentaal. Maar we denken dat we de eersten zijn die daadwerkelijk proberen de tekens die een persoon maakt te beoordelen. Belangrijker, we willen de AI-technologie gebruiken om de gebruiker feedback te geven over wat ze verkeerd hebben gedaan.

Gebarentaal oefenen en beoordelen is moeilijk omdat je het niet kunt lezen of schrijven. In plaats daarvan, we hebben een computerspel gemaakt. Om een ​​teken te oefenen, de game laat je een video zien van dat teken dat wordt uitgevoerd, of geeft u het dichtstbijzijnde gesproken woord dat het beschrijft (of beide). Het registreert vervolgens uw poging om het bord opnieuw te maken met een videocamera en vertelt u hoe u het beter kunt doen. We hebben ontdekt dat door er een spel van te maken, mensen worden aangemoedigd om te strijden om de beste score te behalen en gaandeweg hun gebaren te verbeteren.

Kunstmatige intelligentie wordt gebruikt in alle stadia van prestatiebeoordeling. Eerst, een convolutioneel neuraal netwerk (CNN) haalt informatie uit de video over de houding van je bovenlichaam. Een CNN is een soort AI die losjes is gebaseerd op de verwerking door de visuele cortex in je hersenen. Uw skelethoudingsinformatie en de originele video worden vervolgens naar de handvormanalysator gestuurd, waar een andere CNN naar de video kijkt en op elk punt in de video informatie over de handvorm tevoorschijn haalt.

De skeletinformatie en handvormen worden vervolgens naar een handbewegingsanalysator gestuurd, die iets gebruikt dat een Hidden Markov-model (HMM) wordt genoemd. Met dit type AI kunnen we het skelet en de handvorminformatie in de loop van de tijd modelleren. Vervolgens vergelijkt het wat het heeft gezien met een referentiemodel dat de perfecte versie van dat teken vertegenwoordigt, en produceert een score van hoe goed het overeenkomt.

De resultaten van zowel de handvormanalysator als de handbewegingsanalysator worden vervolgens gescoord en als feedback aan u gepresenteerd. Dus alle AI is verborgen achter een eenvoudig te gebruiken interface, zodat u zich kunt concentreren op het leren. Onze hoop is dat de automatische, persoonlijke feedback zorgt ervoor dat studenten meer betrokken raken bij het leren tekenen.

AI naar de klas brengen

Tot dusver, de software werkt alleen voor Zwitsers-Duitse gebarentaal. Maar ons onderzoek suggereert dat de "architectuur" van het systeem niet zou hoeven te veranderen om met andere talen om te gaan. Het zou alleen meer video-opnames van elke taal nodig hebben om als gegevens te fungeren om het mee te trainen.

Een onderzoeksgebied dat we willen onderzoeken, is hoe we wat de AI al weet kunnen gebruiken om nieuwe talen te leren. We willen ook graag zien hoe we andere aspecten van communicatie kunnen toevoegen terwijl we gebarentaal gebruiken, zoals gezichtsuitdrukkingen.

Momenteel, de software werkt het beste in een eenvoudige omgeving zoals een klaslokaal. Maar als we het kunnen ontwikkelen om meer variatie in de achtergrond van de videobeelden te tolereren, denken we dat het net als veel populaire apps kan worden waarmee je een taal kunt leren waar je ook bent zonder de hulp van een expert. Nu dit soort technologie wordt ontwikkeld, het zal binnenkort mogelijk zijn om het leren van gebarentalen net zo toegankelijk te maken voor iedereen als het leren van hun gesproken broers en zussen.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.