Net als gesproken talen evolueren gebarentalen organisch en hebben ze niet altijd dezelfde oorsprong. Dit levert verschillende manieren van communicatie en annotatie op. Dit is het onderwerp van Manolis Fragkiadakis' Ph.D. proefschrift.

“In tegenstelling tot wat veel mensen denken, bestaat er feitelijk geen universele gebarentaal”, zegt Fragkiadakis. "Gebarentaal kan nog meer gefragmenteerd zijn dan gesproken taal:er kunnen meerdere talen in hetzelfde land voorkomen. De fragmentatie maakt het moeilijk om gebarentaal te codificeren of er academisch over te schrijven. Daar willen wij verandering in brengen."

"We hebben daarom een ​​tool gemaakt voor woordenboeken voor gebarentalen", legt Fragkiadakis uit. "Hiervoor gebruiken we machine learning, een vorm van AI. Door de positie en bewegingen van de gewrichten in de gebarenhanden te analyseren, moet het systeem identificeren welk woord uit welke taal wordt ondertekend."

Dit bleek helemaal niet vanzelfsprekend. “De technologische ontwikkelingen van de afgelopen jaren zijn nog niet verenigbaar met gebarentaal, dus het gaat nog langzaam”, legt Fragkiadakis uit. "De grote taalmodellen die we momenteel hebben zijn maar op één gebarentaal getraind en in het meeste videomateriaal dat hiervoor wordt gebruikt zie je de ondertekenaar recht voor de camera staan, zodat de gebaren goed te zien zijn.

"In mijn onderzoek hebben we de AI getraind op zowel meerdere gebarentalen als meerdere sprekers. Hiervoor werd de camera tussen twee luidsprekers geplaatst, waardoor de AI dezelfde informatie uit een andere positie moest kunnen halen."

Vooralsnog heeft deze techniek er vooral toe geleid dat er meer informatie bekend is over verschillende gebarentalen, maar voor de toekomst voorziet Fragkiadakis ook praktische toepassingen binnen de gebarentaalgemeenschap. "In de toekomst zou AI kunnen helpen bij het herkennen van zowel de overeenkomsten als de verschillen tussen verschillende gebarentalen, waardoor de communicatie tussen gebruikers wordt bevorderd."

Daarnaast vindt Fragkiadakis dat het nuttig is dat zijn onderzoek heeft geholpen de verschillen tussen gebarentalen beter in kaart te brengen. Hoe speelt cultuur bijvoorbeeld een rol? "Ik ben Grieks, dus ik gebruik veel ruimte om te gebaren", zegt Fragkiadakis, "dit kan de betekenis veranderen van wat ik wil zeggen. Grotere gebaren kunnen bijvoorbeeld aangeven dat iemand 'schreeuwt', maar dat doen ze niet. Dat hoeft niet."

Uiteindelijk moet deze kennis de toegankelijkheid van gebarentaal verbeteren. “De hoop is dat we met dit onderzoek gebarentaal toegankelijker kunnen maken voor iedereen, van academici tot alledaagse sprekers. Er is nog te weinig kennis over de kenmerken van verschillende gebarentalen, en daar willen we verandering in brengen.”

Aangeboden door Universiteit Leiden