Moderne tekstvoorspelling is verre van perfect, bijvoorbeeld wanneer een zoekopdracht iets heel anders suggereert dan uw bedoeling. Maar het probleem eindigt niet bij onnauwkeurigheid. Tekstvoorspelling kan ook extreem exclusief of bevooroordeeld zijn als het gaat om het voorspellen van resultaten met betrekking tot gemarginaliseerde gemeenschappen.

Een team van onderzoekers van het USC Viterbi School of Engineering Information Sciences Institute en de USC Annenberg School for Communication and Journalism, geleid door Katy Felkner, een USC Viterbi Ph.D. in computerwetenschappen student en ontvanger van de National Science Foundation Graduate Research Fellowship, heeft een systeem ontwikkeld om anti-queer bias in de kunstmatige intelligentie achter tekstvoorspelling te kwantificeren en op te lossen.

Het project, gepresenteerd door Felkner tijdens de Queer in AI-workshop op de North American Chapter van de Association for Computational Linguistics (NAACL)-conferentie in juli, kijkt naar zowel het detecteren als het verminderen van anti-queer bias in een groot taalmodel, dat wordt gebruikt in alles van zoekbalken tot taalvertaalsystemen.

Het grote taalmodel, of LLM, is het "brein" achter de tekstvoorspelling die verschijnt wanneer we iets in een zoekbalk typen - een kunstmatige intelligentie die zinnen "aanvult" door de meest waarschijnlijke reeks woorden te voorspellen die op een bepaalde prompt volgen .

LLM's moeten echter eerst worden 'getraind' door miljoenen voorbeelden van vooraf geschreven inhoud te krijgen, zodat ze kunnen leren hoe zinnen er doorgaans uitzien. Net als een energieke peuter herhaalt de LLM wat hij hoort, en wat hij hoort kan heteronormatief of zelfs openlijk discriminerend zijn.

"De meeste LLM's zijn getraind op enorme hoeveelheden gegevens die van internet zijn gecrawld", zei Felkner. "Ze zullen alle sociale vooroordelen oppikken die je je kunt voorstellen op internet."

Weinig woorden, groot effect

Uit het project bleek dat een populaire LLM genaamd BERT een significante homofobe vooringenomenheid vertoonde. Deze vooringenomenheid wordt gemeten door middel van Felkner's benchmark, die de waarschijnlijkheid vergelijkt dat de LLM heteronormatieve zinnen voorspelt versus zinnen die een queer-relatie bevatten.

"Een heteronormatieve output is zoiets als 'James hand in hand met Mary' versus 'James hand in hand met Tom'", zei Felkner. "Beide zijn geldige zinnen, maar het probleem is dat, in een grote verscheidenheid aan contexten, het model de voorkeur geeft aan de heteronormatieve output."

Hoewel het verschil maar een paar woorden is, is het effect verre van klein.

Voorspelde resultaten die op stereotiepe manieren over queer mensen praten, kunnen de vooroordelen van gebruikers versterken, en het gebrek aan 'ervaring' van het model met queer stemmen kan ertoe leiden dat het queer taal als obsceen beschouwt.

"Een hardnekkig probleem voor queer mensen is dat de woorden die we gebruiken om onszelf te beschrijven, of beledigingen die zijn teruggewonnen, nog steeds als obsceen of overdreven seksueel worden beschouwd", zegt Felkner, die ook de afgestudeerde vertegenwoordiger van Queers is. in Engineering, Science and Technology (QuEST) hoofdstuk van Out in STEM bij USC.

"Als een model deze woorden routinematig markeert en deze berichten vervolgens worden verwijderd van de platforms of forums waarop ze zich bevinden, leg je de homogemeenschap het zwijgen op."

Community input

Om dit probleem aan te pakken, gaf Felkner BERT een update door het tweets en nieuwsartikelen met LGBT+-trefwoorden te geven. Deze inhoud die werd gebruikt om BERT te "trainen" kwam uit twee afzonderlijke databases van Felkners eigen creatie, genaamd QueerTwitter en QueerNews.

Hoewel taalverwerking extreem grote hoeveelheden gegevens vereist - de QueerTwitter-database bevatte meer dan 2,3 miljoen Tweets - zorgde ze ervoor dat hashtags werden onderscheiden die voornamelijk door queer en transgenders werden gebruikt, zoals #TransRightsareHumanRights.

Naarmate het model werd blootgesteld aan verschillende perspectieven en gemeenschappen, raakte het meer vertrouwd met queer-taal en -kwesties. Als gevolg hiervan was de kans groter dat het hen in zijn voorspellingen zou vertegenwoordigen.

Na te zijn getraind met de nieuwe, meer inclusieve gegevens, vertoonde het model significant minder vooringenomenheid. De tweets van QueerTwitter bleken de meest effectieve van de twee databases, waardoor de prevalentie van heteronormatieve resultaten werd teruggebracht tot bijna de helft van alle voorspellingen.

"Ik denk dat de resultaten van QueerTwitter effectiever zijn dan QueerNews, wat het belang aantoont van directe betrokkenheid van de gemeenschap, en dat queer en trans-stemmen - en de gegevens van hun gemeenschappen - het meest waardevol zullen zijn bij het ontwerpen van een technologie die hen niet schaadt ', aldus Felkner. "We were excited about this finding because it's empirical proof of that intuition people already hold:that these communities should have an input in how technology is designed."

Going forward, the project will look to address bias that affects specific parts of the LGBT+ community, using more refined and targeted sets of data and more customized prompts for the model to work with—such as tackling harmful stereotypes around lesbians. Long term, Felkner hopes the project can be used to train other LLMs, help researchers test the fairness of their natural language processing, or even uncover completely new biases.

"We're dealing with how to fight against the tide of biased data to get an understanding of what 'unfair' looks like and how to test for and correct it, which is a problem both in general and for subcultures that we don't even know about," said Jonathan May, USC Viterbi research associate professor of computer science, Felkner's advisor and study co-author. "There's a lot of great ways to extend the work that Katy is doing." + Verder verkennen

Queer young people in Australia face disproportionate challenges