Een studie van Deb Raji, een vierdejaarsstudent aan de faculteit Applied Science &Engineering van de Universiteit van Toronto, en onderzoekers van het Massachusetts Institute of Technology onderstrepen de raciale en gendervooroordelen die worden aangetroffen in gezichtsherkenningsdiensten.

Raji bracht de zomer van 2018 door als stagiair bij MIT's Media Lab, waar ze commerciële gezichtsherkenningstechnologieën controleerde die zijn gemaakt door toonaangevende bedrijven zoals Microsoft, IBM en Amazon. De onderzoekers ontdekten dat ze allemaal de neiging hadden om donkere vrouwen voor mannen aan te zien.

Maar één service in het bijzonder - Amazon's Rekognition - vertoonde een hogere mate van vooringenomenheid dan de rest. Hoewel het het geslacht van mannen met een lichte huidskleur met bijna 100 procent nauwkeurigheid kon identificeren, het classificeerde vrouwen 29 procent van de tijd verkeerd als mannen, en donkere vrouwen voor mannen 31 procent van de tijd.

Recognition werd onlangs bestuurd door de politie in Orlando, Fla., de service gebruiken in politiescenario's, zoals het scannen van gezichten op camera's en deze vergelijken met die in criminele databases.

"Het feit dat de technologie zwarte gezichten niet goed karakteriseert, kan leiden tot verkeerde identificatie van verdachten. ", zegt Raji. "Amazon is toe aan wat publieke druk, gezien de high-stakes scenario's waarin ze deze technologie gebruiken."

Met snelle vooruitgang en inzet van kunstmatige intelligentie (AI) producten, deze nieuwe studie benadrukt de noodzaak om niet alleen systemen te testen op prestaties, maar ook voor mogelijke vooroordelen tegen ondervertegenwoordigde groepen.

Hoewel algoritmen neutraal moeten zijn, Raji legt uit dat omdat datasets – informatie die wordt gebruikt om een ​​AI-model te ‘trainen’ – afkomstig zijn uit een samenleving die nog steeds worstelt met alledaagse vooroordelen, deze vooroordelen worden ingebed in de algoritmen.

"Laten we zeggen dat ik voorbeelden wil van hoe een gezonde huid eruit ziet. Als je het nu googelt, je zult vooral vrouwen met een lichte huid zien, "zegt Raji. "Je zult geen man zien voor pagina's, en je zou een vrouw met een donkere huidskleur pas zien als je echt naar beneden scrolt. Als je dat in een AI-model invoert, het neemt dit wereldbeeld over en past zijn beslissingen aan op basis van die vooroordelen."

Deze vooroordelen moeten worden genoemd, net zoals men een persoon verantwoordelijk zou houden, zegt Raj. "Er is een groter gevaar wanneer je die vooringenomenheid in een algoritme integreert in plaats van wanneer een mens een bevooroordeelde beslissing neemt. Iemand zal je vertellen dat het verkeerd is, of het nu het publiek is of je baas, " ze zegt.

"Met AI, we hebben de neiging om deze verantwoordelijkheid te ontslaan. Niemand gaat een algoritme in de gevangenis stoppen."

Raji's passie voor het onderwerp bias in machine learning komt voort uit haar tijd als Professional Experience Year Co-op (PEY Co-op) student bij de AI-startup Clarifai, waar het onderwerp AI en ethiek regelmatig werd besproken bij het onderzoeksgerichte bedrijf.

"Het is iets dat het bedrijf opmerkte en heel expliciet was over het aanpakken, en het is een onderwerp dat mij persoonlijk aansprak omdat ik een zichtbare minderheid ben, " ze zegt.

Het komt ook voort uit haar eigen persoonlijke ervaringen met raciaal vooringenomen technologieën. "Ik zou iets bouwen op een hackathon en me afvragen waarom het mijn gezicht niet kon detecteren, of waarom een ​​geautomatiseerde kraan mijn hand niet kan detecteren, " ze zegt.

Raji deelde haar ervaringen met computerwetenschapper en digitale activist, Vreugde Buolamwini, bij MIT's Media Lab. Dit leidde tot de stage, en dat Raji de hoofdauteur werd van een paper die ze presenteerde op de Association for the Advancement of Artificial Intelligence Conference on AI Ethics and Society.

"Ik weet dat het lijkt alsof ik in drie maanden een onderzoekspaper heb geschreven, "zegt Raji. "Maar deze kwestie sijpelt al veel langer in me door."

Raji is momenteel bezig met het afronden van haar laatste termijn in de technische wetenschappen en leidt een door studenten geleid initiatief genaamd Project Include, die studenten opleidt om computerprogrammering te onderwijzen in buurten met een laag inkomen in Toronto en Mississauga. Ze is ook een mentee bij Google AI. Als onderdeel van het mentorprogramma, ze werkt aan een nieuwe scriptie die zich richt op praktische oplossingen om bedrijven ter verantwoording te roepen.

"Mensen bagatelliseren soms de urgentie door te zeggen:'We zullen, AI is zo nieuw, '" zegt Raji. "Maar als je een brug bouwt, zou de industrie je toestaan ​​om te bezuinigen en dat soort excuses te maken?"