Gezichtsherkenningstechnologie sijpelde al door in het dagelijks leven - van je foto's op Facebook tot politiescans van mugshots - toen Joy Buolamwini een ernstige storing opmerkte:een deel van de software kon geen donkere gezichten zoals die van haar detecteren.

Die onthulling bracht de onderzoeker van het Massachusetts Institute of Technology ertoe een project te lanceren dat een buitensporige invloed heeft op het debat over hoe kunstmatige intelligentie in de echte wereld moet worden ingezet.

Haar tests op software gemaakt door technologiebedrijven met een merknaam, zoals Amazon, brachten veel hogere foutenpercentages aan het licht bij het classificeren van het geslacht van vrouwen met een donkere huidskleur dan voor mannen met een lichtere huid.

Onderweg, Buolamwini heeft Microsoft en IBM aangespoord om hun systemen te verbeteren en heeft Amazon geërgerd, die haar onderzoeksmethoden publiekelijk aanviel. Op woensdag, een groep AI-wetenschappers, waaronder een winnaar van de hoofdprijs informatica, lanceerde een pittige verdediging van haar werk en riep Amazon op om te stoppen met de verkoop van zijn gezichtsherkenningssoftware aan de politie.

Haar werk heeft ook de aandacht getrokken van politieke leiders in staatshuizen en het Congres en heeft sommigen ertoe gebracht om grenzen te zoeken aan het gebruik van computervisietools om menselijke gezichten te analyseren.

"Er moet een keuze zijn, " zei Buolamwini, een afgestudeerde student en onderzoeker bij MIT's Media Lab. "Direct, wat er gebeurt is dat deze technologieën op grote schaal worden ingezet zonder toezicht, vaak heimelijk, zodat tegen de tijd dat we wakker worden, het is bijna te laat."

Buolamwini is niet de enige die voorzichtig is met de snelle adoptie van gezichtsherkenning door de politie, overheidsinstanties en bedrijven van winkels tot appartementencomplexen. Veel andere onderzoekers hebben laten zien hoe AI-systemen, die patronen zoeken in enorme hoeveelheden gegevens, zullen de institutionele vooroordelen nabootsen die zijn ingebed in de gegevens waarvan ze leren. Bijvoorbeeld, als AI-systemen worden ontwikkeld met afbeeldingen van voornamelijk blanke mannen, de systemen zullen het beste werken bij het herkennen van blanke mannen.

Die verschillen kunnen soms een kwestie van leven of dood zijn:een recent onderzoek naar de computervisiesystemen waarmee zelfrijdende auto's de weg kunnen 'zien', laat zien dat ze het moeilijker hebben om voetgangers met een donkere huidskleur te detecteren.

Wat een snaar raakte aan het werk van Boulamwini, is haar methode om de systemen van bekende bedrijven te testen. Ze past dergelijke systemen toe op een huidskleurschaal die wordt gebruikt door dermatologen, dan namen en schamen ze degenen die raciale en gendervooroordelen vertonen. Buolamwini, die ook een coalitie van geleerden heeft opgericht, activisten en anderen genaamd de Algorithmic Justice League, heeft haar wetenschappelijk onderzoek vermengd met activisme.

"Het draagt ​​bij aan een groeiend aantal bewijzen dat gezichtsherkenning verschillende groepen verschillend beïnvloedt, " zei Shankar Narayan, van de American Civil Liberties Union van de staat Washington, waar de groep heeft gezocht naar beperkingen op de technologie. "Joy's werk heeft bijgedragen aan het opbouwen van dat bewustzijn."

Amazone, wiens CEO, Jeff Bezos, ze e-mailde vorige zomer rechtstreeks, heeft gereageerd door haar onderzoeksmethoden agressief aan te pakken.

Een door Buolamwini geleide studie die iets meer dan een jaar geleden werd gepubliceerd, vond verschillen in de manier waarop door IBM gebouwde gezichtsanalysesystemen, Microsoft en het Chinese bedrijf Face Plus Plus hebben mensen ingedeeld naar geslacht. Vrouwen met een donkere huidskleur waren de meest verkeerd geclassificeerde groep, met foutenpercentages tot 34,7%. Daarentegen, het maximale foutenpercentage voor mannen met een lichtere huidskleur was minder dan 1%.

De studie riep op tot "dringende aandacht" om de vooringenomenheid aan te pakken.

"Ik reageerde vrijwel meteen, " zei Ruchir Puri, hoofdwetenschapper van IBM Research, waarin hij een e-mail beschrijft die hij vorig jaar van Buolamwini ontving.

Vanaf dat moment, hij zei, "het is een zeer vruchtbare relatie geweest" die IBM dit jaar op de hoogte bracht van een nieuwe database met 1 miljoen afbeeldingen voor een betere analyse van de diversiteit van menselijke gezichten. Eerdere systemen waren te afhankelijk van wat Buolamwini "bleke mannelijke" beeldopslagplaatsen noemt.

Microsoft, met de laagste foutenpercentages, commentaar afgewezen. Berichten achtergelaten bij Megvii, die eigenaar is van Face Plus Plus, niet meteen teruggestuurd.

Maanden na haar eerste studie, toen Buolamwini samen met onderzoeker Inioluwa Deborah Raji van de Universiteit van Toronto aan een vervolgtest werkte, alle drie de bedrijven lieten grote verbeteringen zien.

Maar deze keer hebben ze ook Amazon toegevoegd, die het systeem dat het Rekognition noemt, heeft verkocht aan wetshandhavingsinstanties. De resultaten, gepubliceerd eind januari, toonde aan dat Amazon donker getinte vrouwen verkeerd identificeerde.

"We waren verrast om te zien dat Amazon was waar hun concurrenten een jaar geleden waren, ' zei Buolamwini.

Amazon verwierp wat het Buolamwini's "foutieve beweringen" noemde en zei dat de studie gezichtsanalyse verwarde met gezichtsherkenning, het eerste onjuist meten met technieken om het laatste te evalueren.

"Het antwoord op de bezorgdheid over nieuwe technologie is niet om 'tests' uit te voeren die inconsistent zijn met hoe de service is ontworpen om te worden gebruikt, en om de valse en misleidende conclusies van de test te versterken via de nieuwsmedia, "Mat Hout, algemeen directeur kunstmatige intelligentie voor de cloudcomputing-divisie van Amazon, schreef in een blogpost van januari. Amazon heeft verzoeken voor een interview afgewezen.

"Ik wist niet dat hun reactie zo vijandig zou zijn, " zei Buolamwini onlangs in een interview in haar MIT-lab.

Haar verdediging kwam woensdag met een coalitie van onderzoekers, waaronder AI-pionier Yoshua Bengio, recente winnaar van de Turing Award, beschouwd als de technische versie van de Nobelprijs.

Ze bekritiseerden de reactie van Amazon, vooral het onderscheid tussen gezichtsherkenning en analyse.

"In tegenstelling tot de beweringen van Dr. Wood, vooringenomenheid in het ene systeem is reden tot bezorgdheid in het andere, vooral in gebruikssituaties die het leven van mensen ernstig kunnen beïnvloeden, zoals rechtshandhavingstoepassingen, " Zij schreven.

De weinige publiek bekende klanten hebben het systeem van Amazon verdedigd.

Chris Adzima, senior informatiesysteemanalist voor het Washington County Sheriff's Office in Oregon, zei dat het bureau Amazon's Rekognition gebruikt om de meest waarschijnlijke overeenkomsten te identificeren in zijn verzameling van ongeveer 350, 000 mugshots. Maar omdat een mens de uiteindelijke beslissing neemt, "de vooringenomenheid van dat computersysteem wordt niet omgezet in resultaten of ondernomen acties, ' zei Adzima.

Maar steeds vaker regelgevers en wetgevers hebben hun twijfels. Een tweeledig wetsvoorstel in het Congres streeft naar beperkingen op gezichtsherkenning. Wetgevers in Washington en Massachusetts overwegen hun eigen wetten.

Buolamwini zei dat een belangrijke boodschap van haar onderzoek is dat AI-systemen zorgvuldig moeten worden beoordeeld en consequent moeten worden gecontroleerd als ze voor het publiek worden gebruikt. Niet alleen om te controleren op juistheid, ze zei, maar om ervoor te zorgen dat gezichtsherkenning niet wordt misbruikt om de privacy te schenden of andere schade toe te brengen.

"We kunnen het niet alleen aan bedrijven overlaten om dit soort controles te doen, " ze zei.

© 2019 The Associated Press. Alle rechten voorbehouden.