We hebben de afgelopen jaren geleerd dat AI-systemen oneerlijk kunnen zijn, wat gevaarlijk is, omdat ze steeds vaker worden gebruikt om van alles te doen, van het voorspellen van misdaad tot het bepalen van welk nieuws we consumeren. De studie van vorig jaar die het racisme van gezichtsherkenningsalgoritmen aantoonde, toonde een fundamentele waarheid over AI aan:als je traint met vooringenomen gegevens, je krijgt bevooroordeelde resultaten.

Een team van MIT CSAIL werkt aan een oplossing, met een algoritme dat gegevens automatisch kan "de-bias" door ze opnieuw te samplen om ze evenwichtiger te maken.

Het algoritme kan zowel een specifieke taak leren, zoals gezichtsdetectie, evenals de onderliggende structuur van de trainingsgegevens, waardoor het eventuele verborgen vooroordelen kan identificeren en minimaliseren. In tests verminderde het algoritme de "categorische vooringenomenheid" met meer dan 60 procent in vergelijking met geavanceerde gezichtsdetectiemodellen, terwijl tegelijkertijd de algehele precisie van deze systemen behouden bleef. Het team evalueerde het algoritme op dezelfde gezichtsbeelddataset die vorig jaar werd ontwikkeld door onderzoekers van het MIT Media Lab.

Veel bestaande benaderingen op dit gebied vereisen op zijn minst enige menselijke inbreng in het systeem om specifieke vooroordelen te definiëren waarvan onderzoekers willen dat het leert. In tegenstelling tot, het algoritme van het MIT-team kan naar een dataset kijken, leer wat er intrinsiek in verborgen is, en automatisch opnieuw samplen om eerlijker te zijn zonder dat een programmeur in de lus nodig is.

"Vooral gezichtsclassificatie is een technologie die vaak wordt gezien als 'opgelost, ' zelfs als het duidelijk is geworden dat de datasets die worden gebruikt vaak niet goed worden doorgelicht, " zegt promovendus Alexander Amini, die mede-hoofdauteur was van een gerelateerd artikel dat deze week werd gepresenteerd op de conferentie over kunstmatige intelligentie, Ethiek en Maatschappij (AIES). "Het corrigeren van deze problemen is vooral belangrijk nu we beginnen te zien dat dit soort algoritmen worden gebruikt in de beveiliging, wetshandhaving en andere domeinen."

Amini zegt dat het systeem van het team met name relevant zou zijn voor grotere datasets die te groot zijn om handmatig te controleren en ook voor andere computervisietoepassingen dan gezichtsdetectie.