In 2020 arresteerde de politie van Detroit een zwarte man voor winkeldiefstal voor bijna $ 4.000 aan horloges uit een luxe boetiek. Hij werd geboeid voor het bijzijn van zijn familie en bracht een nacht door in de cel. Na wat ondervraging werd echter duidelijk dat ze de verkeerde man hadden. Dus waarom hebben ze hem in de eerste plaats gearresteerd?

De reden:een gezichtsherkenningsalgoritme had de foto op zijn rijbewijs gekoppeld aan korrelige bewakingscamerabeelden.

Algoritmen voor gezichtsherkenning, waarvan herhaaldelijk is aangetoond dat ze minder nauwkeurig zijn voor mensen met een donkere huid, zijn slechts één voorbeeld van hoe raciale vooroordelen worden gerepliceerd en in stand gehouden door opkomende technologieën.

"Er is een urgentie, aangezien AI wordt gebruikt om echt belangrijke beslissingen te nemen", zegt MLK Visiting Professor S. Craig Watkins, wiens academische thuisbasis voor zijn tijd aan het MIT het Institute for Data, Systems, and Society (IDSS) is. "Er staat meer op het spel omdat nieuwe systemen historische vooroordelen op grote schaal kunnen nabootsen."

Watkins, een professor aan de Universiteit van Texas in Austin en de oprichter van het Institute for Media Innovation, doet onderzoek naar de effecten van media en op data gebaseerde systemen op menselijk gedrag, met een specifieke focus op kwesties die verband houden met systemisch racisme. "Een van de fundamentele vragen van het werk is:hoe bouwen we AI-modellen die effectiever omgaan met systeemongelijkheid?"

Ethische AI

Ongelijkheid wordt door technologie op vele manieren in vele sectoren in stand gehouden. Een breed domein is de gezondheidszorg, waar volgens Watkins ongelijkheid tot uiting komt in zowel de kwaliteit van als de toegang tot zorg. De vraag naar bijvoorbeeld geestelijke gezondheidszorg is veel groter dan de capaciteit van de dienstverlening in de Verenigde Staten. Die vraag is verergerd door de pandemie en de toegang tot zorg is moeilijker voor gekleurde gemeenschappen.

Voor Watkins is het wegnemen van de vooroordelen uit het algoritme slechts één onderdeel van het bouwen van meer ethische AI. Hij werkt ook aan het ontwikkelen van tools en platforms die ongelijkheid buiten de technologie om kunnen gaan. In het geval van toegang tot geestelijke gezondheidszorg betekent dit het ontwikkelen van een tool om GGZ-aanbieders te helpen efficiënter zorg te verlenen.

"We bouwen een realtime platform voor gegevensverzameling dat kijkt naar activiteiten en gedragingen en probeert patronen en contexten te identificeren waarin bepaalde mentale toestanden ontstaan", zegt Watkins. "Het doel is om op gegevens gebaseerde inzichten te bieden aan zorgverleners om diensten met een hogere impact te leveren."

Watkins is geen onbekende in de privacyzorgen die zo'n app zou veroorzaken. Hij hanteert een gebruikersgerichte benadering van de ontwikkeling die is gebaseerd op data-ethiek. "Datarechten zijn een belangrijk onderdeel", stelt hij. "Je moet de gebruiker volledige controle geven over hoe zijn gegevens worden gedeeld en gebruikt en welke gegevens een zorgverlener te zien krijgt. Niemand anders heeft toegang."

Bestrijding van systemisch racisme

Hier bij MIT heeft Watkins zich aangesloten bij het onlangs gelanceerde Initiative on Combatting Systemic Racism (ICSR), een IDSS-onderzoekssamenwerking die docenten en onderzoekers van het MIT Stephen A. Schwarzman College of Computing en daarbuiten samenbrengt. Het doel van de ICSR is het ontwikkelen en benutten van rekenhulpmiddelen die kunnen helpen bij het bewerkstelligen van structurele en normatieve veranderingen in de richting van raciale gelijkheid.

De IMVO-samenwerking heeft aparte projectteams die onderzoek doen naar systemisch racisme in verschillende sectoren van de samenleving, waaronder de gezondheidszorg. Elk van deze 'verticals' behandelt verschillende, maar onderling verbonden problemen, van duurzaamheid tot werkgelegenheid tot gaming. Watkins maakt deel uit van twee ICSR-groepen, politie en huisvesting, die tot doel hebben de processen die leiden tot discriminerende praktijken in beide sectoren beter te begrijpen. "Discriminatie op het gebied van huisvesting draagt ​​aanzienlijk bij aan de raciale welvaartskloof in de VS", zegt Watkins.

Het politieteam onderzoekt patronen in hoe verschillende bevolkingsgroepen worden gecontroleerd. "Er is duidelijk een belangrijke en beladen geschiedenis aan politie en racen in Amerika", zegt Watkins. "Dit is een poging om patronen te begrijpen, te identificeren en regionale verschillen op te merken."

Watkins en het politieteam bouwen modellen met behulp van gegevens die onder meer politie-interventies, reacties en ras beschrijven. De ICSR past goed bij dit soort onderzoek, zegt Watkins, die de interdisciplinaire focus van zowel IDSS als de VCA opmerkt.

"Systeemverandering vereist een samenwerkingsmodel en andere expertise", zegt Watkins. "We proberen de invloed en het potentieel aan de computationele kant te maximaliseren, maar we zullen er niet komen met alleen berekeningen."

Kansen voor verandering

Modellen kunnen ook uitkomsten voorspellen, maar Watkins wijst erop dat geen enkel algoritme raciale uitdagingen alleen kan oplossen.

"Modellen kunnen naar mijn mening het beleid en de strategie informeren die wij als mensen moeten creëren. Computermodellen kunnen informatie verstrekken en kennis genereren, maar dat staat niet gelijk aan verandering." Er is extra werk en extra expertise op het gebied van beleid en belangenbehartiging nodig om kennis en inzichten te gebruiken om vooruitgang te boeken.

Een belangrijke hefboom voor verandering, zo stelt hij, zal het opbouwen van een meer AI-geletterde samenleving zijn door toegang tot informatie en mogelijkheden om AI en de impact ervan op een meer dynamische manier te begrijpen. Hij hoopt op meer gegevensrechten en een beter begrip van hoe maatschappelijke systemen ons leven beïnvloeden.

"Ik werd geïnspireerd door de reactie van jongere mensen op de moorden op George Floyd en Breonna Taylor", zegt hij. "Hun tragische dood werpt een helder licht op de reële implicaties van structureel racisme en heeft de bredere samenleving gedwongen om meer aandacht aan dit probleem te besteden, wat meer kansen voor verandering creëert."