Algoritmische aanbevelingen vertonen een voorkeur voor populaire keuzes en informatie die verontwaardiging oproept, zoals partijdig nieuws. Op maatschappelijk niveau bestendigen en versterken algoritmische vooroordelen de structurele raciale vooroordelen in het rechtssysteem, de gendervooroordelen bij de mensen die bedrijven in dienst nemen en de welvaartsongelijkheid in de stedelijke ontwikkeling.

Algoritmische vooroordelen kunnen ook worden gebruikt om menselijke vooroordelen te verminderen. Algoritmen kunnen verborgen structurele vooroordelen in organisaties blootleggen. In een artikel gepubliceerd in de Proceedings of the National Academy of Science , ontdekten mijn collega's en ik dat algoritmische vooroordelen mensen kunnen helpen vooroordelen bij zichzelf beter te herkennen en te corrigeren.

De bias in de spiegel

In negen experimenten lieten Begum Celikitutan, Romain Cadario en ik onderzoeksdeelnemers Uber-chauffeurs of Airbnb-advertenties beoordelen op hun rijvaardigheid, betrouwbaarheid of de waarschijnlijkheid dat ze de advertentie zouden huren. We gaven de deelnemers relevante details, zoals het aantal ritten dat ze hadden gereden, een beschrijving van de accommodatie of een sterbeoordeling. We hebben ook een irrelevant stukje informatie toegevoegd:een foto onthulde de leeftijd, het geslacht en de aantrekkelijkheid van de chauffeurs, of een naam die suggereerde dat de hosts van een advertentie blank of zwart waren.

Nadat de deelnemers hun beoordelingen hadden gemaakt, lieten we ze een van de twee beoordelingensamenvattingen zien:één met hun eigen beoordelingen, of één met de beoordelingen van een algoritme dat op basis van hun beoordelingen was getraind. We vertelden de deelnemers over het vertekenende kenmerk dat deze beoordelingen mogelijk heeft beïnvloed; bijvoorbeeld dat Airbnb-gasten minder snel huren van verhuurders met duidelijk Afro-Amerikaanse namen. Vervolgens vroegen we hen om te beoordelen hoeveel invloed de bias had op de beoordelingen in de samenvattingen.

Of deelnemers nu de vertekenende invloed van ras, leeftijd, geslacht of aantrekkelijkheid beoordeelden, ze zagen meer vertekening in de beoordelingen van algoritmen dan zijzelf. Dit algoritmische spiegeleffect hield in of deelnemers de beoordelingen van echte algoritmen beoordeelden of dat we deelnemers hun eigen beoordelingen lieten zien en hen op bedrieglijke wijze vertelden dat een algoritme die beoordelingen maakte.