Wetenschap
Kan de vooringenomenheid in algoritmen ons helpen de onze te zien?
Algoritmen moesten ons leven gemakkelijker en eerlijker maken:ons helpen de beste sollicitanten te vinden, rechters helpen de risico's van beslissingen over borgtocht en borgtocht onpartijdig in te schatten en ervoor te zorgen dat gezondheidszorg wordt verleend aan de patiënten die deze het meest nodig hebben. Inmiddels weten we echter dat algoritmen net zo bevooroordeeld kunnen zijn als de menselijke besluitvormers die ze informeren en vervangen.
Wat als dat geen slechte zaak zou zijn?
Nieuw onderzoek door Carey Morewedge, hoogleraar marketing aan de Boston University Questrom School of Business en Everett W. Lord Distinguished Faculty Scholar, heeft uitgewezen dat mensen meer van hun vooroordelen in de beslissingen van algoritmen herkennen dan in hun eigen beslissingen – zelfs als die beslissingen de belangrijkste zijn. dezelfde. Het onderzoek, gepubliceerd in de Proceedings of the National Academy of Sciences , suggereert manieren waarop bewustzijn menselijke besluitvormers kan helpen hun vooroordelen te herkennen en te corrigeren.
"Een maatschappelijk probleem is dat algoritmen vooroordelen leren en op grote schaal uitrollen in de menselijke beslissingen waarop ze zijn getraind", zegt Morewedge, die tevens voorzitter is van de marketingafdeling van Questrom. Bijvoorbeeld:in 2015 heeft Amazon een algoritme getest (en al snel geschrapt) om zijn wervingsmanagers te helpen sollicitanten te filteren. Ze ontdekten dat het programma de cv's van mannelijke sollicitanten een boost gaf en de cv's van vrouwelijke sollicitanten degradeerde, een duidelijk geval van gendervooroordelen.
Maar datzelfde jaar was slechts 39 procent van de beroepsbevolking van Amazon vrouw. Als het algoritme was getraind op basis van de bestaande wervingsgegevens van Amazon, is het geen wonder dat het prioriteit gaf aan mannelijke sollicitanten; Amazon was dat al. Als het algoritme een gendervooroordeel had, "komt dat doordat de managers van Amazon bevooroordeeld waren bij hun aanwervingsbeslissingen", zegt Morewedge.
"Algoritmen kunnen menselijke vooroordelen codificeren en versterken, maar algoritmen brengen ook structurele vooroordelen in onze samenleving aan het licht", zegt hij. “Veel vooroordelen kunnen niet op individueel niveau worden waargenomen. Het is moeilijk om vooroordelen te bewijzen, bijvoorbeeld bij een enkele aanwervingsbeslissing. Maar als we beslissingen binnen en tussen personen bij elkaar optellen, zoals we doen bij het bouwen van algoritmen, kan dit structurele vooroordelen aan het licht brengen. onze systemen en organisaties."
Morewedge en zijn medewerkers – Begüm Çeliktutan en Romain Cadario, beiden aan de Erasmus Universiteit in Nederland – bedachten een reeks experimenten die bedoeld waren om de sociale vooroordelen van mensen (waaronder racisme, seksisme en leeftijdsdiscriminatie) te ontkrachten.
Het team vergeleek vervolgens de erkenning door onderzoeksdeelnemers van hoe deze vooroordelen hun eigen beslissingen kleurden versus beslissingen die door een algoritme werden genomen. In de experimenten zagen deelnemers soms de beslissingen van echte algoritmen. Maar er was een addertje onder het gras:andere keren waren de beslissingen die aan algoritmen werden toegeschreven in feite de vermomde keuzes van de deelnemers.
Over de hele linie zagen de deelnemers eerder vooringenomenheid in de beslissingen waarvan zij dachten dat ze voortkwamen uit algoritmen dan in hun eigen beslissingen. Deelnemers zagen ook evenveel vooroordelen in de beslissingen van algoritmen als in de beslissingen van andere mensen. (Mensen herkennen vooroordelen over het algemeen beter bij anderen dan bij zichzelf, een fenomeen dat de blinde vlek voor vooroordelen wordt genoemd.) Deelnemers corrigeerden achteraf ook vaker voor vooroordelen bij die beslissingen, een cruciale stap om vooroordelen in de toekomst tot een minimum te beperken.
Algoritmen verwijderen de blinde vlek
De onderzoekers lieten groepen deelnemers, in totaal meer dan 6.000, door negen experimenten lopen. In de eerste beoordeling beoordeelden de deelnemers een reeks Airbnb-advertenties, die een paar stukjes informatie over elke advertentie bevatten:de gemiddelde sterbeoordeling (op een schaal van 1 tot 5) en de naam van de verhuurder. De onderzoekers hebben deze fictieve vermeldingen toegewezen aan verhuurders met namen die 'onderscheidend Afro-Amerikaans of blank' waren, gebaseerd op eerder onderzoek waarin raciale vooroordelen werden geïdentificeerd, aldus de krant. De deelnemers beoordeelden hoe waarschijnlijk het was dat ze elke advertentie zouden huren.
In de tweede helft van het experiment kregen de deelnemers te horen over een onderzoeksbevinding die uitlegde hoe de race van de gastheer de kijkcijfers zou kunnen beïnvloeden. Vervolgens lieten de onderzoekers de deelnemers een reeks beoordelingen zien en vroegen hen om (op een schaal van 1 tot 7) te beoordelen hoe waarschijnlijk het was dat vooringenomenheid de beoordelingen had beïnvloed.
Deelnemers zagen hun eigen beoordeling terug, hun eigen beoordeling onder het mom van een algoritme, hun eigen beoordeling onder het mom van die van iemand anders, of een daadwerkelijke algoritmebeoordeling op basis van hun voorkeuren.
De onderzoekers herhaalden deze opzet verschillende keren, waarbij ze testten op ras, geslacht, leeftijd en aantrekkelijkheid in de profielen van Lyft-chauffeurs en Airbnb-hosts. Elke keer waren de resultaten consistent. Deelnemers die dachten dat ze de beoordelingen van een algoritme of de beoordelingen van iemand anders zagen (of ze dat nu wel of niet waren), hadden meer kans om vertekeningen in de resultaten waar te nemen.
Morewedge schrijft dit toe aan de verschillende bewijzen die we gebruiken om vooroordelen bij anderen en vooroordelen bij onszelf te beoordelen. Omdat we inzicht hebben in ons eigen denkproces, zegt hij, is de kans groter dat we ons denken kunnen nagaan en tot de conclusie kunnen komen dat het niet bevooroordeeld was, en misschien werd aangestuurd door een andere factor die bij onze beslissingen betrokken was. Bij het analyseren van de beslissingen van andere mensen hoeven we echter alleen maar de uitkomst te beoordelen.
"Stel dat je een panel van sprekers organiseert voor een evenement", zegt Morewedge. "Als al die sprekers mannen zijn, zou je kunnen zeggen dat de uitkomst niet het resultaat was van gendervooroordelen, omdat je niet eens aan gender dacht toen je deze sprekers uitnodigde. Maar als je dit evenement bijwoonde en een panel van allemaal zag -mannelijke sprekers, is de kans groter dat je tot de conclusie komt dat er sprake was van gendervooroordelen in de selectie."
In een van hun experimenten ontdekten de onderzoekers dat deelnemers die meer vatbaar waren voor deze blinde vlek voor vooringenomenheid, ook vaker vooroordelen zagen in beslissingen die aan algoritmen of anderen werden toegeschreven dan in hun eigen beslissingen. In een ander experiment ontdekten ze dat mensen hun eigen beslissingen gemakkelijker zagen worden beïnvloed door factoren die tamelijk neutraal of redelijk waren, zoals de sterrenwaardering van een Airbnb-verhuurder, vergeleken met vooroordelen, zoals ras – misschien omdat ze toegaf de voorkeur te geven aan een vijftal. Het huren van sterren is niet zo bedreigend voor iemands zelfgevoel of voor de manier waarop anderen ons zien, suggereert Morewedge.
Algoritmen als spiegels:menselijke vooroordelen zien en corrigeren
In het laatste experiment van de onderzoekers gaven ze deelnemers de kans om vooroordelen in hun beoordelingen of de beoordelingen van een algoritme (echt of niet) te corrigeren. Het was waarschijnlijker dat mensen de beslissingen van het algoritme corrigeerden, waardoor de daadwerkelijke vertekening in de beoordelingen werd verminderd.
Dit is de cruciale stap voor Morewedge en zijn collega’s, zegt hij. Voor iedereen die gemotiveerd is om vooroordelen te verminderen, is het kunnen zien hiervan de eerste stap. Hun onderzoek levert bewijs dat algoritmen als spiegels kunnen worden gebruikt:een manier om vooroordelen te identificeren, zelfs als mensen het zelf niet kunnen zien.
"Op dit moment denk ik dat de literatuur over algoritmische vooroordelen somber is", zegt Morewedge. “Veel ervan zegt dat we statistische methoden moeten ontwikkelen om vooroordelen in algoritmen te verminderen. Maar een deel van het probleem is dat vooroordelen van mensen komen. We moeten eraan werken om algoritmen beter te maken, maar we moeten er ook aan werken om onszelf minder bevooroordeeld te maken.
"Het opwindende aan dit werk is dat het laat zien dat algoritmen menselijke vooroordelen kunnen codificeren of versterken, maar algoritmen kunnen ook hulpmiddelen zijn om mensen te helpen hun eigen vooroordelen beter te zien en te corrigeren", zegt hij. "Algoritmen zijn een tweesnijdend zwaard. Ze kunnen een hulpmiddel zijn dat onze slechtste neigingen versterkt. En algoritmen kunnen een hulpmiddel zijn dat ons kan helpen onszelf te verbeteren."