Algoritmische eerlijkheid wordt steeds belangrijker omdat naarmate meer beslissingen van groter belang worden genomen door computerprogramma's, de kans op schade groeit. Vandaag, algoritmen worden al veel gebruikt om kredietscores te bepalen, wat het verschil kan betekenen tussen het bezitten van een huis en het huren ervan. En ze worden gebruikt in predictive policing, wat suggereert dat er een kans is dat een misdrijf zal worden gepleegd, en door te scoren hoe waarschijnlijk het is dat een crimineel in de toekomst een ander misdrijf zal plegen, wat van invloed is op de zwaarte van de straf.

Dat is een probleem, zegt Adam Smit, een professor in de computerwetenschappen aan de Boston University, omdat het ontwerp van veel algoritmen verre van transparant is.

"Veel van deze systemen zijn ontworpen door particuliere bedrijven en hun details zijn eigendom van " zegt Smit, die ook een faculteitsmedewerker datawetenschap is bij het Hariri Institute for Computing. "Het is moeilijk om te weten wat ze doen en wie verantwoordelijk is voor de beslissingen die ze nemen."

Onlangs, Smith en een gezamenlijk team van computerwetenschappers van de BU-MIT hebben dit probleem opnieuw onderzocht, in de hoop te leren wat, als iets, kan worden gedaan om vooringenomenheid van besluitvormingssystemen die afhankelijk zijn van computerprogramma's te begrijpen en te minimaliseren.

De BU-onderzoekers - Smith, Ran Canetti, een professor in de informatica en directeur van het Hariri Institute's Centre for Reliable Information Systems and Cyber ​​Security, en Sarah Scheffler (GRS'21), een informatica-promovendus - werken met MIT Ph.D. studenten Aloni Cohen, Nishanth Dikkala, en Govind Ramnarayan om systemen te ontwerpen waarvan de beslissingen over alle subgroepen van de bevolking even nauwkeurig zijn.

Hun werk werd onlangs geaccepteerd voor publicatie op de aanstaande 2019 Association for Computing Machinery-conferentie over eerlijkheid, Verantwoordelijkheid, en transparantie, bijgenaamd "ACM FAT."

De onderzoekers zijn van mening dat een systeem dat mensen discrimineert die het moeilijk hebben gehad om een ​​kredietgeschiedenis op te bouwen, die moeilijkheid in stand zal houden, de kansen voor een deel van de bevolking beperken en bestaande ongelijkheden in stand houden. Wat dat betekent, ze zeggen, is dat geautomatiseerde rangschikkingssystemen gemakkelijk self-fulfilling prophecies kunnen worden, of ze de kans op wanbetaling op een hypotheek of de kwaliteit van een universitaire opleiding beoordelen.

"Geautomatiseerde systemen worden steeds complexer, en ze zijn vaak moeilijk te begrijpen voor leken en voor de mensen over wie beslissingen worden genomen, "zegt Smit.

Het probleem van zelfvervullende voorspellingen

"De interactie tussen het algoritme en menselijk gedrag is zodanig dat als je een algoritme maakt en het laat lopen, het kan een andere samenleving creëren omdat mensen ermee omgaan, "zegt Canetti. "Dus je moet heel voorzichtig zijn hoe je het algoritme ontwerpt."

Dat probleem, zeggen de onderzoekers, zal erger worden naarmate toekomstige algoritmen meer uitvoer van eerdere algoritmen als invoer gebruiken.

"Als je eenmaal hetzelfde computerprogramma hebt dat veel beslissingen neemt, alle bestaande vooroordelen worden vele malen op grotere schaal gereproduceerd, Smith zegt. "Je krijgt het potentieel voor een brede maatschappelijke verschuiving veroorzaakt door een computerprogramma."

Maar hoe kan een algoritme precies, wat in feite een wiskundige functie is, bevooroordeeld zijn?

Scheffler suggereert twee manieren:"Een manier is met vooringenomen gegevens, ' zegt ze. 'Als je algoritme is gebaseerd op historische gegevens, het zal snel leren dat een bepaalde instelling liever mannen dan vrouwen accepteert. Een andere manier is dat er verschillende nauwkeurigheden zijn op verschillende delen van de bevolking, dus misschien is een algoritme heel goed in het uitzoeken of blanke mensen een lening verdienen, maar het kan een hoog foutenpercentage hebben voor mensen die niet blank zijn. Het zou een nauwkeurigheid van 90 procent kunnen hebben op de ene set van de populatie en 50 procent op een andere set."

"Daar kijken we naar, " zegt Smith. "We vragen 'Hoe maakt het systeem fouten?' en 'Hoe zijn deze fouten verspreid over verschillende delen van de bevolking?'"

De echte impact van algoritmische vooringenomenheid

In mei 2016, verslaggevers van ProPublica, een onderzoeksredactie zonder winstoogmerk, onderzocht de nauwkeurigheid van COMPAS, een van de vele algoritmische instrumenten die door rechtbanken worden gebruikt om recidive te voorspellen, of de waarschijnlijkheid dat een criminele verdachte een ander misdrijf zal plegen. De eerste bevindingen waren niet geruststellend.

Toen ProPublica-onderzoekers het voorspelde recidiverisico van de tool vergeleken met de werkelijke recidivecijfers over de volgende twee jaar, dat vonden ze, in het algemeen, COMPAS deed het 61 procent van de tijd goed. Ze ontdekten ook dat voorspellingen van gewelddadige recidive slechts 20 procent van de tijd correct waren.

Meer verontrustend, ze ontdekten dat zwarte verdachten veel vaker dan blanke verdachten ten onrechte meer kans hadden om opnieuw een misdaad te plegen, en blanke verdachten hadden meer kans dan zwarte verdachten om ten onrechte als een laag risico op recidive te worden beschouwd. Volgens het artikel van ProPublica, dit was een duidelijke demonstratie van vooringenomenheid door het algoritme.

In antwoord, Northpointe Inc., de maker van COMPAS, publiceerde een andere studie waarin werd betoogd dat het COMPAS-algoritme in feite eerlijk is volgens een andere statistische maatstaf voor vooringenomenheid:kalibratie. De software van Northpointe wordt veel gebruikt, en zoals veel algoritmische tools, zijn berekeningen zijn eigendom, maar het bedrijf vertelde ProPublica wel dat de formule om te voorspellen wie er opnieuw zal recidiveren is afgeleid van antwoorden op 137 vragen waarvan de antwoorden afkomstig zijn van verdachten of van strafregisters.

Uit het onderzoek van Northpointe bleek dat voor elke risicoscore, de fractie blanke beklaagden die deze score ontvingen en recidiveerden (van alle blanke beklaagden die deze score ontvingen) is ongeveer gelijk aan de fractie zwarte beklaagden die deze score ontvingen en recidiveerden, van alle zwarte beklaagden die deze score ontvingen.

"ProPublica en Northpointe kwamen tot verschillende conclusies in hun analyses van de eerlijkheid van COMPAS. beide methoden waren wiskundig verantwoord - de tegenstelling lag in hun verschillende definities van rechtvaardigheid, ', zegt Scheffler.

Het komt erop neer dat elk onvolmaakt voorspellingsmechanisme (algoritmisch of menselijk) bevooroordeeld zal zijn volgens ten minste een van de twee benaderingen:de foutbalancerende benadering die wordt gebruikt door ProPublica, en de kalibratiemethode waar Northpointe de voorkeur aan geeft.

Algoritmische vooringenomenheid overwinnen

Als het ging om het oplossen van het probleem van algoritmische vooringenomenheid, het onderzoeksteam van de BU-MIT heeft een methode ontwikkeld om de subset van de populatie te identificeren die het systeem niet eerlijk beoordeelt, en hun beoordeling naar een ander systeem te sturen dat minder waarschijnlijk bevooroordeeld is. Die scheiding garandeert dat de methode op meer evenwichtige manieren fouten maakt met betrekking tot de individuen voor wie het een beslissing neemt.

En hoewel de onderzoekers veel situaties vonden waarin die oplossing goed leek te werken, ze blijven bezorgd over hoe de verschillende systemen zouden samenwerken. "Er zijn veel verschillende maatstaven voor eerlijkheid, " zegt Scheffler, "en er zijn compromissen tussen hen. Dus in hoeverre zijn de twee systemen compatibel met de notie van eerlijkheid die we willen bereiken?"

"Wat er gebeurt met die mensen wiens beslissingen zouden worden uitgesteld, heeft echt invloed op hoe we het systeem als geheel zien, ", zegt Smith. "Op dit punt, we zijn nog steeds ons hoofd aan het wikkelen wat de verschillende oplossingen zouden betekenen."

Nog altijd, zegt Canetti, het onderzoek wijst op een mogelijke uitweg uit het raadsel van de statistische bias, een die het ontwerp van algoritmen mogelijk zou maken die de vooringenomenheid minimaliseren. Die uitdaging, hij zegt, vereist expertise van vele disciplines.