Een nieuw artikel in het Quarterly Journal of Economics constateert dat het vervangen van bepaalde rechterlijke besluitvormingsfuncties door algoritmen de resultaten voor verdachten zou kunnen verbeteren door een aantal van de systemische vooroordelen van rechters weg te nemen.

Beslissers maken consequente keuzes op basis van voorspellingen van onbekende uitkomsten. Met name rechters nemen beslissingen over het al dan niet toekennen van borgtocht aan beklaagden of over de wijze waarop veroordeelden moeten worden veroordeeld. Bedrijven gebruiken nu steeds vaker op machine learning gebaseerde modellen bij beslissingen waarbij veel op het spel staat.

Er liggen verschillende aannames over menselijk gedrag ten grondslag aan de inzet van dergelijke leermodellen, die tot uiting komen in productaanbevelingen op Amazon, het spamfilteren van e-mail en voorspellende teksten op de telefoon.

De onderzoekers hier ontwikkelden een statistische test van een dergelijke gedragsaanname, of besluitvormers systematische voorspellingsfouten maken, en ontwikkelden verder methoden om in te schatten op welke manieren hun voorspellingen systematisch vertekend zijn.

Uit een analyse van het voorprocesrechtsysteem in New York City blijkt dat een aanzienlijk deel van de rechters systematische voorspellingsfouten maakt over het risico van wangedrag tijdens het proces, gezien de kenmerken van de verdachte, waaronder ras, leeftijd en eerder gedrag.

Voor het onderzoek hier is gebruik gemaakt van informatie van rechters in New York City, die quasi willekeurig worden toegewezen aan zaken die per ploegendienst in de toegewezen rechtszaal worden gedefinieerd. In het onderzoek werd getest of de vrijlatingsbesluiten van rechters de juiste opvattingen weerspiegelen over het risico dat een verdachte (onder andere) niet voor de rechter verschijnt. Het onderzoek was gebaseerd op informatie over 1.460.462 zaken in New York City, waarvan 758.027 zaken onderworpen waren aan een besluit tot voorlopige vrijlating.

Het artikel hier heeft een statistische test afgeleid om te bepalen of een beslisser systematische voorspellingsfouten maakt, en verschafte methoden voor het inschatten van de manieren waarop de voorspellingen van de beslisser systematisch vertekend zijn. Door de voorlopige vrijlatingsbeslissingen van rechters in New York City te analyseren, schat de krant dat ten minste 20% van de rechters systematische voorspellingsfouten maakt over het wangedrag van de verdachte, gegeven de kenmerken van de verdachte. Gemotiveerd door deze analyse schatte de onderzoeker hier de effecten van het vervangen van rechters door algoritmische beslissingsregels.

Uit het artikel blijkt dat beslissingen van ten minste 32% van de rechters in New York City inconsistent zijn met het daadwerkelijke vermogen van verdachten om een ​​bepaald borgbedrag te betalen en met het reële risico dat ze niet voor de rechter verschijnen.

Uit het onderzoek hier blijkt dat wanneer zowel het ras als de leeftijd van de verdachte in aanmerking worden genomen, de mediaanrechter systematische voorspellingsfouten maakt bij ongeveer 30% van de aan hem toegewezen verdachten. Wanneer zowel de race van de verdachte als de vraag of de verdachte van een misdrijf is beschuldigd in ogenschouw wordt genomen, maakt de mediaanrechter systematische voorspellingsfouten bij ongeveer 24% van de verdachten die aan hem zijn toegewezen.

Hoewel in het artikel wordt opgemerkt dat het vervangen van rechters door een algoritmische beslissingsregel dubbelzinnige effecten heeft die afhankelijk zijn van de doelstelling van de beleidsmaker (is het gewenste resultaat er één waarbij meer verdachten opdagen voor de rechtszaak of één waarin minder verdachten in de gevangenis zitten te wachten op hun proces?) Het lijkt erop dat het vervangen van rechters door een algoritmische beslissingsregel zou leiden tot een verbetering van de procesresultaten met wel 20%, zoals gemeten op basis van het percentage niet-verschijnen onder vrijgelaten verdachten en het percentage voorlopige hechtenis.

"De effecten van het vervangen van menselijke beslissers door algoritmen hangen af ​​van de afweging tussen de vraag of de mens systematische voorspellingsfouten maakt op basis van waarneembare informatie die beschikbaar is voor het algoritme, en of de mens enige nuttige privé-informatie waarneemt", zegt de hoofdauteur van het artikel, Ashesh. Rambachan.

"Het econometrische raamwerk in dit artikel stelt empirische onderzoekers in staat direct bewijs te leveren over deze concurrerende krachten."

Meer informatie: Ashesh Rambachan, Identificatie van voorspellingsfouten in observatiegegevens, Quarterly Journal of Economics (2024). DOI:10.1093/qje/qjae013. academic.oup.com/qje/article-l … /10.1093/qje/qjae013

Journaalinformatie: Driemaandelijks Journal of Economics

Aangeboden door Oxford University Press