Een veelgebruikte computersoftwaretool is misschien niet nauwkeuriger of eerlijker in het voorspellen van herhaald crimineel gedrag dan mensen zonder strafrechtelijke ervaring, volgens een studie van Dartmouth College.

Uit de analyse van Dartmouth bleek dat niet-experts die reageerden op een online-enquête even goed presteerden als het Correctional Offender Management Profiling for Alternative Sanctions (COMPAS)-softwaresysteem dat door rechtbanken wordt gebruikt om het risico op recidive te helpen bepalen.

Het artikel laat ook zien dat hoewel COMPAS meer dan honderd stukjes informatie gebruikt om een ​​voorspelling te doen, hetzelfde nauwkeurigheidsniveau kan worden bereikt met slechts twee variabelen:de leeftijd van een verdachte en het aantal eerdere veroordelingen.

Volgens het onderzoeksrapport COMPAS is gebruikt om meer dan een miljoen overtreders te beoordelen sinds het in 1998 werd ontwikkeld, met zijn recidivevoorspellingscomponent in gebruik sinds 2000.

De analyse, gepubliceerd in het tijdschrift wetenschappelijke vooruitgang , werd uitgevoerd door het student-facultaire onderzoeksteam van Julia Dressel en Hany Farid.

"Het is verontrustend dat ongetrainde internetwerkers net zo goed kunnen presteren als een computerprogramma dat wordt gebruikt om levensveranderende beslissingen te nemen over criminele verdachten. " zei Farid, de Albert Bradley 1915 derde-eeuwse hoogleraar computerwetenschappen aan het Dartmouth College. "Het gebruik van dergelijke software doet misschien niets om mensen te helpen die een tweede kans zouden kunnen worden ontzegd door black-box-algoritmen."

Volgens het blad, softwaretools worden gebruikt in het vooronderzoek, voorwaardelijke vrijlating, en veroordelingsbeslissingen om crimineel gedrag te voorspellen, met inbegrip van wie waarschijnlijk niet zal verschijnen op een rechtszitting en wie waarschijnlijk op een bepaald moment in de toekomst zal recidive. Voorstanders van dergelijke systemen stellen dat big data en geavanceerde machine learning deze analyses nauwkeuriger en minder bevooroordeeld maken dan voorspellingen van mensen.

"Beweringen dat geheime en schijnbaar geavanceerde gegevenstools nauwkeuriger en eerlijker zijn dan mensen, worden eenvoudigweg niet ondersteund door onze onderzoeksresultaten, " zei Dressel, die het onderzoek uitvoerde als onderdeel van haar bachelorscriptie in computerwetenschappen aan Dartmouth.

De onderzoekspaper vergelijkt de commerciële COMPAS-software met werknemers die zijn gecontracteerd via Amazon's online crowdsourcingmarktplaats Mechanical Turk om te zien welke benadering nauwkeuriger en eerlijker is bij het beoordelen van de mogelijkheid van recidive. Voor de doeleinden van de studie, recidive werd gedefinieerd als het plegen van een misdrijf of misdrijf binnen twee jaar na de laatste arrestatie van een verdachte.

Groepen internetwerkers zagen korte beschrijvingen van het geslacht van een verdachte, leeftijd, en voorgeschiedenis van criminelen. De menselijke resultaten werden vervolgens vergeleken met resultaten van het COMPAS-systeem dat 137 variabelen voor elk individu gebruikt.

De algehele nauwkeurigheid was gebaseerd op de snelheid waarmee een verdachte correct werd voorspeld om al dan niet te recidiveren. Het onderzoek rapporteerde ook over valse positieven - wanneer wordt voorspeld dat een beklaagde recidiveert maar niet - en valse negatieven - wanneer wordt voorspeld dat een beklaagde niet recidiveert maar wel doet.

Met aanzienlijk minder informatie dan COMPAS - zeven functies vergeleken met 137 - toen de resultaten werden samengevoegd om de "wijsheid van de menigte te bepalen, " de mensen zonder veronderstelde strafrechtelijke ervaring waren accuraat in 67 procent van de gepresenteerde gevallen, statistisch hetzelfde als de 65,2 procent nauwkeurigheid van COMPAS. Studiedeelnemers en COMPAS waren het voor 69,2 procent van de 1000 beklaagden eens bij het voorspellen wie hun misdaden zou herhalen.

Volgens de studie, de kwestie van nauwkeurige voorspelling van recidive beperkt zich niet tot COMPAS. Uit een afzonderlijke recensie die in de studie werd aangehaald, bleek dat acht van de negen softwareprogramma's geen nauwkeurige voorspellingen konden doen.

"Het hele gebruik van recidivevoorspellingsinstrumenten in rechtszalen moet in twijfel worden getrokken, " zei Dressel. "Samen met eerder werk over de eerlijkheid van strafrechtelijke algoritmen, deze gecombineerde resultaten werpen grote twijfel op de hele inspanning om recidive te voorspellen."

In tegenstelling tot andere analyses die zich richten op de vraag of algoritmen raciaal vooringenomen zijn, de Dartmouth-studie beschouwt de meer fundamentele kwestie of het COMPAS-algoritme beter is dan ongetrainde mensen in het nauwkeurig en eerlijk voorspellen van recidive.

Echter, toen ras werd overwogen, uit het onderzoek bleek dat de resultaten van zowel de menselijke respondenten als de software aanzienlijke verschillen lieten zien tussen hoe zwarte en blanke verdachten worden beoordeeld.

Volgens het blad, het is waardevol om te vragen of we deze beslissingen in handen willen geven van ongetrainde mensen die reageren op een online-enquête, omdat, uiteindelijk, "de resultaten van deze twee benaderingen lijken niet van elkaar te onderscheiden."