De politie van New South Wales schrapte onlangs een alom veroordeeld programma dat bekend staat als het Suspect Targeting Management Plan. Het gebruikte algoritmische risicoscores om ‘doelen’, waarvan sommige nog maar tien jaar oud waren, te selecteren voor politietoezicht.

Maar soortgelijke programma's blijven bestaan. Corrective Services NSW gebruikt bijvoorbeeld een statistisch beoordelingsinstrument genaamd LSI-R om te voorspellen of gevangenen zullen recidiveren.

Gevangenen met een hoog risico krijgen interventies met een hoge intensiteit en kunnen hun vervroegde vrijlating worden ontzegd. De risicoscores worden berekend op basis van feiten zoals 'criminele vrienden', betrokkenheid van familieleden bij misdaad of drugs, financiële problemen, wonen in een 'buurt met veel criminaliteit' en frequente adreswijzigingen.

Een voorspellend algoritme is een reeks regels die computers (en soms mensen) moeten volgen, gebaseerd op patronen in gegevens. Er is veel geschreven over de manier waarop algoritmen ons discrimineren, van bevooroordeelde zoekmachines tot gezondheidsdatabases.

In mijn onlangs gepubliceerde boek, Artificial Justice, beweer ik dat het gebruik van instrumenten die ons gedrag voorspellen op basis van factoren als armoede of gezinsachtergrond ons ook zorgen zou moeten baren. Als we überhaupt gestraft worden, zou dat alleen moeten zijn voor wat we verkeerd hebben gedaan, niet voor de kaarten die we hebben gekregen.

Algoritmen houden ons in de gaten

Algoritmen genereren risicoscores die in strafrechtsystemen over de hele wereld worden gebruikt. In het Verenigd Koninkrijk wordt het OASys (Offender Assessment System) gebruikt als onderdeel van de informatie die voorafgaand aan de straf aan rechters wordt verstrekt; het geeft vorm aan beslissingen over borgtocht, voorwaardelijke vrijlating en veroordeling. In de Verenigde Staten doet een tool die bekend staat als COMPAS iets soortgelijks.

Risicoscores worden ook buiten het strafrecht gebruikt en er zijn niet altijd computers nodig om deze te genereren. Een korte enquête, bekend als de Opioid Risk Tool, helpt artsen in Australië en de rest van de wereld te beslissen of ze pijnverlichting voor acute en chronische ziekten willen voorschrijven, door te voorspellen of patiënten hun medicijnen zullen misbruiken.

Voorspellende algoritmen redden letterlijk levens:ze worden gebruikt om donororganen toe te wijzen, patiënten te triageen en dringende medische behandelbeslissingen te nemen. Maar ze kunnen ook ongerechtvaardigde ongelijkheden creëren en in stand houden.

Stel je voor dat we een algoritme ontwikkelen – ‘CrimeBuster’ – om de politie te helpen bij het patrouilleren op ‘hotspots’ van misdaad. We gebruiken gegevens die misdaad koppelen aan gebieden die worden bevolkt door gezinnen met lagere inkomens. Omdat we 'misdaad' niet rechtstreeks kunnen meten, kijken we in plaats daarvan naar het aantal arrestaties.

Maar het feit dat de arrestatiecijfers in deze gebieden hoog zijn, zou ons kunnen vertellen dat de politie meer tijd besteedt aan het patrouilleren in deze gebieden. Als er geen rechtvaardiging is voor deze praktijk van intensief politieoptreden, zou het uitrollen van CrimeBuster deze vooroordelen de status van beleid geven.

Algoritmen beoordelen ons

Het probleem wordt groter als we statistieken gebruiken om voorspellingen te doen over opzettelijke actie – de dingen die we verkiezen te doen.

Dit kan een voorspelling zijn over de vraag of iemand een "giftige" werknemer zal zijn, misdaden zal begaan of drugs zal misbruiken.

De factoren die deze voorspellingen beïnvloeden, worden zelden gepubliceerd. Voor het Britse straftoemetingsalgoritme OASys houden ze onder meer in of iemand slachtoffer is geweest van huiselijk geweld.

Het Amerikaanse COMPAS-systeem registreert echtscheidingen en kindermishandeling van ouders. De Opioid Risk Tool vraagt ​​of de familie van de patiënt een geschiedenis van middelenmisbruik heeft, en of de patiënt (indien een vrouw) een geschiedenis heeft van 'seksueel misbruik in de pre-adolescente periode'.

In elk geval maken deze feiten het waarschijnlijker dat iemand naar de gevangenis gaat, medische behandeling misloopt, enzovoort.

We willen allemaal de kans krijgen om keuzes te maken die passen bij wie we zijn, en om aan onze behoeften en doelen te voldoen. En we willen dezelfde keuzes krijgen als andere mensen, in plaats van te worden uitgekozen als iemand die niet in staat is goede keuzes te maken.

Als we iemand straffen vanwege feiten waar hij niet gemakkelijk invloed op heeft, doen we precies dit:we behandelen die persoon alsof hij simpelweg slechte keuzes maakt.

We kunnen mensen niet opsluiten voor het geval dat

Het probleem is niet per se het gebruik van algoritmen. In de 19e eeuw betoogde de Italiaanse arts Cesare Lombroso dat we 'de geboren crimineel' konden identificeren aan de hand van fysieke kenmerken:een misvormde schedel, brede kaak, lange ledematen of grote oren.

Niet lang daarna kwam de Britse criminoloog Charles Goring met dit idee op de proppen en betoogde dat bepaalde ‘gebrekkige’ mentale kenmerken ‘het lot van de gevangenisstraf’ onvermijdelijk maakten.

Algoritmen maken het simpelweg veel moeilijker om te zien wat er gaande is in de wereld van misdaadrisicobeoordeling.

Maar als we kijken, blijkt dat wat er aan de hand is iets vergelijkbaars is met de visie van Lombroso-Goring:we behandelen mensen alsof ze voorbestemd zijn om verkeerd te doen, en sluiten ze op (of houden ze opgesloten) voor het geval dat.

Overheidsinstanties zouden verplicht moeten worden de feiten te publiceren die ten grondslag liggen aan de voorspellingen achter dergelijke beslissingen. Machine learning mag alleen worden gebruikt als en voor zover aan deze publicatievereisten kan worden voldaan. Dit maakt het gemakkelijker om zinvolle gesprekken te voeren over waar de grens moet worden getrokken.

In de context van het strafrecht is die lijn duidelijk. We moeten alleen zwaardere straffen uitdelen voor slecht gedrag, en niet voor andere fysieke, mentale of sociale kenmerken. Er zijn tal van richtlijnen die deze aanpak volgen, en dit is de lijn die Australische instellingen moeten volgen.

Zodra de straffen voor hun misdaad zijn toegepast, mogen gevangenen niet anders worden behandeld of langer worden opgesloten vanwege hun vrienden en familie, hun financiële status of de manier waarop ze door anderen zijn behandeld.

Aangeboden door The Conversation

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.