Voorspellende modellering wordt verondersteld neutraal te zijn, een manier om persoonlijke vooroordelen uit de besluitvorming te verwijderen. Maar de algoritmen zitten boordevol vooroordelen die zijn ingebouwd in de echte gegevens die zijn gebruikt om ze te maken. Wharton-hoogleraar statistiek James Johndrow heeft een methode ontwikkeld om die vooroordelen weg te nemen.

Zijn laatste onderzoek, co-auteur met zijn vrouw, statisticus Kristian Lum, "Een algoritme voor het verwijderen van gevoelige informatie:toepassing op ras-onafhankelijke recidivevoorspelling, " richt zich op het verwijderen van informatie over ras in gegevens die recidive voorspellen, maar de methode kan ook buiten het strafrechtelijk systeem worden toegepast.

"In het strafrecht er wordt veel gebruik gemaakt van algoritmen voor zaken als wie borgtocht moet betalen om uit de gevangenis te komen voor het proces of wie er op eigen herkenning vrijgelaten wordt, bijvoorbeeld. De kern hiervan is dit idee van risicobeoordeling en proberen te zien wie het meest waarschijnlijk is, bijvoorbeeld, om op hun zittingsdata te verschijnen, ' zegt Johndrow.

"De potentiële problemen hiermee zijn alleen dat deze algoritmen zijn getraind op gegevens die in de echte wereld worden gevonden. De algoritmen en hun voorspellingen kunnen in al deze menselijke dingen die gaande zijn, bakken, dus er is de laatste tijd veel meer aandacht om ervoor te zorgen dat bepaalde groepen niet worden gediscrimineerd door deze algoritmen."