Niet alleen bedrijven, maar ook overheidsinstellingen vertrouwen in toenemende mate op geautomatiseerde beslissingen door op algoritmen gebaseerde systemen. Hun efficiëntie bespaart tijd en geld, maar brengt ook veel risico's met zich mee dat individuen of bevolkingsgroepen worden gediscrimineerd. Dit is het resultaat van een onderzoek dat is uitgevoerd door het Institute for Technology Assessment and Systems Analysis (ITAS) van het Karlsruhe Institute of Technology (KIT) in opdracht van het Federale Antidiscriminatiebureau.

Bij het verstrekken van een lening, het selecteren van nieuwe medewerkers, of het nemen van juridische beslissingen – in een toenemend aantal sectoren, algoritmen worden toegepast om menselijke beslissingen voor te bereiden of om deze beslissingen voor mensen te nemen. "Helaas, het is vaak een vergissing om te denken dat dit onvermijdelijk leidt tot objectievere en eerlijkere beslissingen, ", zegt Carsten Orwat van het Institute for Technology Assessment and Systems Analysis (ITAS) van het KIT. "Situaties worden bijzonder kritiek wanneer algoritmen werken met vooringenomen gegevens en vertrouwen op criteria die moeten worden beschermd, " zegt de auteur. Deze criteria omvatten, vooral, leeftijd, geslacht, etnische afkomst, religie, seksuele geaardheid, en handicaps.

Namens het Federaal Antidiscriminatiebureau, Carsten Orwat bestudeerde in detail de oorzaken van discriminatie, de impact ervan op de samenleving, en toekomstige opties om discriminatierisico's te verminderen. Zijn studie getiteld "Diskriminierungsrisiken durch Verwendung von Algorithmen" (discriminatierisico's door het gebruik van algoritmen) somt 47 voorbeelden op om te illustreren hoe algoritmen mensen op verschillende manieren kunnen discrimineren en hoe dit kan worden gedetecteerd en bewezen.

Onroerend goed, Leningen, gerechtelijke zaken, en meer:​​verschillende voorbeelden van discriminatierisico's

Als voorbeelden, Orwat beschrijft situaties op de vastgoed- en kredietmarkten of in het rechtssysteem. In Amerika, bijvoorbeeld, verschillende gevallen zijn gedocumenteerd, waarin algoritmen binnen sociale media het mogelijk maakten om gerichte advertenties onzichtbaar te maken voor personen die beschermd worden door de "Fair Housing Act, "zoals migranten, mensen met een handicap, of met een niet-blanke huidskleur, zegt de auteur. In Finland, een bank werd veroordeeld tot het betalen van een boete omdat het algoritme voor het automatisch verstrekken van online leningen vooroordelen toonde over mannen boven vrouwen en Fins over moedertaalsprekers van het Zweeds. Deze ongelijke behandeling is verboden door de Finse antidiscriminatiewet. Bij de beslissing over vervroegde vrijlating uit de gevangenis, Amerikaanse rechters gebruiken een veel omstreden systeem dat risicoscores berekent. Journalisten en mensenrechtenorganisaties bekritiseren het feit dat dit systeem het risico op recidive van zwarte mensen systematisch overschat.

"Machineleersystemen hebben vaak problemen wanneer ze worden getraind met gegevens die ongelijke behandelingen of stereotypen weerspiegelen, " legt Carsten Orwat uit. "In dit geval de gegenereerde algoritmen zullen dit ook doen. Bij het verwerken van gegevens die beoordelingen van mensen door andere mensen bevatten, ongelijke behandelingen en discriminatie kunnen zich zelfs verspreiden of toenemen." Dit gebeurde in de VS in een systeem voor voedsel- en gezondheidscontroles dat was gebaseerd op discriminerende beoordelingen van restaurants.

Aanbevelingen van tegenmaatregelen

Echter, de samenleving mag deze ongelijke behandelingen niet langer accepteren. Het onderzoek somt verschillende opties op om discriminatie door algoritmen tegen te gaan. "Preventieve maatregelen lijken het meest redelijk, ", zegt Carsten Orwat. Bedrijven kunnen antidiscriminatiebureaus vragen om hun personeel en IT-experts te instrueren en hun bewustzijn te vergroten. deze personen zullen datasets gebruiken die geen discriminerende praktijken of ongelijke behandelingen weerspiegelen.

Volgens Orwat, het doel is om toekomstige algoritmen "door ontwerp discriminatievrij" te maken. Dit betekent dat programma's tijdens hun initiële ontwikkeling moeten worden gecontroleerd.

Uiteindelijk, het gaat allemaal om de bescherming van de waarden van de samenleving, zoals gelijkheid of vrije ontwikkeling van de persoonlijkheid. Om dit ondanks de zeer snelle ontwikkelingen van "big data" en AI te garanderen, het is noodzakelijk om de antidiscriminatie- en gegevensbeschermingswetgeving op sommige punten te verbeteren, Orwat wijst erop.