Amazon besloot zijn wervingstool voor experimentele kunstmatige intelligentie (AI) stop te zetten nadat hij had ontdekt dat het vrouwen discrimineerde. Het bedrijf heeft de tool gemaakt om op internet te zoeken en potentiële kandidaten te spotten, beoordeling van één tot vijf sterren. Maar het algoritme leerde de cv's van vrouwen systematisch te downgraden voor technische banen zoals softwareontwikkelaar.

Hoewel Amazon voorop loopt op het gebied van AI-technologie, het bedrijf kon geen manier vinden om zijn algoritme genderneutraal te maken. Maar het falen van het bedrijf herinnert ons eraan dat AI vooringenomenheid ontwikkelt uit verschillende bronnen. Hoewel er algemeen wordt aangenomen dat algoritmen gebouwd moeten worden zonder de vooroordelen of vooroordelen die de menselijke besluitvorming kleuren, de waarheid is dat een algoritme onbedoeld vooroordelen kan leren van verschillende bronnen. Alles van de gegevens die zijn gebruikt om het te trainen, voor de mensen die het gebruiken, en zelfs schijnbaar ongerelateerde factoren, kunnen allemaal bijdragen aan AI-bias.

AI-algoritmen zijn getraind om patronen in grote datasets waar te nemen om de resultaten te helpen voorspellen. In het geval van Amazon, het algoritme gebruikte alle cv's die gedurende een periode van tien jaar aan het bedrijf werden voorgelegd om te leren hoe de beste kandidaten te vinden. Gezien het lage aandeel vrouwen dat in het bedrijf werkt, zoals bij de meeste technologiebedrijven, het algoritme zag al snel mannelijke dominantie en dacht dat het een succesfactor was.

Omdat het algoritme de resultaten van zijn eigen voorspellingen gebruikte om de nauwkeurigheid te verbeteren, het kwam vast te zitten in een patroon van seksisme tegen vrouwelijke kandidaten. En aangezien de gegevens die werden gebruikt om het te trainen ooit door mensen zijn gemaakt, het betekent dat het algoritme ook ongewenste menselijke eigenschappen heeft geërfd, zoals vooroordelen en discriminatie, die ook al jaren een probleem zijn bij de werving.

Sommige algoritmen zijn ook ontworpen om te voorspellen en te leveren wat gebruikers willen zien. Dit wordt meestal gezien op sociale media of in online advertenties, waar gebruikers inhoud of advertenties te zien krijgen waarvan een algoritme denkt dat ze er interactie mee zullen hebben. Soortgelijke patronen zijn ook gemeld in de rekruteringsindustrie.

Een recruiter meldde dat tijdens het gebruik van een professioneel sociaal netwerk om kandidaten te vinden, de AI leerde hem resultaten te geven die het meest leken op de profielen waarmee hij zich aanvankelijk bezighield. Als resultaat, hele groepen potentiële kandidaten werden systematisch volledig uit het wervingsproces verwijderd.

Echter, bias verschijnt ook om andere niet-gerelateerde redenen. Een recent onderzoek naar hoe een algoritme advertenties afleverde die STEM-banen promootten, toonde aan dat mannen vaker de advertentie te zien kregen, niet omdat mannen er eerder op klikten, maar omdat vrouwen duurder zijn om voor te adverteren. Aangezien bedrijven de prijs van advertenties die op vrouwen zijn getarget, duurder maken (vrouwen zijn verantwoordelijk voor 70% tot 80% van alle consumentenaankopen), het algoritme koos ervoor om advertenties meer aan mannen dan aan vrouwen weer te geven, omdat het is ontworpen om de weergave van advertenties te optimaliseren en tegelijkertijd de kosten laag te houden.

Maar als een algoritme alleen patronen weerspiegelt in de gegevens die we het geven, wat de gebruikers ervan vinden, en het economische gedrag dat zich op de markt voordoet, is het niet oneerlijk om het de schuld te geven van het bestendigen van onze slechtste eigenschappen? We verwachten automatisch dat een algoritme beslissingen neemt zonder enige discriminatie, terwijl dit bij mensen zelden het geval is. Zelfs als een algoritme bevooroordeeld is, het kan een verbetering zijn ten opzichte van de huidige status-quo.

Om optimaal te profiteren van het gebruik van AI, het is belangrijk om te onderzoeken wat er zou gebeuren als we AI beslissingen zouden laten nemen zonder menselijke tussenkomst. Een studie uit 2018 onderzocht dit scenario met borgtochtbeslissingen met behulp van een algoritme dat is getraind op historische criminele gegevens om de kans te voorspellen dat criminelen opnieuw in de fout gaan. In één projectie, de auteurs waren in staat om de misdaadcijfers met 25% te verminderen, terwijl het aantal gevallen van discriminatie bij gedetineerden in de gevangenis werd verminderd.

Maar de voordelen die in dit onderzoek naar voren kwamen, zouden alleen plaatsvinden als het algoritme daadwerkelijk elke beslissing zou nemen. Dit zou in de echte wereld waarschijnlijk niet gebeuren, aangezien rechters waarschijnlijk liever zouden kiezen om de aanbevelingen van het algoritme al dan niet op te volgen. Zelfs als een algoritme goed is ontworpen, het wordt overbodig als mensen ervoor kiezen er niet op te vertrouwen.

Velen van ons vertrouwen al op algoritmen voor veel van onze dagelijkse beslissingen, van wat u kunt bekijken op Netflix of kopen bij Amazon. Maar uit onderzoek blijkt dat mensen sneller hun vertrouwen in algoritmen verliezen dan mensen als ze zien dat ze een fout maken. zelfs als het algoritme over het algemeen beter presteert.

Bijvoorbeeld, als uw GPS u voorstelt een alternatieve route te gebruiken om verkeer te vermijden dat uiteindelijk langer duurt dan voorspeld, u bent in de toekomst waarschijnlijk niet meer afhankelijk van uw GPS. Maar als het jouw beslissing was om de alternatieve route te nemen, het is onwaarschijnlijk dat u op uw eigen oordeel zult vertrouwen. Een vervolgonderzoek naar het overwinnen van aversie van algoritmen toonde zelfs aan dat mensen eerder geneigd waren een algoritme te gebruiken en de fouten ervan te accepteren als ze de kans kregen om het algoritme zelf aan te passen, zelfs als het betekende dat het onvolmaakt moest presteren.

Hoewel mensen snel het vertrouwen kunnen verliezen in gebrekkige algoritmen, velen van ons hebben de neiging om machines meer te vertrouwen als ze menselijke eigenschappen hebben. Volgens onderzoek naar zelfrijdende auto's mensen hadden meer kans om de auto te vertrouwen en geloofden dat het beter zou presteren als het augmented systeem van het voertuig een naam had, een bepaald geslacht, en een menselijk klinkende stem. Echter, als machines heel menselijk worden, maar niet helemaal, mensen vinden ze vaak eng, die hun vertrouwen in hen kunnen aantasten.

Hoewel we niet per se het beeld waarderen dat algoritmen van onze samenleving kunnen weerspiegelen, het lijkt erop dat we nog steeds graag met ze willen leven en ze willen laten lijken en handelen zoals wij. En als dat het geval is, algoritmen kunnen toch ook fouten maken?

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.