Onderzoekers van Penn State en Columbia University hebben een nieuwe tool voor kunstmatige intelligentie (AI) ontwikkeld om oneerlijke discriminatie op te sporen, zoals op basis van ras of geslacht.

Voorkomen van oneerlijke behandeling van individuen op basis van ras, geslacht of etniciteit, bijvoorbeeld, al lang een punt van zorg van beschaafde samenlevingen. Echter, het opsporen van dergelijke discriminatie als gevolg van beslissingen, hetzij door menselijke besluitvormers of geautomatiseerde AI-systemen, kan enorm uitdagend zijn. Deze uitdaging wordt nog verergerd door de brede acceptatie van AI-systemen om beslissingen in veel domeinen te automatiseren, waaronder politie, consumentenfinanciering, hoger onderwijs en bedrijfsleven.

"Kunstmatige intelligentiesystemen - zoals die welke betrokken zijn bij het selecteren van kandidaten voor een baan of voor toelating tot een universiteit - zijn getraind op grote hoeveelheden gegevens, " zei Vasant Honavar, Professor en Edward Frymoyer leerstoel Informatiewetenschappen en Technologie, Penn State. "Maar als deze gegevens bevooroordeeld zijn, ze kunnen de aanbevelingen van AI-systemen beïnvloeden."

Bijvoorbeeld, hij zei, als een bedrijf in het verleden nooit een vrouw heeft aangenomen voor een bepaald soort baan, dan zal een AI-systeem dat is getraind op deze historische gegevens een vrouw niet aanbevelen voor een nieuwe baan.

"Er is niets mis met het machine learning-algoritme zelf, "zei Honavar. "Het doet wat het moet doen, dat is het identificeren van goede kandidaten voor een baan op basis van bepaalde gewenste kenmerken. Maar aangezien het werd getraind op historische, bevooroordeelde gegevens heeft het potentieel om oneerlijke aanbevelingen te doen."

Het team creëerde een AI-tool voor het detecteren van discriminatie met betrekking tot een beschermd attribuut, zoals ras of geslacht, door menselijke besluitvormers of AI-systemen die gebaseerd is op het concept van causaliteit waarbij het ene ding - een oorzaak - het andere veroorzaakt - een gevolg.

"Bijvoorbeeld, de vraag, 'Is er sprake van discriminatie op grond van geslacht in salarissen?' kan worden omgekaderd als, 'Heeft geslacht een causaal effect op het salaris?, ' of met andere woorden, 'Zou een vrouw meer betaald krijgen als ze een man was?' zei Aria Khademi, afgestudeerde student in de informatiewetenschappen en technologie, Penn State.

Aangezien het niet mogelijk is om het antwoord op een dergelijke hypothetische vraag direct te weten, de tool van het team maakt gebruik van geavanceerde contrafeitelijke inferentie-algoritmen om tot een beste schatting te komen.

"Bijvoorbeeld, " zei Khademi, "Een intuïtieve manier om tot een goede schatting te komen van wat een redelijk salaris zou zijn voor een vrouwelijke werknemer, is door een mannelijke werknemer te vinden die vergelijkbaar is met de vrouw wat betreft kwalificaties, productiviteit en ervaring. We kunnen discriminatie op grond van geslacht in salaris minimaliseren als we ervoor zorgen dat vergelijkbare mannen en vrouwen vergelijkbare salarissen ontvangen."

De onderzoekers testten hun methode met verschillende soorten beschikbare data, zoals inkomensgegevens van het U.S. Census Bureau om te bepalen of er sprake is van discriminatie op grond van geslacht in salarissen. Ze hebben hun methode ook getest met behulp van de stop-and-frisk-programmagegevens van de politie van New York City om te bepalen of er discriminatie is van mensen van kleur bij arrestaties na aanhoudingen. De resultaten verschenen in mei in Proceedings of The Web Conference 2019.

"We hebben een gegevensset over het inkomen van volwassenen geanalyseerd die salaris, demografische en werkgerelateerde informatie voor bijna 50, 000 personen, " zei Honavar. "We vonden bewijs van discriminatie op grond van geslacht in salaris. specifiek, we ontdekten dat de kans dat een vrouw een salaris heeft van meer dan $ 50, 000 per jaar is slechts een derde van dat voor een man. Dit zou erop wijzen dat werkgevers moeten zoeken naar en corrigeren, indien van toepassing, gendervooroordelen in salarissen."

Hoewel de analyse van het team van de New Yorkse stop-and-frisk-dataset - die demografische en andere informatie bevat over chauffeurs die zijn aangehouden door de politie van New York City - bewijs aan het licht bracht van mogelijke raciale vooroordelen tegen Hispanics en Afro-Amerikaanse individuen, het vond geen bewijs van discriminatie van hen gemiddeld als groep.

"Je kunt een probleem niet corrigeren als je niet weet dat het probleem bestaat, " zei Honavar. "Om discriminatie op basis van ras te voorkomen, geslacht of andere kenmerken hebt u effectieve instrumenten nodig om discriminatie op te sporen. Onze tool kan daarbij helpen."

Honavar voegde eraan toe dat naarmate datagestuurde kunstmatige-intelligentiesystemen in toenemende mate bepalen hoe bedrijven advertenties op consumenten richten, hoe politiediensten individuen of groepen controleren op criminele activiteiten, hoe banken beslissen wie een lening krijgt, die werkgevers besluiten in dienst te nemen, en hoe hogescholen en universiteiten beslissen wie wordt toegelaten of financiële steun krijgt, er is dringend behoefte aan tools zoals die hij en zijn collega's ontwikkelden.

"Ons instrument, " hij zei, "kan ervoor zorgen dat dergelijke systemen geen instrumenten van discriminatie worden, belemmeringen voor gelijkheid, bedreigingen voor sociale rechtvaardigheid en bronnen van oneerlijkheid."