volgens de wet, krediet- en leningbeslissingen mogen niet discrimineren op basis van ras of leiden tot resultaten die aanzienlijk verschillen per ras. Maar om ervoor te zorgen dat ze niet discrimineren, banken en andere kredietverstrekkers mogen bij de meeste applicaties niet vragen naar ras. Dit maakt het voor auditors een uitdaging om ervoor te zorgen dat kredietbeslissingen eerlijk zijn.

Om raciale ongelijkheden in kredietbeslissingen te evalueren, kredietverstrekkers of auditors moeten de rassen van aanvragers afleiden, over het algemeen met behulp van een systeem - bekend als een proxy - dat de races van kandidaten raadt op basis van wat ze wel weten, zoals hun buurten en achternamen.

Maar deze proxy's - inclusief een methode die door het Consumer Financial Protection Bureau wordt gebruikt om kredietverstrekkers te controleren - kunnen zeer verschillende resultaten opleveren, afhankelijk van kleine veranderingen in hoe ze de races van aanvragers raden, volgens een nieuwe door Cornell geleide studie.

"Het is zorgwekkend dat deze modellen worden gebruikt om te bepalen of financiële instellingen zich aan de wet houden, " zei Madeleine Udell, de Richard en Sybil Smith Sesquicentennial Fellow en assistent-professor aan de School of Operations Research and Information Engineering. "Ze beoordelen duidelijk niet wat ze zouden moeten doen."

hun papier, "Eerlijkheid onder onwetendheid:ongelijkheid beoordelen wanneer beschermde klasse niet wordt waargenomen, zal worden gepresenteerd op de ACM Conferentie over Eerlijkheid, Verantwoording en transparantie, 29-31 januari in Atlanta. Cornell Tech-promovendus Xiaojie Mao is de hoofdauteur. Co-auteurs waren onder meer Udell; Nathan Kallus, assistent-professor operationeel onderzoek en informatie-engineering bij Cornell Tech; en datawetenschappers uit de financiële sector Jiahao Chen en Geoffry Svacha.

Het begrijpen van de risico's van discriminatie bij het gebruik van kunstmatige intelligentie is vooral belangrijk omdat financiële instellingen steeds vaker afhankelijk zijn van machine learning voor kredietbeslissingen. Machine learning-modellen kunnen grote hoeveelheden gegevens analyseren om tot relatief nauwkeurige voorspellingen te komen, maar hun operaties zijn ondoorzichtig, waardoor het moeilijk is om eerlijkheid te garanderen.

"Hoe kan een computer racistisch zijn als je geen ras invoert? Nou, het kan, en een van de grootste uitdagingen waarmee we de komende jaren te maken zullen krijgen, is dat mensen machine learning gebruiken met onbedoelde slechte gevolgen die ons kunnen leiden tot meer polarisatie en ongelijkheid, Kallus zei. "Er is veel vooruitgang geboekt op het gebied van machinaal leren en kunstmatige intelligentie, en we moeten echt verantwoordelijk zijn in ons gebruik ervan."

Ras is een van de vele kenmerken die worden beschermd door staats- en federale wetgeving; anderen omvatten leeftijd, geslacht en arbeidsongeschiktheidsstatus.

De onderzoekers gebruikten gegevens van hypotheken - het enige type consumentenlening dat race op aanvragen omvat - om de nauwkeurigheid van het Bayesian Improved Surname Geocoding (BISG)-auditsysteem te testen. Ze ontdekten dat de resultaten ervan vaak werden onderschat of overschat tussen raciale verschillen, afhankelijk van meerdere factoren. Ervan uitgaande dat ras gebaseerd is op de volkstellingskanalen waar aanvragers wonen, wist zwarte aanvragers die in voornamelijk blanke buurten wonen en blanke aanvragers die in overwegend zwarte buurten wonen.

Het BISG-model schat de kans dat iemand een bepaald ras is, en bij het uitvoeren van berekeningen kan een gebruiker een minimale kans instellen, bijvoorbeeld ervoor kiezen om voorbeelden te gebruiken waarin de kans op een bepaald ras 80 procent of meer is. Maar verschillen in die minimale kans gaven onverwacht grote variaties in de resultaten, vonden de onderzoekers.

"Afhankelijk van welke drempel je hebt gekozen, u heel verschillende antwoorden zou krijgen over hoe eerlijk uw kredietprocedure was, ' zei Udel.

De bevindingen van de onderzoekers werpen niet alleen licht op de nauwkeurigheid van BISG, ze kunnen ontwikkelaars helpen de machine learning-modellen te verbeteren die kredietbeslissingen nemen. Betere modellen kunnen banken helpen beter geïnformeerde beslissingen te nemen wanneer ze leningen goedkeuren of afwijzen, wat ertoe kan leiden dat ze krediet geven aan gekwalificeerde kandidaten met een lager inkomen.

"Je kunt erachter komen wie daadwerkelijk in gebreke blijft op een eerlijke manier, Kallus zei. "Wat we willen doen, is ervoor zorgen dat we deze beperkingen opleggen aan de machine learning-systemen die we bouwen en trainen, dus we begrijpen wat het betekent om eerlijk te zijn en hoe we ervoor kunnen zorgen dat het vanaf het begin eerlijk is."