Onderzoekers van de Carnegie Mellon University betwisten een lang gekoesterde veronderstelling dat er een wisselwerking bestaat tussen nauwkeurigheid en eerlijkheid bij het gebruik van machine learning om openbare beleidsbeslissingen te nemen.

Naarmate het gebruik van machinaal leren is toegenomen op gebieden zoals strafrecht, aanwerving, gezondheidszorg en sociale dienstverlening, is de bezorgdheid toegenomen over de vraag of dergelijke toepassingen nieuwe ongelijkheid introduceren of bestaande ongelijkheid versterken, vooral onder raciale minderheden en mensen met economische achterstand. Om deze bias te voorkomen, worden aanpassingen gedaan aan de data, labels, modeltraining, scoresystemen en andere aspecten van het machine learning-systeem. De onderliggende theoretische aanname is dat deze aanpassingen het systeem minder nauwkeurig maken.

Een CMU-team probeert die veronderstelling te verdrijven in een nieuwe studie, onlangs gepubliceerd in Nature Machine Intelligence . Rayid Ghani, een professor aan de afdeling Machine Learning van de School of Computer Science en het Heinz College of Information Systems and Public Policy; Kit Rodolfa, een onderzoekswetenschapper in ML; en Hemank Lamba, een postdoctoraal onderzoeker in SCS, testte die veronderstelling in praktijktoepassingen en ontdekte dat de wisselwerking in de praktijk verwaarloosbaar was op een reeks beleidsdomeinen.

"Je kunt eigenlijk beide krijgen. Je hoeft de nauwkeurigheid niet op te offeren om systemen te bouwen die eerlijk en billijk zijn," zei Ghani. "Maar je moet wel bewust systemen ontwerpen die eerlijk en billijk zijn. Kant-en-klare systemen werken niet."

Ghani en Rodolfa richtten zich op situaties waarin de gevraagde middelen beperkt zijn, en machine learning-systemen worden gebruikt om die middelen toe te wijzen. De onderzoekers keken naar systemen op vier gebieden:prioriteit geven aan beperkte hulpverlening in de geestelijke gezondheidszorg op basis van het risico van een persoon om terug te keren naar de gevangenis om heropsluiting te verminderen; het voorspellen van ernstige veiligheidsschendingen om de beperkte huisvestingsinspecteurs van een stad beter in te zetten; modelleren van het risico van studenten die niet op tijd afstuderen van de middelbare school om degenen te identificeren die het meest behoefte hebben aan extra ondersteuning; en leerkrachten helpen bij het bereiken van crowdfundingdoelen voor de behoeften van de klas.

In elke context ontdekten de onderzoekers dat modellen die zijn geoptimaliseerd voor nauwkeurigheid - standaardpraktijk voor machine learning - de interessante resultaten effectief konden voorspellen, maar aanzienlijke verschillen vertoonden in aanbevelingen voor interventies. Toen de onderzoekers echter aanpassingen toepasten op de resultaten van de modellen die gericht waren op het verbeteren van hun eerlijkheid, ontdekten ze dat ongelijkheden op basis van ras, leeftijd of inkomen - afhankelijk van de situatie - konden worden weggenomen zonder verlies van nauwkeurigheid.

Ghani en Rodolfa hopen dat dit onderzoek de gedachten van collega-onderzoekers en beleidsmakers zal veranderen bij het overwegen van het gebruik van machine learning bij besluitvorming.

"We willen dat de kunstmatige intelligentie, computerwetenschap en machine learning-gemeenschappen stoppen met het accepteren van deze veronderstelling van een afweging tussen nauwkeurigheid en eerlijkheid en dat ze opzettelijk systemen gaan ontwerpen die beide maximaliseren", zei Rodolfa. "We hopen dat beleidsmakers machine learning zullen omarmen als een hulpmiddel bij hun besluitvorming om hen te helpen billijke resultaten te bereiken."