Mensen kunnen bevooroordeeld zijn, zelfs zonder het te beseffen, maar computerprogramma's zouden geen enkele reden moeten hebben om zwarte patiënten te discrimineren bij het voorspellen van hun zorgbehoeften. Rechts?

Mis, nieuw onderzoek suggereert.

Wetenschappers die een veelgebruikt algoritme bestuderen dat typerend is voor het soort dat zorgverzekeraars gebruiken om cruciale zorgbeslissingen te nemen voor miljoenen mensen, hebben significant bewijs gevonden van raciale vooroordelen als het gaat om het voorspellen van de gezondheidsrisico's van zwarte patiënten.

De bevindingen, donderdag beschreven in het journaal Wetenschap , hebben verstrekkende gevolgen voor de gezondheid en het welzijn van Amerikanen, aangezien we steeds afhankelijker worden van computers om onbewerkte gegevens om te zetten in bruikbare informatie. De resultaten wijzen ook op de oorzaak van het probleem - en het is niet het computerprogramma.

"We moeten het algoritme niet de schuld geven, " zei studieleider Dr. Ziad Obermeyer, een machine learning en gezondheidsonderzoeker aan de Universiteit van Californië, Berkeley. "We zouden onszelf de schuld moeten geven, omdat het algoritme gewoon leert van de gegevens die we het geven."

Een algoritme is een reeks instructies die beschrijven hoe een bepaalde taak moet worden uitgevoerd. Een recept voor brownies is een algoritme. Dat geldt ook voor de lijst met afslagen die je moet maken om naar het feest van je vriend te rijden.

Een computeralgoritme is niet anders, behalve dat het in code is geschreven in plaats van in woorden. Vandaag, ze worden gebruikt om online advertenties te targeten, gezichten herkennen en patronen vinden in grootschalige datasets - hopelijk de wereld veranderen in een efficiëntere, begrijpelijke plaats.

Maar hoewel algoritmen krachtiger en alomtegenwoordiger zijn geworden, er is bewijs dat ze reële vooroordelen en racisme weerspiegelen en zelfs versterken.

Een algoritme dat werd gebruikt om gevangenisstraffen te bepalen, bleek raciaal vooringenomen te zijn, het onjuist voorspellen van een hoger recidiverisico voor zwarte verdachten en een lager risico voor blanke verdachten. Van gezichtsherkenningssoftware is aangetoond dat deze zowel ras- als gendervooroordelen heeft, het nauwkeurig identificeren van het geslacht van een persoon alleen bij blanke mannen. Online advertenties die verschijnen bij de zoekresultaten van Google blijken veel vaker banen met een hoog inkomen te tonen aan mannen dan aan vrouwen.

Obermeyer zei dat het bijna per ongeluk was dat hij en zijn collega's de vooringenomenheid ontdekten die was ingebed in het algoritme voor de gezondheidszorg dat ze bestudeerden.

Het algoritme wordt gebruikt om patiënten te identificeren met gezondheidsproblemen die waarschijnlijk tot ernstigere complicaties en hogere kosten zullen leiden. Een groot academisch ziekenhuis had het gekocht om patiënten te helpen selecteren die in aanmerking kwamen voor een zorgcoördinatieprogramma, die toegang biedt tot diensten zoals versnelde doktersafspraken en een team van verpleegkundigen die huisbezoeken kunnen afleggen of recepten kunnen aanvullen.

"Het is een soort VIP-programma voor mensen die echt extra hulp nodig hebben met hun gezondheid, ' zei Obermeijer.

Het doel is om voor deze patiënten te zorgen voordat hun toestand verslechtert. Dat houdt ze niet alleen op de lange termijn gezonder, het houdt de kosten voor de gezondheidszorg laag.

Dit soort algoritmen zijn vaak eigendom van "het moeilijk maken voor onafhankelijke onderzoekers om ze te ontleden, " schreven de auteurs van het onderzoek. Maar in dit geval, het gezondheidssysteem heeft het vrijwillig verstrekt, samen met gegevens waarmee onderzoekers konden zien of het algoritme de behoeften van de patiënten nauwkeurig voorspelde.

De onderzoekers merkten iets vreemds op:zwarte patiënten die dezelfde risicoscore hadden gekregen als blanke patiënten, hadden veel meer kans om hun gezondheid het volgende jaar te zien verslechteren.

"Bij een bepaald risiconiveau zoals gezien door het algoritme, zwarte patiënten werden uiteindelijk veel zieker dan blanke patiënten, ' zei Obermeijer.

Dit had geen zin, hij zei, dus concentreerden de wetenschappers zich op de discrepantie. Ze analyseerden de gezondheidsgegevens van 6, 079 zwarte patiënten en 43, 539 blanke patiënten en realiseerden zich dat het algoritme precies deed wat het moest doen.

Het probleem was dat de mensen die het hadden ontworpen, het verkeerd hadden gevraagd.

Het systeem evalueerde patiënten op basis van de gemaakte gezondheidskosten, ervan uitgaande dat als hun kosten hoog waren, het was omdat hun behoeften hoog waren. Maar de veronderstelling dat hoge kosten een indicator waren voor een hoge behoefte bleek niet te kloppen, Obermeyer zei:omdat zwarte patiënten doorgaans minder gezondheidszorg krijgen dan blanke patiënten, zelfs als ze even onwel zijn.

Dat betekende dat het algoritme enkele zwarte patiënten ten onrechte wegstuurde van het zorgcoördinatieprogramma.

Door die raciale ongelijkheid te verhelpen, zou het percentage zwarte patiënten dat deelnam aan het programma voor gespecialiseerde zorg kunnen stijgen van 17,7% naar 46,5%, realiseerden de wetenschappers zich.

Nadat ze het probleem hadden geïdentificeerd - een onjuiste menselijke veronderstelling - begonnen de wetenschappers het op te lossen. Ze ontwikkelden een alternatief model dat zich richtte op "vermijdbare kosten, " zoals spoedeisende bezoeken en ziekenhuisopnames. Een ander model gericht op gezondheid, gemeten aan de hand van het aantal opflakkeringen van chronische aandoeningen gedurende het jaar.

De onderzoekers deelden hun ontdekking met de fabrikant van het algoritme, die vervolgens zijn nationale dataset van bijna 3,7 miljoen commercieel verzekerde patiënten analyseerde, het bevestigen van de resultaten. Samen, ze experimenteerden met een model dat gezondheidsvoorspelling combineerde met kostenvoorspelling, uiteindelijk de vertekening met 84% verminderen.

Dr. Karen Joynt Maddox, een cardioloog en onderzoeker op het gebied van gezondheidsbeleid aan de Washington University of St. Louis, prees het werk als "een doordachte manier om naar dit echt belangrijke opkomende probleem te kijken."

"We vertrouwen steeds meer op deze algoritmen en deze black-box-voorspellingsmodellen om ons te vertellen wat we moeten doen, hoe te gedragen, hoe patiënten te behandelen, hoe interventies doelgericht te maken, " zei Joynt Maddox, die niet bij het onderzoek betrokken was. "Het is verontrustend, op een manier, om na te denken over de vraag of deze modellen die we gewoon als vanzelfsprekend beschouwen en gebruiken, bepaalde groepen systematisch benadelen."

De fout lag in dit geval niet bij het algoritme zelf, maar met de veronderstellingen die zijn gemaakt tijdens het ontwerpen, ze was er snel bij om toe te voegen.

Obermeyer zei dat ze ervoor kozen om het bedrijf dat het algoritme heeft gemaakt of het gezondheidssysteem dat het gebruikte niet uit te kiezen. Hij zei dat ze hoopten de rol te benadrukken van een hele groep risicovoorspellingsalgoritmen die, volgens schattingen van de industrie, worden gebruikt om ongeveer 200 miljoen mensen per jaar te evalueren.

Sommige mensen hebben op ontdekkingen van algoritmische vooringenomenheid gereageerd door te suggereren dat de algoritmen helemaal worden geschrapt, maar de algoritmen zijn niet het probleem, zei Sendhil Mullainathan, een computationele gedragswetenschapper aan de Universiteit van Chicago en de senior auteur van de studie.

In feite, wanneer goed bestudeerd en aangepakt, ze kunnen een deel van de oplossing zijn.

"Ze weerspiegelen de vooroordelen in de gegevens die onze vooroordelen zijn, "Zei Mullainathan. "Als je er nu achter kunt komen hoe je het kunt repareren... het potentieel dat het heeft om ons te ontmoedigen, is echt sterk."

Een beter algoritme kan helpen bij het diagnosticeren en behandelen van de effecten van raciale ongelijkheden in de zorg, maar het kan de ongelijkheid die aan de basis van het probleem ligt niet "genezen":het feit dat er minder dollars worden uitgegeven aan de zorg voor zwarte patiënten, gemiddeld, dan bij blanke patiënten, erkende hij.

Deze kostenverschillen ontstaan ​​waarschijnlijk om een ​​aantal redenen, zeiden de auteurs van de studie. Ras en discriminatie kunnen een rol spelen, en zelfs als ze een verzekering hebben, armere patiënten worden geconfronteerd met "aanzienlijke belemmeringen voor de toegang tot gezondheidszorg."

"Voor zover ras en sociaaleconomische status gecorreleerd zijn, deze factoren zullen verschillend van invloed zijn op zwarte patiënten, ’ schreven de onderzoekers.

Het oplossen van die echte bronnen van ongelijkheid vormt een diepere en veel gecompliceerdere uitdaging.

uiteindelijk, Obermeyer zei:"het is een stuk eenvoudiger om vooroordelen in algoritmen op te lossen dan bij mensen."

©2019 Los Angeles Times
Gedistribueerd door Tribune Content Agency, LLC.