Het aanpakken van vooroordelen in kunstmatige intelligentie, computerwetenschappers van Princeton en Stanford University hebben methoden ontwikkeld om eerlijkere datasets met afbeeldingen van mensen te verkrijgen. De onderzoekers stellen verbeteringen voor aan ImageNet, een database met meer dan 14 miljoen afbeeldingen die de afgelopen tien jaar een sleutelrol hebben gespeeld bij het bevorderen van computervisie.

ImageNet, waaronder afbeeldingen van objecten en landschappen, maar ook van mensen, dient als een bron van trainingsgegevens voor onderzoekers die machine learning-algoritmen maken die afbeeldingen classificeren of elementen erin herkennen. De ongekende schaal van ImageNet maakte geautomatiseerde beeldverzameling en crowdsourced beeldannotatie noodzakelijk. Hoewel de persoonscategorieën van de database zelden door de onderzoeksgemeenschap zijn gebruikt, het ImageNet-team heeft gewerkt aan het wegnemen van vooroordelen en andere zorgen over afbeeldingen met mensen die onbedoelde gevolgen zijn van de constructie van ImageNet.

"Computervisie werkt nu heel goed, wat betekent dat het overal wordt ingezet in allerlei contexten, " zei co-auteur Olga Russakovsky, een assistent-professor computerwetenschappen aan Princeton. "Dit betekent dat het nu tijd is om te praten over de impact die het heeft op de wereld en om na te denken over dit soort eerlijkheidskwesties."

In een nieuwe krant het ImageNet-team identificeerde systematisch niet-visuele concepten en aanstootgevende categorieën, zoals raciale en seksuele kenmerken, onder de persoonscategorieën van ImageNet en stelde voor deze uit de database te verwijderen. De onderzoekers ontwierpen ook een tool waarmee gebruikers afbeeldingensets van mensen kunnen specificeren en ophalen die in evenwicht zijn op leeftijd, genderexpressie of huidskleur - met als doel algoritmen te vergemakkelijken die de gezichten en activiteiten van mensen eerlijker in afbeeldingen classificeren. De onderzoekers presenteerden hun werk op 30 januari op de Association for Computing Machinery's Conference on Fairness, Verantwoording en transparantie in Barcelona, Spanje.

"Er is grote behoefte aan onderzoekers en laboratoria met technische kernexpertise om dit soort gesprekken aan te gaan, " zei Russakovsky. "Gezien de realiteit dat we de gegevens op schaal moeten verzamelen, gezien de realiteit dat het zal worden gedaan met crowdsourcing omdat dat de meest efficiënte en gevestigde pijplijn is, hoe doen we dat op een eerlijkere manier - die niet in dit soort eerdere valkuilen valt? De kernboodschap van dit document gaat over constructieve oplossingen."

Een groep computerwetenschappers van Princeton en Stanford lanceerde ImageNet in 2009 als hulpmiddel voor academische onderzoekers en opvoeders. Het leiden van de inspanning was Princeton-alumna en faculteitslid Fei-Fei Li, nu hoogleraar computerwetenschappen aan Stanford. Om onderzoekers aan te moedigen betere computervisie-algoritmen te bouwen met ImageNet, het team creëerde ook de ImageNet Large Scale Visual Recognition Challenge. De uitdaging was grotendeels gericht op objectherkenning met behulp van 1, 000 afbeeldingscategorieën, waarvan slechts drie met personen.

Sommige van de eerlijkheidsproblemen in ImageNet komen voort uit de pijplijn die is gebruikt om de database te bouwen. De afbeeldingscategorieën kwamen van WordNet, een oudere database met Engelse woorden die worden gebruikt voor onderzoek naar natuurlijke taalverwerking. De makers van ImageNet hebben de zelfstandige naamwoorden in WordNet overgenomen, waarvan sommige, hoewel het duidelijk gedefinieerde verbale termen zijn, niet goed vertalen naar een visueel vocabulaire. Bijvoorbeeld, termen die iemands religie of geografische afkomst beschrijven, kunnen mogelijk alleen de meest onderscheidende zoekresultaten voor afbeeldingen opleveren, mogelijk leidend tot algoritmen die stereotypen in stand houden.

Een recent kunstproject genaamd ImageNet Roulette bracht meer aandacht voor deze zorgen. Het project, uitgebracht in september 2019 als onderdeel van een kunsttentoonstelling over beeldherkenningssystemen, gebruikte afbeeldingen van mensen van ImageNet om een ​​kunstmatige-intelligentiemodel te trainen dat mensen in woorden classificeerde op basis van een ingezonden afbeelding. Gebruikers konden een afbeelding van zichzelf uploaden en een label ophalen op basis van dit model. Veel van de classificaties waren aanstootgevend of gewoon off-base.

De centrale innovatie waarmee de makers van ImageNet zo'n grote database met gelabelde afbeeldingen konden verzamelen, was het gebruik van crowdsourcing, met name het Amazon Mechanical Turk (MTurk)-platform, waarmee werknemers werden betaald om kandidaat-afbeeldingen te verifiëren. Deze aanpak, terwijl transformatief, was onvolmaakt, wat leidt tot een aantal vooroordelen en ongepaste categorisaties.

"Als je mensen vraagt ​​om afbeeldingen te verifiëren door de juiste te selecteren uit een grote reeks kandidaten, mensen voelen zich onder druk gezet om bepaalde afbeeldingen te selecteren en die afbeeldingen hebben meestal kenmerkende of stereotiepe kenmerken, " zei hoofdauteur Kaiyu Yang, een afgestudeerde student informatica.

In de studie, Yang en collega's filterden eerst potentieel aanstootgevende of gevoelige persoonscategorieën uit ImageNet. Ze definieerden aanstootgevende categorieën als die met godslastering of racistische of genderbeledigingen; gevoelige categorieën inbegrepen, bijvoorbeeld, de classificatie van mensen op basis van seksuele geaardheid of religie. Om de categorieën te annoteren, ze rekruteerden 12 afgestudeerde studenten met verschillende achtergronden, hen op te dragen een fout te maken door een categorie als gevoelig te bestempelen als ze het niet zeker wisten. Dit elimineerde 1, 593 categorieën—ongeveer 54% van de 2, 932 persoonscategorieën in ImageNet.

De onderzoekers wendden zich vervolgens tot MTurk-medewerkers om de "beeldvorming" van de resterende veilige categorieën te beoordelen op een schaal van één tot vijf. Het behouden van categorieën met een afbeeldingsclassificatie van vier of hoger resulteerde in slechts 158 categorieën die zowel veilig als afbeeldingbaar waren. Zelfs deze sterk gefilterde reeks categorieën bevatte meer dan 133, 000 afbeeldingen - een schat aan voorbeelden voor het trainen van computervisie-algoritmen.

Binnen deze 158 categorieën, de onderzoekers bestudeerden de demografische representatie van mensen in de afbeeldingen om de mate van vooringenomenheid in ImageNet te beoordelen en een benadering te bedenken om eerlijkere datasets te creëren. De inhoud van ImageNet is afkomstig van beeldzoekmachines zoals Flickr, en van zoekmachines in het algemeen is aangetoond dat ze resultaten produceren die mannen oververtegenwoordigd zijn, mensen met een lichte huid, en volwassenen tussen de 18 en 40 jaar.

"Mensen hebben ontdekt dat de verdelingen van demografische gegevens in zoekresultaten voor afbeeldingen zeer bevooroordeeld zijn, en daarom is de distributie in ImageNet ook bevooroordeeld, " zei Yang. "In dit artikel hebben we geprobeerd te begrijpen hoe bevooroordeeld het is, en ook om een ​​methode voor te stellen om de verdeling in evenwicht te brengen."

Van de eigenschappen die worden beschermd door de Amerikaanse antidiscriminatiewetten, de onderzoekers hebben gekeken naar de drie kenmerken die kunnen worden afgebeeld:huidskleur, genderexpressie en leeftijd. MTurk-medewerkers werd gevraagd om elk kenmerk van elke persoon in een afbeelding te annoteren. Ze classificeerden huidskleur als licht, medium of donker; en leeftijd als kind (jonger dan 18), volwassene 18-40, volwassene 40-65 of volwassene ouder dan 65. Geslachtsclassificaties omvatten man, vrouwelijk en onzeker - een manier om mensen met verschillende genderexpressies op te nemen, en annoteer afbeeldingen waarin het geslacht niet kon worden waargenomen door visuele aanwijzingen (zoals veel afbeeldingen van baby's of duikers).

Een analyse van de annotaties toonde aan dat, vergelijkbaar met zoekresultaten, De inhoud van ImageNet weerspiegelt een aanzienlijke vooringenomenheid. Mensen geannoteerd als donkere huidskleur, vrouwen, en volwassenen ouder dan 40 waren ondervertegenwoordigd in de meeste categorieën.

Hoewel het annotatieproces kwaliteitscontroles omvatte en annotators vereiste om consensus te bereiken, uit bezorgdheid voor de mogelijke schade van verkeerde annotaties, de onderzoekers kozen ervoor om demografische annotaties voor individuele afbeeldingen niet vrij te geven. In plaats daarvan, ze ontwierpen een webinterface-tool waarmee gebruikers een reeks afbeeldingen kunnen verkrijgen die demografisch gebalanceerd zijn op een manier die de gebruiker specificeert. Bijvoorbeeld, de volledige verzameling afbeeldingen in de categorie "programmeur" kan ongeveer 90% mannen en 10% vrouwen bevatten, terwijl in de Verenigde Staten ongeveer 20% van de computerprogrammeurs vrouw is. Een onderzoeker zou de nieuwe tool kunnen gebruiken om een ​​reeks programmerafbeeldingen op te halen die 80% mannen en 20% vrouwen vertegenwoordigen - of een gelijke verdeling, afhankelijk van het doel van de onderzoeker.

"We willen niet zeggen wat de juiste manier is om de demografie in evenwicht te brengen, omdat het niet een heel eenvoudig probleem is, " zei Yang. "De verdeling kan in verschillende delen van de wereld anders zijn - de verdeling van huidskleuren in de VS is anders dan in landen in Azië, bijvoorbeeld. Dus laten we die vraag over aan onze gebruiker, en we bieden alleen een hulpmiddel om een ​​uitgebalanceerde subset van de afbeeldingen op te halen."

Het ImageNet-team werkt momenteel aan technische updates van de hardware en database, naast het implementeren van het filteren van de persoonscategorieën en de herbalanceringstool die in dit onderzoek is ontwikkeld. ImageNet zal binnenkort opnieuw worden uitgebracht met deze updates, en met een oproep om feedback van de onderzoeksgemeenschap voor computervisie.