De technologie die de toonaangevende geautomatiseerde spraakherkenningssystemen van het land aandrijft, maakt twee keer zoveel fouten bij het interpreteren van woorden die worden gesproken door Afro-Amerikanen als bij het interpreteren van dezelfde woorden die worden gesproken door blanken, volgens een nieuwe studie door onderzoekers van Stanford Engineering.

Terwijl de studie zich uitsluitend richtte op verschillen tussen zwarte en blanke Amerikanen, soortgelijke problemen kunnen van invloed zijn op mensen die spreken met regionale en niet-Engelse accenten, concludeerden de onderzoekers.

Indien niet aangesproken, deze translationele onbalans kan ernstige gevolgen hebben voor de loopbaan en zelfs het leven van mensen. Veel bedrijven screenen sollicitanten nu met geautomatiseerde online interviews die gebruikmaken van spraakherkenning. Rechtbanken gebruiken de technologie om hoorzittingen te transcriberen. Voor mensen die hun handen niet kunnen gebruiken, Bovendien, spraakherkenning is cruciaal voor toegang tot computers.

De bevindingen, gepubliceerd op 23 maart in het tijdschrift Proceedings van de National Academy of Sciences , waren gebaseerd op tests van door Amazon ontwikkelde systemen, IBM, Google, Microsoft en Apple. De eerste vier bedrijven bieden tegen betaling online spraakherkenningsdiensten aan, en de onderzoekers voerden hun tests uit met behulp van die services. Voor de vijfde de onderzoekers bouwden een aangepaste iOS-applicatie die tests uitvoerde met de gratis spraakherkenningstechnologie van Apple. De tests zijn afgelopen voorjaar uitgevoerd, en de spraaktechnologieën kunnen sindsdien zijn bijgewerkt.

De onderzoekers konden niet vaststellen of de spraakherkenningstechnologieën van de bedrijven ook werden gebruikt door hun virtuele assistenten, zoals Siri in het geval van Apple en Alexa in het geval van Amazon, omdat de bedrijven niet onthullen of ze verschillende versies van hun technologieën gebruiken in verschillende productaanbiedingen.

"Maar je zou verwachten dat in de VS gevestigde bedrijven producten zouden bouwen die alle Amerikanen dienen, " zei hoofdauteur Allison Koenecke, een promovendus in computationele en wiskundige engineering die aan het werk samenwerkte met taalkundigen en computerwetenschappers. "Direct, het lijkt erop dat ze dat niet voor een heel deel van de bevolking doen."

Ongelijke foutenpercentages

Koenecke en haar collega's testten de spraakherkenningssystemen van elk bedrijf met meer dan 2, 000 spraakvoorbeelden van opgenomen interviews met Afro-Amerikanen en blanken. De zwarte spraakmonsters kwamen uit het Corpus of Regional African American Language, en de witte samples kwamen uit interviews uitgevoerd door Voices of California, met opgenomen interviews van inwoners van verschillende gemeenschappen in Californië.

Alle vijf de spraakherkenningstechnologieën hadden een foutpercentage dat bijna twee keer zo hoog was voor zwarten als voor blanken, zelfs wanneer de sprekers op geslacht en leeftijd gelijk waren en wanneer ze dezelfde woorden spraken. Gemiddeld, de systemen begrepen 35 procent van de woorden van zwarten verkeerd, maar slechts 19 procent van die van blanken.

Foutpercentages waren het hoogst voor Afro-Amerikaanse mannen, en de ongelijkheid was groter onder sprekers die meer gebruik maakten van Afro-Amerikaans Engels in de volkstaal.

De onderzoekers voerden ook aanvullende tests uit om vast te stellen hoe vaak de vijf spraakherkenningstechnologieën woorden zo drastisch verkeerd interpreteerden dat de transcripties praktisch nutteloos waren. Ze testten duizenden spraakvoorbeelden, gemiddeld 15 seconden lang, om te tellen hoe vaak de technologieën een drempel hebben overschreden om ten minste de helft van de woorden in elk monster te verknoeien. Dit onaanvaardbaar hoge foutenpercentage deed zich voor in meer dan 20 procent van de voorbeelden die door zwarten werden gesproken, tegenover minder dan 2 procent van de samples die door blanken werden gesproken.

Verborgen vooroordeel

De onderzoekers speculeren dat de verschillen die alle vijf technologieën gemeen hebben, voortkomen uit een gemeenschappelijke fout:de machine learning-systemen die worden gebruikt om spraakherkenningssystemen te trainen, zijn waarschijnlijk sterk afhankelijk van databases van het Engels zoals dat wordt gesproken door blanke Amerikanen. Een meer rechtvaardige benadering zou zijn om databases op te nemen die een grotere diversiteit aan accenten en dialecten van andere Engelssprekenden weerspiegelen.

In tegenstelling tot andere fabrikanten, die vaak door de wet of het gebruik worden vereist om uit te leggen wat er in hun producten gaat en hoe ze zouden moeten werken, de bedrijven die spraakherkenningssystemen aanbieden, hebben dergelijke verplichtingen niet.

Sharad Goel, een professor in computationele engineering aan Stanford die toezicht hield op het werk, zei dat de studie de noodzaak benadrukt om nieuwe technologieën zoals spraakherkenning te controleren op verborgen vooroordelen die mensen kunnen uitsluiten die al gemarginaliseerd zijn. Dergelijke audits zouden moeten worden uitgevoerd door onafhankelijke externe deskundigen, en zou veel tijd en werk vergen, maar ze zijn belangrijk om ervoor te zorgen dat deze technologie inclusief is.

"We kunnen er niet op rekenen dat bedrijven zichzelf reguleren, "Zei Goel. "Daar zijn ze niet op ingesteld. Ik kan me voorstellen dat sommigen zich vrijwillig zouden committeren aan onafhankelijke audits als er voldoende publieke druk is. Maar het kan ook nodig zijn dat overheidsinstanties meer toezicht opleggen. Mensen hebben het recht om te weten hoe goed de technologie die hun leven beïnvloedt, echt werkt."