Nieuwe tools die kunnen worden gebruikt om automatisch misbruik op sociale media te detecteren en tegen te gaan, worden ontwikkeld door onderzoekers van de Universiteit van Sheffield.

Het onderzoek, onder leiding van professor Kalina Bontcheva van de afdeling Computerwetenschappen van de universiteit, ontwikkelt nieuwe methoden voor kunstmatige intelligentie (AI) en natuurlijke taalverwerking (NLP) die kunnen worden gebruikt om online misbruik en haatspraak op verantwoorde wijze aan te pakken.

Gelanceerd in samenwerking met Wendy Hui Kyong Chun van de Simon Fraser University in Canada, het project kijkt naar AI-methoden die momenteel worden gebruikt om online misbruik en haatspraak op twee gebieden op te sporen; de game-industrie en berichten gericht aan politici op sociale media.

Onderzoekers in het onderzoek zijn van plan hun bevindingen te gebruiken om nieuwe AI-algoritmen te ontwikkelen die effectief zijn, eerlijk en onbevooroordeeld. De systemen zijn contextbewust en respecteren taalverschillen binnen gemeenschappen op basis van ras, etniciteit, geslacht en seksualiteit.

Onderzoekers zullen de vooroordelen onderzoeken die zijn ingebed in de huidige contentmoderatiesystemen die vaak starre definities of bepalingen van grof taalgebruik gebruiken. Deze huidige systemen creëren vaak paradoxaal genoeg nieuwe vormen van discriminatie of vooringenomenheid op basis van identiteit, inclusief seks, geslacht, etniciteit, cultuur, religie, politieke overtuiging of anderen.

Het onderzoeksteam streeft ernaar deze effecten aan te pakken door meer contextbewuste, dynamische detectiesystemen.

Verder, het project wil gebruikers machtigen door de nieuwe tools open source te maken, zodat ze kunnen worden ingebed in nieuwe strategieën om online misbruik en haatzaaiende uitlatingen democratisch aan te pakken. Ze kunnen ook worden gebruikt als onderdeel van gemeenschapsgerichte zorg- en responsmaatregelen.

Professor Kalina Bontcheva zei:"Het niveau van misbruik en haatzaaiende uitlatingen online is de afgelopen jaren enorm toegenomen en dit heeft ertoe geleid dat regeringen en socialemediaplatforms moeite hebben om met de gevolgen om te gaan.

"Deze grote toename van online misbruik en haatzaaiende uitlatingen heeft tot publieke verontwaardiging geleid en mensen eisen dat regeringen en socialemediabedrijven meer doen om het probleem aan te pakken. maar er zijn momenteel geen effectieve of technische processen die het probleem op een verantwoorde of democratische manier kunnen aanpakken.

"We ontwikkelen nieuwe AI- en NLP-methoden om het probleem aan te pakken, terwijl we ook een substantieel opleidingsprogramma ontwikkelen voor academici en vroege onderzoekers om capaciteit en expertise op te bouwen op dit belangrijke onderzoeksgebied."

Het project, Verantwoordelijke AI voor inclusieve, Democratische samenlevingen:een interdisciplinaire benadering voor het opsporen en bestrijden van beledigend taalgebruik online, wordt geleid door de Universiteit van Sheffield in samenwerking met Simon Fraser University. Het wordt gefinancierd door UK Research and Innovation (UKRI) als een van de 10 UK-Canada-projecten ter ondersteuning van de verantwoorde ontwikkeling van AI, inclusief ervoor zorgen dat alle leden van de samenleving AI vertrouwen en ervan profiteren.