Schadelijke COVID-19 online-inhoud, inclusief racistische inhoud, desinformatie en desinformatie - gedijt en verspreidt zich online door de moderatie-inspanningen van individuele sociale-mediaplatforms te omzeilen, volgens nieuw onderzoek gepubliceerd in het tijdschrift Wetenschappelijke rapporten . Door online haatclusters in kaart te brengen op zes grote socialemediaplatforms, onderzoekers van de George Washington University laten zien hoe kwaadaardige inhoud gebruikmaakt van paden tussen platforms, benadrukt de noodzaak voor sociale-mediabedrijven om hun beleid voor contentmoderatie te heroverwegen en aan te passen.

Onder leiding van Neil Johnson, hoogleraar natuurkunde aan GW, het onderzoeksteam probeerde te begrijpen hoe en waarom kwaadaardige inhoud zo goed gedijt online ondanks aanzienlijke inspanningen voor moderatie, en hoe het kan worden gestopt. Het team gebruikte een combinatie van machine learning en netwerkdatawetenschap om te onderzoeken hoe online haatgemeenschappen COVID-19 als wapen aanscherpten en actuele gebeurtenissen gebruikten om nieuwe volgers aan te trekken.

"Tot nu, het vertragen van de verspreiding van kwaadaardige inhoud online was als het spelen van een spelletje whack-a-mol, omdat er geen kaart van het online haat-multiversum bestond, "Johnson, die tevens onderzoeker is bij het GW Institute for Data, Democratie &Politiek, zei. "Je kunt geen veldslag winnen als je geen kaart van het slagveld hebt. In onze studie, we hebben een unieke kaart van dit slagveld gemaakt. Of je nu kijkt naar traditionele haatonderwerpen, zoals antisemitisme of anti-Aziatisch racisme rond COVID-19, de slagveldkaart is hetzelfde. En het is deze kaart van links binnen en tussen platforms die het ontbrekende stukje is om te begrijpen hoe we de verspreiding van online haatinhoud kunnen vertragen of stoppen."

De onderzoekers begonnen met het in kaart brengen van hoe haatclusters met elkaar in verbinding staan ​​om hun verhalen over sociale-mediaplatforms te verspreiden. Focus op zes platforms:Facebook, VKontakte, Instagram, Kletsen, Telegram en 4Chan - het team begon met een bepaald haatcluster en keek naar buiten om een ​​tweede cluster te vinden dat sterk verbonden was met het origineel. Ze ontdekten dat de sterkste verbindingen VKontakte naar Telegram waren (40,83% van de platformonafhankelijke verbindingen), Telegram naar 4Chan (11,09%), en Gab in 4Chan (10,90%).

De onderzoekers richtten hun aandacht vervolgens op het identificeren van kwaadaardige inhoud met betrekking tot COVID-19. Ze ontdekten dat de samenhang van de COVID-19-discussie snel toenam in de vroege fasen van de pandemie, met haatclusters die verhalen vormen en samenhangen rond COVID-19-onderwerpen en verkeerde informatie. Om moderatie-inspanningen door sociale-mediaplatforms te ondermijnen, groepen die haatberichten stuurden, gebruikten verschillende aanpassingsstrategieën om zich te hergroeperen op andere platforms en/of opnieuw een platform te betreden, vonden de onderzoekers. Bijvoorbeeld, clusters veranderen vaak hun naam om detectie door de algoritmen van moderators te voorkomen, zoals vaccin tegen va$$ine. evenzo, antisemitische en anti-LHBTQ-clusters voegen eenvoudig strings van enen of A's toe voor hun naam.

"Omdat het aantal onafhankelijke social media platforms groeit, het is zeer waarschijnlijk dat deze haatgenererende clusters hun onderlinge verbindingen via nieuwe verbindingen zullen versterken en uitbreiden, en zal waarschijnlijk nieuwe platforms exploiteren die buiten het bereik van de jurisdicties van de VS en andere westerse landen liggen." Johnson zei. "De kans dat alle sociale-mediaplatforms wereldwijd samenwerken om dit op te lossen, is erg klein. Echter, onze wiskundige analyse identificeert strategieën die platforms als groep kunnen gebruiken om online haatinhoud effectief te vertragen of te blokkeren."

Op basis van hun bevindingen, het team stelt verschillende manieren voor waarop sociale-mediaplatforms de verspreiding van kwaadaardige inhoud kunnen vertragen:

• Verleng kunstmatig de paden die kwaadaardige inhoud moet nemen tussen clusters, de kans op detectie door moderators vergroten en de verspreiding van tijdgevoelig materiaal vertragen, zoals bewapende COVID-19-desinformatie en gewelddadige inhoud.
• Bepaal de grootte van het draagvlak van een online haatcluster door een limiet op de grootte van clusters te plaatsen.
• Introduceer niet-kwaadaardige, mainstream inhoud om de focus van een cluster effectief te verwateren.

"Onze studie toont een overeenkomst aan tussen de verspreiding van online haat en de verspreiding van een virus, " Yonatan Lupu, een universitair hoofddocent politieke wetenschappen bij GW en co-auteur van het papier, zei. "Individuele sociale-mediaplatforms hebben moeite gehad om de verspreiding van online haat te beheersen, dat weerspiegelt de moeilijkheid die individuele landen over de hele wereld hebben gehad bij het stoppen van de verspreiding van het COVID-19-virus."

Vooruit gaan, Johnson en zijn team gebruiken hun kaart en de wiskundige modellering ervan al om andere vormen van kwaadaardige inhoud te analyseren, waaronder de bewapening van COVID-19-vaccins waarin bepaalde landen proberen het reguliere sentiment te manipuleren voor nationalistische winsten. Ze onderzoeken ook in hoeverre afzonderlijke actoren, inclusief buitenlandse regeringen, kan in deze ruimte een meer invloedrijke of controlerende rol spelen dan andere.