De dodelijke aanslag op twee moskeeën in Christchurch, Nieuw-Zeeland, waarbij 50 mensen werden gedood en vele anderen ernstig gewond, werd live gestreamd op Facebook door de man die ervan werd beschuldigd het te hebben uitgevoerd. Het werd vervolgens snel gedeeld op sociale mediaplatforms.

Versies van de video van de livestream-aanval bleven een zorgwekkende tijd online. Uit een rapport van de Guardian bleek dat één video zes uur op Facebook bleef en een andere drie uur op YouTube. Voor velen, de snelle en schijnbaar onstuitbare verspreiding van deze video typeert alles wat er mis is met sociale media:giftig, met haat gevulde inhoud die viraal gaat en door miljoenen wordt gezien.

Maar we moeten voorkomen dat we de grote platforms tot zondebok maken. Allemaal (twitter, Facebook, YouTube, Google, Snapchat) zijn aangemeld bij het #NoPlace4Hate-programma van de Europese Commissie. Ze zetten zich in om illegale haatdragende inhoud binnen 24 uur te verwijderen, een tijdsperiode die waarschijnlijk zal worden teruggebracht tot slechts één uur.

Afgezien van al het andere, ze zijn zich bewust van de reputatierisico's verbonden aan terrorisme en andere schadelijke inhoud (zoals pornografie, zelfmoord, pedofilie) en besteden steeds meer geld aan de verwijdering ervan. Binnen 24 uur na de aanslag in Christchurch, Facebook had 1,5 miljoen versies van de aanvalsvideo verboden, waarvan 1,2 miljoen helemaal niet meer werden geüpload.

Het monitoren van hatelijke inhoud is altijd moeilijk en zelfs de meest geavanceerde systemen missen er per ongeluk wat. Maar tijdens terroristische aanslagen worden de grote platforms geconfronteerd met bijzonder grote uitdagingen. Zoals onderzoek heeft uitgewezen, terroristische aanslagen zorgen voor enorme pieken in online haat, rapportagesystemen van platformen te overlopen. Veel van de mensen die deze inhoud uploaden en delen, weten ook hoe ze de platforms kunnen misleiden en hun bestaande controles kunnen omzeilen.

Dus wat kunnen platforms doen om extremistische en haatdragende inhoud onmiddellijk na terroristische aanslagen te verwijderen? Ik stel vier speciale maatregelen voor die nodig zijn om specifiek de toestroom van haat op korte termijn aan te pakken.

1. Pas de gevoeligheid van de tools voor haatdetectie aan

Alle tools voor haatdetectie hebben een foutenmarge. De ontwerpers moeten beslissen met hoeveel valse negatieven en valse positieven ze tevreden zijn. Valse negatieven zijn stukjes inhoud die online zijn toegestaan, ook al zijn ze hatelijk, en valse positieven zijn stukjes inhoud die worden geblokkeerd, ook al zijn ze niet-haatdragend. Er is altijd een afweging tussen de twee bij het implementeren van een haatdetectiesysteem.

De enige manier om er echt voor te zorgen dat er geen haatdragende inhoud online gaat, is door te verbieden dat alle inhoud wordt geüpload - maar dit zou een vergissing zijn. Het is veel beter om de gevoeligheid van de algoritmen aan te passen, zodat mensen inhoud mogen delen, maar platforms vangen veel meer van de hatelijke dingen op.

2. Schakel eenvoudigere verwijderingen in

Hatelijke inhoud die wel op de grote platforms terechtkomt, zoals Twitter en Facebook, kunnen worden gemarkeerd door gebruikers. Het wordt vervolgens verzonden voor handmatige beoordeling door een inhoudsmoderator, die het controleert met behulp van vooraf gedefinieerde richtlijnen. Contentmoderatie is een fundamenteel moeilijke zaak, en de platforms streven ernaar om onnauwkeurige beoordelingen te minimaliseren. Vaak is dit met behulp van de "stok":volgens sommige onderzoeksjournalisten, moderators die namens Facebook werken, lopen het risico hun baan te verliezen, tenzij ze hoge nauwkeurigheidsscores voor moderatie behouden.

Tijdens aanvallen, platforms zouden speciale procedures kunnen invoeren zodat het personeel snel door de inhoud kan werken zonder bang te hoeven zijn voor een lage prestatie-evaluatie. Ze kunnen ook tijdelijke quarantaines invoeren, zodat inhoud wordt gemarkeerd voor onmiddellijke verwijdering, maar op een later tijdstip opnieuw wordt onderzocht.

3. Beperk het vermogen van gebruikers om te delen

Delen is een fundamenteel onderdeel van sociale media, en platforms stimuleren actief delen, zowel op hun sites (wat cruciaal is voor hun bedrijfsmodellen) als tussen hen, omdat het betekent dat geen van hen iets mist als er iets viraal gaat. Maar gemakkelijk delen brengt ook risico's met zich mee:onderzoek toont aan dat extreme en hatelijke inhoud wordt geïmporteerd van extreemrechtse nichesites en in de mainstream wordt gedumpt, waar het zich snel kan verspreiden naar een groot publiek. En tijdens aanvallen betekent dit dat alles wat voorbij de haatdetectiesoftware van één platform komt, snel op alle platforms kan worden gedeeld.

Platforms moeten het aantal keren dat inhoud kan worden gedeeld binnen hun site beperken en mogelijk delen tussen sites verbieden. Deze tactiek is al overgenomen door WhatsApp, die nu het aantal keren dat inhoud kan worden gedeeld, beperkt tot slechts vijf.

4. Maak gedeelde databases met inhoud

Alle grote platforms hebben zeer vergelijkbare richtlijnen over wat 'haat' is en zullen proberen om na aanvallen grotendeels dezelfde inhoud te verwijderen. Het creëren van een gedeelde database met hatelijke inhoud zou ervoor zorgen dat inhoud die van de ene site wordt verwijderd, automatisch van een andere wordt verbannen. Dit zou niet alleen onnodige duplicatie voorkomen, maar de platforms ook in staat stellen om snel middelen te besteden aan de echt uitdagende inhoud die moeilijk te detecteren is.

Het verwijderen van haatdragende inhoud moet worden gezien als een sectorbrede inspanning en niet als een probleem waarmee elk platform afzonderlijk wordt geconfronteerd. Gedeelde databases zoals deze bestaan ​​ook in beperkte mate, maar de inspanningen moeten enorm worden opgevoerd en hun reikwijdte moet worden vergroot.

Op de lange termijn, platforms moeten blijven investeren in contentmoderatie en geavanceerde systemen ontwikkelen die menselijke controles integreren met machine learning. Maar er is ook dringend behoefte aan speciale maatregelen om de kortdurende toestroom van haat na terroristische aanslagen aan te pakken.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.