Terwijl families in Christchurch hun dierbaren begraven na de terroristische aanslag van vrijdag, wereldwijde aandacht gaat nu naar het voorkomen dat zoiets ooit nog eens gebeurt.

Vooral, de rol die sociale media speelden bij het uitzenden van livebeelden en het vergroten van het bereik ervan wordt onder de loep genomen. Facebook en YouTube worden streng onder de loep genomen.

De Nieuw-Zeelandse premier Jacinta Ardern heeft naar verluidt contact gehad met Facebook-managers om aan te dringen op het feit dat de beelden niet beschikbaar zouden moeten zijn voor weergave. De Australische premier Scott Morrison heeft opgeroepen tot een moratorium op amateur-livestreamingdiensten.

Maar buiten deze onmiddellijke reacties, dit verschrikkelijke incident biedt een kans voor hervormingen op langere termijn. Het is tijd dat sociale mediaplatforms meer open zijn over hoe livestreaming werkt, hoe het wordt gemodereerd, en wat er moet gebeuren als of wanneer de regels niet werken.

Toenemende controle

Met de vermeende dader die blijkbaar onder de radar vloog voorafgaand aan dit incident in Christchurch, onze gezamenlijke focus ligt nu op de online radicalisering van jonge mannen.

Als onderdeel daarvan, online platforms krijgen steeds meer kritiek en Facebook en YouTube hebben kritiek gekregen.

Nadat de originele livestream op Facebook was verspreid, YouTube werd een locatie voor het opnieuw uploaden en verspreiden van de opgenomen beelden.

Beide platforms hebben openbare verklaringen afgelegd over hun inspanningen tot matiging.

YouTube wees op de uitdagingen van het omgaan met een "ongekend aantal" uploads.

Hoewel is gemeld dat minder dan 4000 mensen de eerste stream op Facebook hebben gezien, Facebook zei:"In de eerste 24 uur hebben we wereldwijd 1,5 miljoen video's van de aanval verwijderd, waarvan er meer dan 1,2 miljoen werden geblokkeerd bij het uploaden […]"

Vooral focussen op live-streaming is wat summier. Hoewel de schutter aanvankelijk zijn eigen beelden streamde, de grotere uitdaging om de video te controleren, heeft grotendeels te maken met twee problemen:

1. hoe lang het beschikbaar was op het Facebook-platform voordat het werd verwijderd
2. de moderatie van "mirror" videopublicatie door mensen die ervoor hadden gekozen om te downloaden, bewerking, en de video opnieuw uploaden voor hun eigen doeleinden.

Deze problemen illustreren de zwakke punten van het bestaande beleid en praktijken voor contentmoderatie.

Geen gemakkelijke taak

Contentmoderatie is een complexe en niet benijdenswaardige verantwoordelijkheid. Van platforms zoals Facebook en YouTube wordt verwacht dat ze de deugden van vrije meningsuiting en nieuwswaardigheid in evenwicht brengen met sociaal-culturele normen en persoonlijke verlangens, evenals de lokale regelgevende regimes van de landen waarin ze actief zijn.

Wanneer platforms deze verantwoordelijkheid slecht uitvoeren (of, er absoluut afstand van doen) geven ze de taak door aan anderen, zoals de Nieuw-Zeelandse internetproviders die de toegang blokkeerden tot websites die de beelden van de schutter opnieuw verspreidden.

Mensen mogen redelijkerwijs verwachten dat platforms zoals Facebook en YouTube grondige controle hebben over wat er op hun sites wordt geüpload. Echter, de enorme gebruikersbasis van de bedrijven betekent dat ze vaak een evenwicht moeten vinden tussen de toepassing van geautomatiseerde, algoritmische systemen voor contentmoderatie (zoals Microsoft's PhotoDNA, en YouTube's ContentID) met teams van menselijke moderators.

Uit onderzoeksrapporten weten we dat de moderatieteams op platforms als Facebook en YouTube bijzonder uitdagend werk hebben. Ze lijken een relatief hoog personeelsverloop te hebben dat snel opgebrand raakt door zware werkdruk terwijl ze de slechtste inhoud op internet modereren. Ze worden ondersteund met slechts schamele lonen, en wat zou kunnen worden gezien als ontoereikende geestelijke gezondheidszorg.

En hoewel sommige algoritmische systemen op grote schaal effectief kunnen zijn, ze kunnen ook worden ondermijnd door competente gebruikers die aspecten van hun methodologie begrijpen. Als je ooit een video op YouTube hebt gevonden waarin de kleuren vervormd zijn, de audioweergave loopt een beetje niet synchroon, of de afbeelding is sterk ingezoomd en bijgesneden, je hebt waarschijnlijk iemands poging gezien om ContentID-algoritmen te omzeilen.

Voor online platforms, de reactie op terreuraanslagen wordt verder bemoeilijkt door het moeilijke evenwicht dat ze moeten vinden tussen hun wens om gebruikers te beschermen tegen onnodige of afschuwelijke beelden en hun toewijding om mensen te informeren die nieuws zoeken via hun platform.

We moeten ook de andere manieren erkennen waarop livestreaming in het moderne leven mogelijk is. Livestreaming is een lucratieve niche-entertainmentindustrie, met duizenden onschuldige gebruikers die hobby's met vrienden uitzenden, van bordspellen tot mukbang (sociaal eten), naar videogames. Livestreaming is belangrijk voor activisten in autoritaire landen, waardoor ze ooggetuigenbeelden van misdaden kunnen delen, en machtsverhoudingen verschuiven. Een verbod op livestreaming zou veel van deze activiteit voorkomen.

We hebben een nieuwe aanpak nodig

De uitdagingen van Facebook en YouTube bij het aanpakken van het probleem van livestreamed haatmisdrijven vertellen ons iets belangrijks. We hebben een meer open, transparante benadering van moderatie. Platforms moeten openlijk praten over hoe dit werk wordt gedaan, en bereid zijn om feedback van onze regeringen en de samenleving in bredere zin te verwerken.

Een goede plek om te beginnen zijn de Santa Clara-principes, oorspronkelijk gegenereerd op basis van een inhoudsmoderatieconferentie in februari 2018 en bijgewerkt in mei 2018. Deze bieden een solide basis voor hervorming, waarin staat:

• bedrijven moeten het aantal verwijderde berichten en accounts die permanent of tijdelijk zijn opgeschort publiceren vanwege schendingen van hun inhoudsrichtlijnen
• bedrijven moeten elke gebruiker van wie de inhoud is verwijderd of het account is opgeschort, op de hoogte stellen van de reden voor de verwijdering of opschorting
• bedrijven moeten een zinvolle mogelijkheid bieden om tijdig in beroep te gaan tegen verwijdering van inhoud of opschorting van accounts.

Een meer maatschappelijk verantwoorde benadering van de rol van platforms als moderators van het publieke discours vereist een verschuiving van de black-box-geheimhouding waaraan platforms gewend zijn - en een verschuiving naar meer diepgaande publieke discussies over contentmoderatie.

Uiteindelijk, grotere transparantie kan een minder reactief beleidslandschap vergemakkelijken, waar zowel het openbare beleid als de opinie een beter begrip hebben van de complexiteit van het beheer van nieuwe en innovatieve communicatietechnologieën.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.