Online pesten, haat en opruiing nemen toe, en er zijn nieuwe benaderingen nodig om ze aan te pakken. Terwijl de Australische Senaat hoorzittingen houdt voor haar onderzoek naar cyberpesten, het zou een tweeledige benadering moeten overwegen om het probleem te bestrijden.

Eerst, de regering zou het voorbeeld van Duitsland moeten volgen bij het opleggen van financiële sancties aan grote socialemediabedrijven als ze er niet in slagen het volume van beledigende inhoud op hun platforms te verminderen.

Tweede, we moeten manieren ontwikkelen om de hoeveelheid beledigende inhoud die wordt geplaatst en verwijderd correct te identificeren en te meten om ervoor te zorgen dat bedrijven hieraan voldoen.

Gezien de hoeveelheid data op sociale media, kunstmatige intelligentie (AI) moet deel uitmaken van de mix bij het ondersteunen van regelgeving, maar we hebben begrip nodig van de beperkingen ervan.

De impact op slachtoffers

in 2015, De Australische advocaat Josh Bornstein was het slachtoffer van ernstig online misbruik door een man in de Verenigde Staten, die zich voordeed als Bornstein en in zijn naam een ​​racistisch artikel online zette. Bornstein bevond zich vervolgens aan de ontvangende kant van een spervuur ​​​​van haat van over de hele wereld.

Het incident was zeer verontrustend voor Bornstein, maar cyberhaat kan ook gevolgen hebben voor de samenleving als geheel. Handelend onder een dekmantel van anonimiteit, dezelfde man gebruikte een andere valse identiteit om zich voor te doen als een IS-aanhanger die opriep tot terreuraanslagen in Australië en andere westerse landen. In december, hij werd veroordeeld in de Verenigde Staten op beschuldiging van terrorisme.

Bornstein roept nu op tot zowel de regulering van socialemediabedrijven door overheden als rechtsmiddelen om actie door slachtoffers mogelijk te maken.

Duitsland als regelgevend model

Nieuwe wetgeving die onlangs in Duitsland is ingevoerd, vereist dat bedrijven duidelijke gevallen van haatzaaien binnen 24 uur verwijderen.

In antwoord, Facebook heeft 1, 200 medewerkers en contractanten om meldingen van misbruik door Duitse gebruikers effectiever te verwerken. Als het bedrijf het merendeel van dergelijke inhoud niet binnen de 24-uurslimiet verwijdert, regelgevers kunnen boetes opleggen tot € 50 miljoen (A $ 79 miljoen).

Deze wetten zijn niet perfect - binnen enkele maanden nadat ze van kracht zijn geworden, Duitsland overweegt al veranderingen om te voorkomen dat overmatige voorzichtigheid van socialemediabedrijven een huiveringwekkend effect heeft op de vrijheid van meningsuiting. Maar de Duitse aanpak geeft ons een beeld van hoe een sterke reactie van de staat op cyberpesten eruitziet.

Dit is slechts het begin van een dappere nieuwe wereld van technologieregulering. Wetten tegen cyberpesten kunnen niet worden gehandhaafd als we niet weten hoeveel misbruik online wordt gepost, en hoeveel misbruikplatforms verwijderen. We hebben tools nodig om dit te ondersteunen.

Gebruik maken van kunstmatige intelligentie

Bij het Online Hate Prevention Institute (OHPI), we hebben de afgelopen zes jaar zowel specifieke gevallen aangepakt - waaronder die van Bornstein - als gewerkt aan het probleem van meten met behulp van crowdsourcing en kunstmatige intelligentie-benaderingen van wereldklasse.

Anderen zien identificatie en meting ook als de volgende stap. Het Antisemitism Cyber ​​Monitoring System (ACMS) – een nieuwe tool om antisemitisme op sociale media te monitoren – is sinds oktober 2016 in ontwikkeling door het Israëlische Ministerie van Diaspora Zaken. Het zal later deze maand gelanceerd worden op het Global Forum for Combating Antisemitism 2018 in Jeruzalem.

De tool maakt gebruik van tekstanalyse – een vorm van kunstmatige intelligentie – en werkt door op sociale mediasites te zoeken naar woorden, zinnen en symbolen die zijn geïdentificeerd als indicatoren van mogelijke antisemitische inhoud. De tool beoordeelt vervolgens de inhoud en genereert interactieve grafieken.

Soortgelijke benaderingen zijn gebruikt door het World Jewish Congress en door Google's Conversation AI-project, maar de aanpak heeft een beperkte effectiviteit, vooral wanneer toegepast op grote sociale-mediasites.

Gegevens van een proefperiode van een maand met ACMS werden vrijgegeven voorafgaand aan de lancering van het systeem. Terwijl de software wordt gepromoot als een belangrijke stap voorwaarts in de strijd tegen cyberhaat, de gegevens zelf wijzen op ernstige methodologische en technologische beperkingen, waardoor het meer een afleiding vormt.

Beperkingen van de technologie

Een beperking die ACMS heeft, is het detecteren van misbruik dat de gecodeerde taal gebruikt, symbolen en eufemismen die steeds meer de voorkeur genieten van extreemrechts.

Een andere is dat ACMS alleen inhoud van Facebook en Twitter controleert. YouTube, die goed was voor 41% van het online antisemitisme dat in een eerder rapport werd geïdentificeerd, is niet inbegrepen. Het geautomatiseerde systeem controleert ook alleen de inhoud in het Engels, Arabisch, Frans en Duits.

Wat nog zorgwekkender is, is de bewering van het ministerie dat de steden met de meeste racistische inhoud Santiago (Chili), Dnipro (Oekraïne), en Boekarest (Roemenië). Deze steden hebben primaire talen waarvoor de software niet is geprogrammeerd om te verwerken, toch hebben ze op de een of andere manier beter gescoord dan steden waarvan de primaire talen de software wel verwerkt.

Van bijzonder belang voor Australië is een grafiek met de titel Places of Interest:Level of Antisemitism by Location, waarin Brisbane wordt weergegeven als de Engelssprekende stad met de hoogste rangorde. Dit resultaat is verklaard door een latere verduidelijking die suggereert dat het aantal een samensmelting is van wereldwijde likes, deelt en retweets die zich bezighouden met inhoud die oorspronkelijk vanuit Brisbane is gepost. De gegevens zijn daarom onderhevig aan een grote mate van willekeur op basis van welke inhoud toevallig viraal gaat.

Advocaten en datawetenschappers moeten samenwerken

Er is plaats voor op AI gebaseerde detectietools, maar hun beperkingen moeten worden begrepen. Tekstanalyse kan specifieke subsets van online haat identificeren, zoals hakenkruizen; taal gerelateerd aan Hitler, nazi's, gaskamers en ovens; en antisemitische thema's die prominent aanwezig zijn bij sommige extreemrechtse groepen. Maar ze zijn geen wondermiddel.

Verder gaan dan identificatie, we hebben zowel advocaten als datawetenschappers nodig om onze benadering van het reguleren van online ruimten te informeren. Nieuwe kunstmatige-intelligentietools moeten worden getoetst aan andere benaderingen, zoals crowdsourced gegevens van het publiek. En experts moeten de gegevens op juistheid beoordelen. We moeten profiteren van nieuwe technologie om reguleringsregimes te ondersteunen, terwijl een vorm van mislukte robo-censuur werd vermeden, vergelijkbaar met de robo-schuldproblemen die Centrelink teisterde.

Het onderzoek naar cyberpesten is een belangrijke stap, zolang het de oplossingen van morgen faciliteert, niet alleen de problemen van vandaag.

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees het originele artikel.