Kort na de schietpartij in de synagoge in Pittsburgh, Ik merkte dat het woord 'Joden' trending was op Twitter. Als onderzoeker en docent op het gebied van sociale media, Ik werd bezorgd dat het geweld zich online zou verspreiden, zoals het in het verleden is geweest.

De activiteit van de vermeende synagoge-schutter op de sociale-mediasite van Gab heeft de aandacht gevestigd op de rol van die site als een haatvol alternatief voor meer reguliere opties zoals Facebook en Twitter. Dat zijn enkele van de sociale-mediaplatforms die hebben beloofd haatzaaiende uitlatingen en online misbruik op hun sites te bestrijden.

Echter, terwijl ik online activiteiten verkende in de nasleep van de schietpartij, het werd me al snel duidelijk dat de problemen niet alleen op sites als Gab zitten. Liever, haatzaaiende uitlatingen zijn nog steeds gemakkelijk te vinden op reguliere sociale-mediasites, inclusief Twitter. Ik heb ook enkele aanvullende stappen geïdentificeerd die het bedrijf zou kunnen nemen.

Onvolledige reacties op nieuwe haattermen

Ik verwachtte dat er nieuwe bedreigingen online zouden verschijnen rond de schietpartij in Pittsburgh, en er waren tekenen dat er gebeurde. Bij een recente antisemitische aanval, Nation of Islam leider Louis Farrakhan gebruikte het woord "termiet" om het Joodse volk te beschrijven. Ik heb op deze term gezocht, wetende dat racisten de nieuwe smet waarschijnlijk als codewoord zouden gebruiken om detectie te voorkomen bij het uiten van antisemitisme.

Twitter had het account van Farrakhan niet opgeschort in de nasleep van weer een van zijn antisemitische uitspraken, en de zoekfunctie van Twitter suggereerde automatisch dat ik misschien op zoek was naar de uitdrukking 'termiet eet kogels'. Dat verandert het zoekvak van Twitter in een reclamebord met haatspraak.

Het bedrijf had, echter, blijkbaar enkele van zijn interne algoritmen aangepast, omdat er geen tweets met antisemitisch gebruik van het woord "termiet" in mijn zoekresultaten verschenen.

Berichten al jaren onopgemerkt

Terwijl ik doorging met mijn zoektocht naar haatzaaiende uitlatingen en oproepen tot geweld tegen Joodse mensen, Ik vond nog meer verontrustend bewijs van tekortkomingen in het contentmoderatiesysteem van Twitter. In de nasleep van de Amerikaanse verkiezingen van 2016 en de ontdekking dat Twitter werd gebruikt om de verkiezingen te beïnvloeden, het bedrijf zei dat het investeerde in machine learning om "het effect op gebruikers van nep, gecoördineerd, en geautomatiseerde accountactiviteit." Op basis van wat ik heb gevonden, deze systemen zijn niet eens heel eenvoudig geïdentificeerd, duidelijke en directe gewelddadige bedreigingen en haatzaaiende uitlatingen die al jaren op de site staan.

Toen ik een in 2014 geposte tweet meldde waarin werd gepleit voor het vermoorden van Joodse mensen "voor de lol, Twitter heeft het dezelfde dag nog verwijderd, maar de standaard geautomatiseerde Twitter-melding gaf geen verklaring waarom het al meer dan vier jaar onaangeroerd was gebleven.

Haat games het systeem

Toen ik hatelijke tweets bekeek die na al die jaren niet waren gepakt, Ik merkte dat velen geen tekst bevatten - de tweet was slechts een afbeelding. Zonder tekst, tweets zijn moeilijker voor gebruikers, en Twitter's eigen haat-identificerende algoritmen, vinden. Maar gebruikers die specifiek op Twitter op zoek zijn naar haatzaaiende uitlatingen, kunnen dan door de activiteit van de gevonden accounts scrollen, nog meer haatdragende berichten bekijken.

Twitter lijkt zich bewust te zijn van dit probleem:gebruikers die één tweet rapporteren, worden gevraagd om enkele andere tweets van hetzelfde account te bekijken en deze tegelijkertijd in te dienen. Dit leidt uiteindelijk tot het onderwerpen van wat meer inhoud om te beoordelen, maar laat nog steeds ruimte voor sommigen om onopgemerkt te blijven.

Hulp voor worstelende techreuzen

Toen ik tweets vond waarvan ik dacht dat ze in strijd waren met het Twitter-beleid, Ik heb ze gemeld. De meeste werden snel verwijderd, zelfs binnen een uur. Maar sommige duidelijk aanstootgevende berichten duurden enkele dagen voordat ze naar beneden kwamen. Er zijn nog een paar op tekst gebaseerde tweets die niet zijn verwijderd, ondanks het duidelijk schenden van het beleid van Twitter. Dat toont aan dat het inhoudsbeoordelingsproces van het bedrijf niet consistent is.

Het lijkt misschien dat Twitter steeds beter wordt in het verwijderen van schadelijke inhoud en dat het veel inhoud en memes verwijdert en accounts opschort, maar veel van die activiteiten hebben niets te maken met haatzaaien. Liever, Twitter heeft veel aandacht besteed aan wat het bedrijf "gecoördineerde manipulatie, " zoals bots en netwerken van nepprofielen die worden beheerd door propaganda-eenheden van de overheid.

Volgens mij, het bedrijf zou een belangrijke stap kunnen zetten om de hulp van het publiek in te roepen, evenals onderzoekers en experts zoals mijn collega's en ik, haatdragende inhoud te identificeren. Het is gebruikelijk dat technologiebedrijven – waaronder Twitter – betalingen aanbieden aan mensen die beveiligingsproblemen in hun software melden. Echter, het enige dat het bedrijf doet voor gebruikers die problematische inhoud melden, is het verzenden van een automatisch gegenereerd bericht met de tekst 'bedankt'. De ongelijkheid in de manier waarop Twitter codeproblemen en inhoudsrapporten behandelt, levert een boodschap op dat het bedrijf zijn technologie prioriteit geeft boven zijn gemeenschap.

In plaats daarvan, Twitter zou mensen kunnen betalen voor het melden van inhoud die de communityrichtlijnen schendt, het aanbieden van financiële beloningen voor het uitroeien van de sociale kwetsbaarheden in zijn systeem, net alsof die gebruikers het hielpen bij het identificeren van software- of hardwareproblemen. Een leidinggevende van Facebook uitte zijn bezorgdheid dat deze mogelijke oplossing averechts zou kunnen werken en meer online haat zou kunnen veroorzaken, maar ik geloof dat het beloningsprogramma zo kan worden gestructureerd en ontworpen dat dit probleem wordt vermeden.

Nog veel te doen

Er zijn nog meer problemen met Twitter die verder gaan dan wat direct op zijn eigen site wordt gepost. Mensen die haatdragende taal plaatsen, profiteren vaak van een belangrijk kenmerk van Twitter:de mogelijkheid van tweets om links naar andere internetinhoud op te nemen. Die functie staat centraal in hoe mensen Twitter gebruiken, het delen van inhoud van wederzijds belang van over het hele web. Maar het is ook een methode om haatzaaiende uitlatingen te verspreiden.

Bijvoorbeeld, een tweet kan er totaal onschuldig uitzien, zeggen "Dit is grappig" en het verstrekken van een link. Maar de link – naar inhoud die niet op de servers van Twitter is geplaatst – levert een haatdragend bericht op.

In aanvulling, Met het contentmoderatiesysteem van Twitter kunnen gebruikers alleen haatdragende en bedreigende tweets melden, maar geen accounts waarvan de profielen zelf soortgelijke berichten bevatten. Sommige van deze accounts - waaronder die met profielfoto's van Adolf Hitler, en namen en Twitter-handvatten die pleiten voor het verbranden van Joden - post zelfs geen tweets of volg geen andere Twitter-gebruikers. Soms bestaan ​​ze gewoon om gevonden te worden wanneer mensen naar woorden zoeken in hun profielen, opnieuw het zoekvak van Twitter veranderen in een bezorgsysteem. Deze accounts kunnen ook - hoewel het onmogelijk is om te weten - worden gebruikt om met anderen op Twitter te communiceren via een direct bericht, het platform gebruiken als een verborgen communicatiekanaal.

Zonder tweets of andere openbare activiteiten, het is voor gebruikers onmogelijk om deze accounts te rapporteren via het standaard content rapportagesysteem. Maar ze zijn net zo aanstootgevend en schadelijk - en moeten worden geëvalueerd en gemodereerd, net als andere inhoud op de site. Naarmate mensen die haat willen verspreiden, steeds geavanceerder worden, De communityrichtlijnen van Twitter - maar belangrijker nog de handhavingsinspanningen - moeten worden ingehaald, en volhouden.

Als sociale-mediasites willen voorkomen dat ze vectoren worden – of blijven – voor informatieoorlogvoering en plagen van hatelijke ideeën en memes, ze moeten veel actiever optreden en, op z'n minst, laat hun duizenden fulltime contentmoderatiemedewerkers zoeken zoals een professor deed in de loop van een weekend.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.