Onderzoekers van Caltech hebben aangetoond dat algoritmen voor machinaal leren online sociale-mediagesprekken kunnen volgen terwijl ze zich ontwikkelen, wat op een dag zou kunnen leiden tot een effectieve en geautomatiseerde manier om online trollen te herkennen.

Het project verenigt de laboratoria van kunstmatige intelligentie (AI) onderzoeker Anima Anandkumar, Bren hoogleraar informatica en wiskundige wetenschappen, en Michael Alvarez, hoogleraar politieke wetenschappen. Hun werk werd op 14 december gepresenteerd tijdens de AI for Social Good workshop op de 2019 Conference on Neural Information Processing Systems in Vancouver, Canada. Hun onderzoeksteam omvat Anqi Liu, postdoctoraal wetenschapper; Maya Srikanth, een junior bij Caltech; en Nicholas Adams-Cohen (MS '16, doctoraat '19) van de Stanford-universiteit.

"Dit is een van de dingen die ik zo leuk vind aan Caltech:het vermogen om grenzen te overbruggen, het ontwikkelen van synergieën tussen sociale wetenschappen en, in dit geval, computertechnologie, ' zegt Allvarez.

Preventie van online intimidatie vereist een snelle detectie van aanstootgevende, intimiderend, en negatieve posts op sociale media, wat op zijn beurt het monitoren van online interacties vereist. De huidige methoden om dergelijke sociale-mediagegevens te verkrijgen, zijn ofwel volledig geautomatiseerd en niet interpreteerbaar, ofwel berusten op een statische reeks trefwoorden, die snel achterhaald kunnen zijn. Geen van beide methoden is erg effectief, volgens Srikanth.

"Het is niet schaalbaar om mensen dit werk met de hand te laten doen, en die mensen zijn mogelijk bevooroordeeld, "zegt ze. "Aan de andere kant, zoeken op trefwoord lijdt onder de snelheid waarmee online conversaties zich ontwikkelen. Nieuwe termen duiken op en oude termen veranderen van betekenis, dus een trefwoord dat de ene dag oprecht werd gebruikt, kan de volgende dag sarcastisch worden bedoeld."

In plaats daarvan, het team gebruikte een GloVe-model (Global Vectors for Word Representation) om nieuwe en relevante trefwoorden te ontdekken. GloVe is een woordinbeddingsmodel, wat betekent dat het woorden in een vectorruimte vertegenwoordigt, waarbij de "afstand" tussen twee woorden een maat is voor hun taalkundige of semantische overeenkomst. Beginnend met één zoekwoord, dit model kan worden gebruikt om andere te vinden die nauw verwant zijn aan dat woord om clusters van relevante termen te onthullen die daadwerkelijk in gebruik zijn. Bijvoorbeeld, zoeken op Twitter naar gebruik van "MeToo" in gesprekken leverde clusters van gerelateerde hashtags op zoals "SupportSurvivors, " "Ik ben met haar, " en "NotSilent." Deze aanpak geeft onderzoekers een dynamische en steeds evoluerende trefwoordenset om te zoeken.

Maar het is niet voldoende om alleen te weten of een bepaald gesprek verband houdt met het onderwerp van interesse; context is belangrijk. Daarom, GloVe laat zien in hoeverre bepaalde zoekwoorden gerelateerd zijn, input leveren over hoe ze worden gebruikt. Bijvoorbeeld, in een online Reddit-forum gewijd aan vrouwenhaat, het woord "vrouwelijk" werd gebruikt in nauwe samenhang met de woorden "seksueel, " " negatief, " en "gemeenschap." In Twitter-berichten over de #MeToo-beweging, het woord "vrouwelijk" werd eerder geassocieerd met de termen "bedrijven, " "wens, ' en 'slachtoffers'.

Het project was een proof-of-concept dat op een dag sociale-mediaplatforms een krachtiger instrument zou geven om online intimidatie te herkennen. Anandkumars interesse in het onderwerp werd versterkt door haar betrokkenheid bij de campagne om de stenonaam van de Neural Information Processing Systems-conferentie te veranderen van het oorspronkelijke acroniem, "NIP, " naar "NeurIPS".

"Het veld van AI-onderzoek wordt inclusiever, maar er zijn altijd mensen die weerstand bieden aan verandering, " zegt Anandkumar, die in 2018 het doelwit werd van intimidatie en bedreigingen online vanwege haar succesvolle poging om over te schakelen naar een acroniem zonder potentieel aanstootgevende connotaties. "Het was een eye-opening ervaring over hoe lelijk trollen kan worden. Hopelijk, de tools die we nu ontwikkelen, zullen in de toekomst helpen bij het bestrijden van allerlei vormen van intimidatie."

Hun studie is getiteld "Finding Social Media Trolls:Dynamic Keyword Selection Methods for snel evoluerende online debatten."