In het licht van ernstige zorgen over desinformatie, sociale medianetwerken en nieuwsorganisaties gebruiken vaak factcheckers om het echte van het valse te scheiden. Maar factcheckers kunnen slechts een klein deel van de verhalen die online rondzwerven beoordelen.

Een nieuwe studie door MIT-onderzoekers suggereert een alternatieve benadering:Crowdsourced-nauwkeurigheidsoordelen van groepen normale lezers kunnen vrijwel net zo effectief zijn als het werk van professionele factcheckers.

"Een probleem met fact-checking is dat er gewoon veel te veel inhoud is voor professionele fact-checkers om te kunnen dekken, vooral binnen een redelijke termijn, " zegt Jennifer Allen, een doctoraat student aan de MIT Sloan School of Management en co-auteur van een nieuw gepubliceerd artikel waarin de studie wordt beschreven.

Maar de huidige studie het onderzoeken van meer dan 200 nieuwsberichten die de algoritmen van Facebook hadden gemarkeerd voor nader onderzoek, misschien een manier hebben gevonden om dat probleem aan te pakken, door relatief kleine, politiek evenwichtige groepen lekenlezers om de koppen en hoofdzinnen van nieuwsverhalen te evalueren.

"We vonden het bemoedigend, ", zegt Allen. "De gemiddelde beoordeling van een menigte van 10 tot 15 mensen correleerde zowel met de beoordelingen van de factcheckers als de factcheckers met elkaar correleerden. Dit helpt bij het schaalbaarheidsprobleem, omdat deze beoordelaars gewone mensen waren zonder training voor het controleren van feiten, en ze lezen gewoon de koppen en hoofdzinnen zonder de tijd te besteden aan onderzoek."

Dat betekent dat de crowdsourcing-methode breed en goedkoop kan worden ingezet. De studie schat dat de kosten om lezers nieuws op deze manier te laten beoordelen ongeveer $ 0,90 per verhaal bedragen.

"Er is niets dat het probleem van vals nieuws online oplost, " zegt David Rand, een professor aan MIT Sloan en senior co-auteur van de studie. "Maar we werken eraan om veelbelovende benaderingen toe te voegen aan de toolkit voor anti-misinformatie."

De krant, "Fact-checking opschalen met behulp van de wijsheid van menigten, " wordt vandaag gepubliceerd in wetenschappelijke vooruitgang . De co-auteurs zijn Allen; Antonio A. Arechar, een onderzoekswetenschapper bij het MIT Human Cooperation Lab; Gordon Pennycook, een assistent-professor gedragswetenschappen aan de Hill/Levene Schools of Business van de Universiteit van Regina; en Rand, wie is de Erwin H. Schell Professor en een professor in managementwetenschappen en hersen- en cognitieve wetenschappen aan het MIT, en directeur van MIT's Applied Cooperation Lab.

Een kritische massa lezers

Om de studie uit te voeren, de onderzoekers gebruikten 207 nieuwsartikelen die volgens een intern Facebook-algoritme moesten worden gecontroleerd, ofwel omdat er reden was om aan te nemen dat ze problematisch waren, ofwel simpelweg omdat ze op grote schaal werden gedeeld of over belangrijke onderwerpen zoals gezondheid gingen. Het experiment geïmplementeerd 1, 128 inwoners van de VS gebruiken het Mechanical Turk-platform van Amazon.

Die deelnemers kregen de kop en hoofdzin van 20 nieuwsverhalen en werden zeven vragen gesteld:in hoeverre was het verhaal "nauwkeurig, " "waar, " "betrouwbaar, " "betrouwbaar, " "doelstelling, " "onbevooroordeeld, " en "een gebeurtenis beschrijven die daadwerkelijk heeft plaatsgevonden" - om een ​​algehele nauwkeurigheidsscore voor elk nieuwsitem te genereren.

Tegelijkertijd, drie professionele factcheckers kregen alle 207 verhalen - met de vraag om de verhalen te evalueren na ze te hebben onderzocht. In lijn met andere onderzoeken naar feitencontrole, hoewel de beoordelingen van de factcheckers sterk met elkaar gecorreleerd waren, hun overeenkomst was verre van perfect. In ongeveer 49 procent van de gevallen alle drie de fact-checkers waren het eens over het juiste oordeel over de feitelijkheid van een verhaal; ongeveer 42 procent van de tijd, twee van de drie factcheckers waren het daarmee eens; en ongeveer 9 procent van de tijd, de drie factcheckers hadden elk verschillende beoordelingen.

Intrigerend, toen de vaste lezers die voor het onderzoek waren gerekruteerd, werden ingedeeld in groepen met hetzelfde aantal Democraten en Republikeinen, hun gemiddelde beoordelingen waren sterk gecorreleerd met de beoordelingen van de professionele factcheckers - en met ten minste een dubbelcijferig aantal betrokken lezers, de beoordelingen van het publiek correleerden even sterk met de factcheckers als de factcheckers met elkaar.

"Deze lezers waren niet getraind in het controleren van feiten, en ze lazen alleen de koppen en hoofdzinnen, en toch konden ze de prestaties van de factcheckers evenaren, ' zegt Allen.

Hoewel het aanvankelijk misschien verrassend lijkt dat een menigte van 12 tot 20 lezers de prestaties van professionele factcheckers zou kunnen evenaren, dit is weer een voorbeeld van een klassiek fenomeen:de wijsheid van menigten. Voor een breed scala aan toepassingen, Het is gebleken dat groepen leken de prestaties van expertoordelen evenaren of overtreffen. De huidige studie toont aan dat dit zelfs kan gebeuren in de sterk polariserende context van identificatie van verkeerde informatie.

De deelnemers aan het experiment deden ook een politieke kennistest en een test van hun neiging om analytisch te denken. Algemeen, de beoordelingen van mensen die beter geïnformeerd waren over burgerzaken en meer analytisch denken, waren nauwer in lijn met de factcheckers.

"Mensen die meer redeneerden en meer kennis hadden, waren het meer eens met de factcheckers, " Zegt Rand. "En dat was waar, ongeacht of ze Democraten of Republikeinen waren."

Participatiemechanismen

De wetenschappers zeggen dat de bevinding op veel manieren kan worden toegepast - en merken op dat sommige sociale media-giganten actief proberen om crowdsourcing te laten werken. Facebook heeft een programma, genaamd Community Review, waar leken worden ingehuurd om nieuwsinhoud te beoordelen; Twitter heeft zijn eigen project, Vogels kijken, lezers om input vragen over de waarheidsgetrouwheid van tweets. De wijsheid van menigten kan worden gebruikt om openbare labels op inhoud toe te passen, of om rangschikkingsalgoritmen te informeren en welke inhoud mensen in de eerste plaats te zien krijgen.

Om zeker te zijn, de auteurs merken op, elke organisatie die crowdsourcing gebruikt, moet een goed mechanisme vinden voor deelname van lezers. Als deelname voor iedereen openstaat, het is mogelijk dat het crowdsourcingproces op oneerlijke wijze wordt beïnvloed door partizanen.

"We hebben dit nog niet getest in een omgeving waar iedereen zich kan aanmelden, Allen merkt op. "Platforms hoeven niet per se te verwachten dat andere crowdsourcingstrategieën even positieve resultaten zouden opleveren."

Anderzijds, Rhand zegt, nieuws- en socialemedia-organisaties zouden manieren moeten vinden om voldoende grote groepen mensen nieuwsitems actief te laten evalueren, om de crowdsourcing te laten werken.

"De meeste mensen geven niet om politiek en geven niet genoeg om dingen te beïnvloeden, " Zegt Rand. "Maar de zorg is dat als je mensen elke inhoud laat beoordelen die ze willen, dan zijn de enige mensen die het doen degenen die het systeem willen spelen. Nog altijd, naar mij, een grotere zorg dan overspoeld worden door fanatici is het probleem dat niemand het zou doen. Het is een klassiek probleem van publieke goederen:de samenleving als geheel heeft baat bij het herkennen van verkeerde informatie, maar waarom zouden gebruikers de moeite nemen om tijd en moeite te investeren in het geven van beoordelingen?"