science >> Wetenschap >  >> Elektronica

AI is nog niet slim genoeg om ons te redden van nepnieuws:Facebook-gebruikers (en hun vooringenomenheid) zijn de sleutel

Op zichzelf, menselijk oordeel kan subjectief en scheef in de richting van persoonlijke vooroordelen zijn.

De informatie die we elke dag online tegenkomen kan misleidend zijn, onvolledig of verzonnen.

Blootstelling aan "nepnieuws" op sociale mediaplatforms zoals Facebook en Twitter kan onze gedachten en beslissingen beïnvloeden. We hebben al gezien dat verkeerde informatie de verkiezingen in de Verenigde Staten verstoort.

Facebook-oprichter Mark Zuckerberg heeft herhaaldelijk kunstmatige intelligentie (AI) voorgesteld als de oplossing voor het nepnieuws-dilemma.

Echter, het probleem vereist waarschijnlijk een hoge mate van menselijke betrokkenheid, omdat veel experts het erover eens zijn dat AI-technologieën verder moeten worden verbeterd.

Ik en twee collega's hebben financiering ontvangen van Facebook om onafhankelijk onderzoek te doen naar een "human-in-the-loop" AI-aanpak die de kloof zou kunnen overbruggen.

Human-in-the-loop verwijst naar de betrokkenheid van mensen (gebruikers of moderators) om AI te ondersteunen bij het uitvoeren van zijn werk. Bijvoorbeeld, door trainingsgegevens te creëren of de beslissingen van AI handmatig te valideren.

Onze aanpak combineert het vermogen van AI om grote hoeveelheden gegevens te verwerken met het vermogen van mensen om digitale inhoud te begrijpen. Dit is een gerichte oplossing voor nepnieuws op Facebook, gezien zijn enorme schaal en subjectieve interpretatie.

De dataset die we aan het samenstellen zijn, kan worden gebruikt om AI te trainen. Maar we willen ook dat alle gebruikers van sociale media zich meer bewust zijn van hun eigen vooroordelen, als het gaat om wat ze nepnieuws noemen.

Mensen hebben vooroordelen, maar ook unieke kennis

Om nepnieuws uit te bannen, Facebook-medewerkers vragen om controversiële redactionele beslissingen te nemen is problematisch, zoals uit ons onderzoek bleek. Dit komt omdat de manier waarop mensen content waarnemen afhangt van hun culturele achtergrond, politieke ideeën, vooroordelen, en stereotypen.

Facebook heeft duizenden mensen in dienst voor het modereren van inhoud. Deze moderators besteden acht tot tien uur per dag aan het bekijken van expliciet en gewelddadig materiaal zoals pornografie, terrorisme, en onthoofdingen, om te beslissen welke inhoud acceptabel is voor gebruikers om te zien.

Beschouw ze als cyberconciërges die onze sociale media opschonen door ongepaste inhoud te verwijderen. Ze spelen een integrale rol bij het vormgeven van waar we mee omgaan.

Een vergelijkbare aanpak zou kunnen worden aangepast aan nepnieuws, door de moderators van Facebook te vragen welke artikelen moeten worden verwijderd en welke moeten worden toegestaan.

AI-systemen zouden dit op grote schaal automatisch kunnen doen door te leren wat nepnieuws is uit handmatig geannoteerde voorbeelden. Maar zelfs als AI 'verboden' inhoud kan detecteren, menselijke moderators zijn nodig om inhoud te markeren die controversieel of subjectief is.

Een beroemd voorbeeld is de afbeelding van Napalm Girl.

De Pulitzer Prize-winnende foto toont kinderen en soldaten die tijdens de oorlog in Vietnam ontsnappen aan een napalmbom. De afbeelding werd in 2016 op Facebook geplaatst en verwijderd omdat er een naakt negenjarig meisje op te zien was, in strijd met de officiële communitynormen van Facebook.

Aanzienlijk protest van de gemeenschap volgde, aangezien het iconische beeld een duidelijke historische waarde had, en Facebook stond de foto weer toe op zijn platform.

Het beste van hersens en bots gebruiken

In het kader van het verifiëren van informatie, menselijk oordeel kan subjectief en scheef zijn op basis van iemands achtergrond en impliciete vooringenomenheid.

In ons onderzoek streven we ernaar om meerdere "waarheidslabels" voor hetzelfde nieuwsitem te verzamelen van een paar duizend moderators. Deze labels geven het "fakeness"-niveau van een nieuwsartikel aan.

In plaats van simpelweg de meest populaire labels te verzamelen, we willen ook de achtergronden van moderators en hun specifieke oordelen vastleggen om dubbelzinnigheid en controverse in de reacties op te sporen en te verklaren.

We zullen de resultaten compileren om een ​​hoogwaardige dataset te genereren, die ons kunnen helpen bij het verklaren van gevallen met een hoge mate van onenigheid onder moderators.

Momenteel, Facebook-inhoud wordt als binair behandeld - het voldoet aan de normen of niet.

De dataset die we samenstellen kan worden gebruikt om AI te trainen om nepnieuws beter te identificeren door het te leren welk nieuws controversieel is en welk nieuws gewoon nep is. De gegevens kunnen ook helpen evalueren hoe effectief de huidige AI is bij de detectie van nepnieuws.

De macht aan het volk

Hoewel benchmarks voor het evalueren van AI-systemen die nepnieuws kunnen detecteren aanzienlijk zijn, wij willen een stap verder gaan.

In plaats van alleen AI of experts te vragen om beslissingen te nemen over welk nieuws nep is, we moeten gebruikers van sociale media leren hoe ze dergelijke items voor zichzelf kunnen identificeren. Wij denken dat een aanpak gericht op het bevorderen van de geloofwaardigheid van informatie mogelijk is.

In ons lopende onderzoek, we verzamelen een breed scala aan gebruikersreacties om geloofwaardige nieuwsinhoud te identificeren.

Hoewel dit ons kan helpen bij het bouwen van AI-trainingsprogramma's, het laat ons ook de ontwikkeling van menselijke moderatorvaardigheden bestuderen bij het herkennen van geloofwaardige inhoud, terwijl ze nepnieuwsidentificatietaken uitvoeren.

Dus, ons onderzoek kan helpen bij het ontwerpen van online taken of games die erop gericht zijn gebruikers van sociale media te trainen om betrouwbare informatie te herkennen.

andere wegen

Het probleem van nepnieuws wordt op verschillende manieren aangepakt op online platforms.

Het wordt vaak verwijderd door een bottom-up benadering, waar gebruikers ongepaste inhoud melden, die vervolgens wordt beoordeeld en verwijderd door de medewerkers van het platform.

De aanpak van Facebook is om onbetrouwbare inhoud te degraderen in plaats van deze te verwijderen.

In ieder geval, de noodzaak voor mensen om beslissingen te nemen over de geschiktheid van de inhoud blijft. Het werk van zowel gebruikers als moderators is cruciaal, aangezien mensen nodig zijn om richtlijnen te interpreteren en te beslissen over de waarde van digitale inhoud, vooral als het controversieel is.

Daarbij, ze moeten proberen verder te kijken dan culturele verschillen, vooroordelen en grenzen.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.