Een systeem gemaakt door MIT-onderzoekers zou kunnen worden gebruikt om feitelijke inconsistenties in Wikipedia-artikelen automatisch bij te werken, het verminderen van de tijd en moeite die wordt besteed aan menselijke redacteuren die de taak nu handmatig uitvoeren.

Wikipedia bevat miljoenen artikelen die voortdurend moeten worden bewerkt om nieuwe informatie weer te geven. Het kan gaan om artikeluitbreidingen, grote herschrijvingen, of meer routinematige wijzigingen zoals het bijwerken van nummers, datums, namen, en locaties. Momenteel, mensen over de hele wereld bieden hun tijd aan om deze bewerkingen uit te voeren.

In een paper dat wordt gepresenteerd op de AAAI-conferentie over kunstmatige intelligentie, de onderzoekers beschrijven een tekstgenererend systeem dat specifieke informatie in relevante Wikipedia-zinnen lokaliseert en vervangt, terwijl de taal vergelijkbaar blijft met hoe mensen schrijven en bewerken.

Het idee is dat mensen in een interface een ongestructureerde zin met bijgewerkte informatie zouden typen, zonder je zorgen te hoeven maken over stijl of grammatica. Het systeem zou dan Wikipedia doorzoeken, zoek de juiste pagina en verouderde zin, en herschrijf het op een menselijke manier. In de toekomst, zeggen de onderzoekers, er is potentieel om een ​​volledig geautomatiseerd systeem te bouwen dat de nieuwste informatie van het internet identificeert en gebruikt om herschreven zinnen te produceren in overeenkomstige Wikipedia-artikelen die bijgewerkte informatie weergeven.

"Er zijn constant zoveel updates nodig voor Wikipedia-artikelen. Het zou nuttig zijn om exacte delen van de artikelen automatisch aan te passen, met weinig tot geen menselijke tussenkomst, " zegt Darsh Shah, een doctoraat student in het Computer Science and Artificial Intelligence Laboratory (CSAIL) en een van de hoofdauteurs. "In plaats van honderden mensen die werken aan het aanpassen van elk Wikipedia-artikel, dan heb je er maar een paar nodig, omdat het model helpt of het automatisch doet. Dat biedt enorme efficiëntieverbeteringen."

Er zijn veel andere bots die automatische Wikipedia-bewerkingen uitvoeren. Typisch, die werken aan het verminderen van vandalisme of het neerzetten van nauw gedefinieerde informatie in vooraf gedefinieerde sjablonen, zegt Sjah. Het model van de onderzoekers, hij zegt, lost een moeilijker kunstmatige-intelligentieprobleem op:gegeven een nieuw stuk ongestructureerde informatie, het model past de zin automatisch aan op een menselijke manier. "De andere [bot]-taken zijn meer op regels gebaseerd, terwijl dit een taak is die over tegenstrijdige delen in twee zinnen moet redeneren en een samenhangend stuk tekst moet genereren, " hij zegt.

Het systeem kan ook worden gebruikt voor andere tekstgenererende toepassingen, zegt co-lead auteur en CSAIL-afgestudeerde student Tal Schuster. In hun krant de onderzoekers gebruikten het ook om automatisch zinnen te synthetiseren in een populaire dataset voor feitencontrole die vooroordelen hielp verminderen, zonder handmatig aanvullende gegevens te verzamelen. "Op deze manier, de prestaties verbeteren voor automatische feitenverificatiemodellen die trainen op de dataset voor, zeggen, detectie van nepnieuws, ', zegt Schuster.

Shah en Schuster werkten aan het papier met hun academische adviseur Regina Barzilay, de Delta Electronics hoogleraar Elektrotechniek en Informatica en een hoogleraar in CSAIL.

Neutraliteit maskeren en fuseren

Achter het systeem zit behoorlijk wat tekstgenererende vindingrijkheid in het identificeren van tegenstrijdige informatie tussen, en dan samensmelten, twee aparte zinnen. Het neemt als invoer een "verouderde" zin uit een Wikipedia-artikel, plus een aparte "claim"-zin die de bijgewerkte en tegenstrijdige informatie bevat. Het systeem moet automatisch bepaalde woorden in de verouderde zin verwijderen en behouden, op basis van informatie in de claim, om feiten bij te werken, maar stijl en grammatica te behouden. Dat is een gemakkelijke taak voor mensen, maar een nieuwe in machine learning.

Bijvoorbeeld, zeggen dat deze zin (vetgedrukt) moet worden bijgewerkt:"Fonds A beschouwt 28 van hun 42 minderheidsbelangen in operationeel actieve bedrijven als van bijzonder belang voor de groep." De claimzin met bijgewerkte informatie kan luiden:"Fonds A beschouwt 23 van de 43 minderheidsbelangen als significant." Het systeem zou de relevante Wikipedia-tekst voor "Fonds A, " op basis van de claim. Het verwijdert dan automatisch de verouderde nummers (28 en 42) en vervangt ze door de nieuwe nummers (23 en 43), terwijl de zin precies hetzelfde en grammaticaal correct blijft. (In hun werk de onderzoekers lieten het systeem draaien op een dataset van specifieke Wikipedia-zinnen, niet op alle Wikipedia-pagina's.)

Het systeem is getraind op een populaire dataset die zinnenparen bevat, waarin de ene zin een bewering is en de andere een relevante Wikipedia-zin. Elk paar wordt op drie manieren gelabeld:"mee eens, " betekent dat de zinnen overeenkomende feitelijke informatie bevatten; "niet mee eens, " wat betekent dat ze tegenstrijdige informatie bevatten; of "neutraal, " waar er niet genoeg informatie is voor beide labels. Het systeem moet ervoor zorgen dat alle onenigheidsparen het eens zijn, door de verouderde zin aan te passen aan de claim. Dat vereist het gebruik van twee afzonderlijke modellen om de gewenste output te produceren.

Het eerste model is een fact-checking classifier - vooraf getraind om elk zinspaar te labelen als "mee eens, " "het oneens zijn, " of "neutraal"—dat zich richt op het niet eens zijn met paren. In combinatie met de classifier wordt een aangepaste "neutraliteitsmasker"-module uitgevoerd die identificeert welke woorden in de verouderde zin de bewering tegenspreken. De module verwijdert het minimale aantal woorden dat nodig is om "maximale neutraliteit" - wat betekent dat het paar als neutraal kan worden bestempeld. Dat is het uitgangspunt:hoewel de zinnen het niet eens zijn, ze bevatten geen duidelijk tegenstrijdige informatie meer. De module creëert een binair "masker" over de verouderde zin, waarbij een 0 wordt geplaatst over woorden die hoogstwaarschijnlijk moeten worden verwijderd, terwijl een 1 bovenop keepers gaat.

Na het maskeren, een nieuw raamwerk met twee encoders en decoders wordt gebruikt om de uiteindelijke uitvoerzin te genereren. Dit model leert gecomprimeerde representaties van de claim en de verouderde zin. Samen werken, de twee encoder-decoders versmelten de verschillende woorden uit de claim, door ze op de plaatsen te schuiven die vrij zijn gelaten door de verwijderde woorden (degene die bedekt zijn met nullen) in de verouderde zin.

In een proef, het model scoorde hoger dan alle traditionele methoden, met behulp van een techniek genaamd "SARI" die meet hoe goed machines verwijderen, toevoegen, en houd woorden in vergelijking met de manier waarop mensen zinnen wijzigen. Ze gebruikten een dataset met handmatig bewerkte Wikipedia-zinnen, die het model nog niet eerder had gezien. Vergeleken met verschillende traditionele tekstgenererende methoden, het nieuwe model was nauwkeuriger in het maken van feitelijke updates en de uitvoer leek meer op menselijk schrift. Bij een andere proef crowdsourced mensen scoorden het model (op een schaal van 1 tot 5) op basis van hoe goed de uitvoerzinnen feitelijke updates bevatten en overeenkwamen met de menselijke grammatica. Het model behaalde gemiddelde scores van 4 voor feitelijke updates en 3,85 voor overeenkomende grammatica.

Vooroordelen verwijderen

De studie toonde ook aan dat het systeem kan worden gebruikt om datasets aan te vullen om vooringenomenheid te elimineren bij het trainen van detectoren van "nepnieuws, " een vorm van propaganda met desinformatie die is gemaakt om lezers te misleiden om websitebezoeken te genereren of de publieke opinie te sturen. Sommige van deze detectoren trainen op datasets van eens-niet-eens-zinsparen om te "leren" een bewering te verifiëren door deze te koppelen aan gegeven bewijsmateriaal.

Bij deze paren de claim zal ofwel bepaalde informatie matchen met een ondersteunende "bewijs"-zin van Wikipedia (mee eens) of het zal door mensen worden aangepast om informatie op te nemen die in tegenspraak is met de bewijszin (oneens). De modellen zijn getraind om claims met weerleggend bewijs te markeren als "false, " die kan worden gebruikt om nepnieuws te identificeren.

Helaas, dergelijke datasets hebben momenteel onbedoelde vooroordelen, Shah zegt:"Tijdens de training, modellen gebruiken bepaalde taal van de menselijke geschreven claims als "weggeef"-zinnen om ze als onwaar te markeren, zonder veel te vertrouwen op de bijbehorende bewijszin. Dit vermindert de nauwkeurigheid van het model bij het evalueren van praktijkvoorbeelden, omdat het geen feitencontrole uitvoert."

De onderzoekers gebruikten dezelfde verwijderings- en fusietechnieken uit hun Wikipedia-project om de niet-eens-eens-paren in de dataset in evenwicht te brengen en de vooringenomenheid te verminderen. Voor sommige "niet mee eens" paren, ze gebruikten de valse informatie van de gewijzigde zin om een ​​valse "bewijs" ondersteunende zin te regenereren. Sommige van de weggeefzinnen bestaan ​​dan in zowel de "mee eens" als de "oneens" zinnen, die modellen dwingt om meer functies te analyseren. Met behulp van hun uitgebreide dataset, de onderzoekers verminderden het foutenpercentage van een populaire nepnieuwsdetector met 13 procent.

"Als je een vooroordeel in je dataset hebt, en je houdt je model voor de gek door slechts naar één zin in een niet mee eens-paar te kijken om voorspellingen te doen, je model zal de echte wereld niet overleven, "zegt Shah. "We laten modellen naar beide zinnen kijken in alle eens-niet-eens paren."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.