Wikipedia heeft grootschalige, open samenwerking op het grootste algemene naslagwerk op internet. Maar, zoals bij veel gezamenlijke schrijfprojecten, het maken van de inhoud kan een controversieel onderwerp zijn.

Vaak, meerdere Wikipedia-editors zullen het oneens zijn over bepaalde wijzigingen in artikelen of beleid. Een van de belangrijkste manieren om dergelijke geschillen officieel op te lossen, is het Requests for Comment (RfC)-proces. Ruzie makende redacteuren zullen hun beraadslaging publiceren op een forum, waar andere Wikipedia-editors zullen inspringen en een neutrale editor een definitieve beslissing zal nemen.

Ideaal, dit zou alle problemen moeten oplossen. Maar een nieuwe studie door MIT-onderzoekers vindt dat slopende factoren - zoals buitensporig gekibbel en slecht geformuleerde argumenten - ertoe hebben geleid dat ongeveer een derde van de RfC's onopgelost blijven.

Voor de studie, de onderzoekers verzamelden en analyseerden de allereerste uitgebreide dataset van RfC-gesprekken, gevangen genomen over een periode van acht jaar, en interviews afgenomen met redacteuren die regelmatig RfC's sluiten, om te begrijpen waarom ze geen oplossing vinden. Ze ontwikkelden ook een machine-learningmodel dat gebruikmaakt van die dataset om te voorspellen wanneer RfC's oud kunnen worden. En, ze bevelen digitale tools aan die beraadslaging en resolutie effectiever kunnen maken.

"Het was verrassend om te zien dat een volledig derde van de discussies niet werd afgesloten, " zegt Amy X. Zhang, een promovendus in MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) en co-auteur van het papier, die deze week wordt gepresenteerd op de ACM-conferentie over Computer-Supported Cooperative Work and Social Computing. "Op Wikipedia, iedereen is vrijwilliger. Mensen gaan aan het werk, en ze hebben interesse ... en redacteuren wachten misschien op iemand om te sluiten, zodat ze weer kunnen gaan bewerken. Wij weten, door de discussies heen kijken, het doorlezen en oplossen van een groot overleg is moeilijk, vooral met heen en weer en controverse. [We hopen] die persoon te helpen dat werk te doen."

De co-auteurs van het artikel zijn:eerste auteur Jane Im, een afgestudeerde student aan de School of Information van de Universiteit van Michigan; Christopher J. Schilling van de Wikimedia Foundation; en David Karger, een professor in de informatica en CSAIL-onderzoeker.

(Niet) sluiting vinden

Wikipedia biedt verschillende kanalen om redactionele geschillen op te lossen, waarbij twee redacteuren hun problemen oplossen, ideeën voorleggen aan een gewone meerderheid van stemmen van de gemeenschap, of het debat naar een panel van moderators brengen. Sommige eerdere Wikipedia-onderzoeken hebben zich verdiept in die kanalen en heen en weer "edit-oorlogen" tussen bijdragers. "Maar RfC's zijn interessant, omdat er veel minder een stemmentaliteit is, " zegt Zhang. "Bij andere processen, aan het eind van de dag ga je stemmen en kijken wat er gebeurt. [RfC-deelnemers] stemmen wel eens, maar het gaat meer om het vinden van een consensus. Wat belangrijk is, is wat er daadwerkelijk gebeurt in een discussie."

Om een ​​RfC in te dienen, een redacteur maakt een sjabloonvoorstel, op basis van een inhoudsgeschil dat niet is opgelost op de standaard "overleg"-pagina van een artikel, en nodigt uit tot commentaar van de bredere gemeenschap. Voorstellen lopen uiteen, van kleine meningsverschillen over de achtergrondinformatie van een beroemdheid tot wijzigingen in het Wikipedia-beleid. Elke redacteur kan een RfC starten en elke redacteur—meestal meer ervaren personen - die niet aan de discussie hebben deelgenomen en als neutraal worden beschouwd, kan een discussie sluiten. Na 30 dagen, een bot verwijdert automatisch de RfC-sjabloon, met of zonder resolutie. RfC's kunnen formeel afsluiten met een samenvattende verklaring door de dichter, informeel als gevolg van overweldigende instemming van de deelnemers, of oud blijven, betekenis verwijderd zonder resolutie.

Voor hun studie de onderzoekers stelden een database samen van ongeveer 7, 000 RfC-gesprekken van de Engelstalige Wikipedia van 2011 tot 2017, waaronder slotverklaringen, accountgegevens van de auteur, en algemene antwoordstructuur. Ze hebben ook interviews gehouden met 10 van Wikipedia's meest voorkomende dichters om hun motivaties en overwegingen bij het oplossen van een geschil beter te begrijpen.

Analyseren van de dataset, de onderzoekers ontdekten dat ongeveer 57 procent van de RfC's formeel was gesloten. Van de overige 43 procent 78 procent (of ongeveer 2, 300) werden muf achtergelaten zonder informele oplossing - of, ongeveer 33 procent van alle onderzochte RfC's. Door datasetanalyse te combineren met de interviews, de onderzoekers hebben vervolgens de belangrijkste oorzaken van het mislukken van de resolutie uitgewerkt. Belangrijke problemen zijn onder meer slecht gearticuleerde initiële argumenten, waar de initiatiefnemer onduidelijk is over de kwestie of een opzettelijk bevooroordeeld voorstel schrijft; overmatig gekibbel tijdens discussies die leiden tot meer gecompliceerde, langer, argumentatieve discussies die moeilijk volledig te onderzoeken zijn; en eenvoudig gebrek aan interesse van externe redacteuren omdat onderwerpen te esoterisch kunnen zijn, onder andere factoren.

Handige hulpmiddelen

Het team ontwikkelde vervolgens een machine-learningmodel om te voorspellen of een bepaalde RfC zou sluiten (formeel of informeel) of oud zou worden, door meer dan 60 kenmerken van de tekst te analyseren, Wikipedia-pagina, en redacteursaccountgegevens. Het model bereikte een nauwkeurigheid van 75 procent voor het voorspellen van mislukking of succes binnen een week nadat de discussie was begonnen. Enkele meer informatieve functies voor voorspelling, ze vonden, de lengte van de discussie vermelden, aantal deelnemers en antwoorden, aantal herzieningen van het artikel, populariteit van en interesse in het onderwerp, ervaring van de deelnemers aan de discussie, en het niveau van vulgariteit, negativiteit, en algemene agressie in de commentaren.

Het model zou ooit door RfC-initiatiefnemers kunnen worden gebruikt om een ​​discussie te volgen terwijl deze zich ontvouwt. "We denken dat het nuttig kan zijn voor redacteuren om te weten hoe ze hun interventies kunnen targeten, " zegt Zhang. "Ze kunnen [de RfC] op meer [Wikipedia-forums] plaatsen of meer mensen uitnodigen, als het erop lijkt dat het niet wordt opgelost."

De onderzoekers suggereren dat Wikipedia tools zou kunnen ontwikkelen om dichters te helpen bij het organiseren van lange discussies, markeer overtuigende argumenten en meningsveranderingen binnen een thread, en het gezamenlijk sluiten van RfC's aanmoedigen.

In de toekomst, het model en de voorgestelde tools kunnen mogelijk worden gebruikt voor andere gemeenschapsplatforms die grootschalige discussies en beraadslagingen met zich meebrengen. Zhang verwijst naar online forums voor stads- en gemeenschapsplanning, waar burgers meebeslissen over voorstellen. "Mensen bespreken [de voorstellen] en stemmen erover, dus de tools kunnen gemeenschappen helpen de discussies beter te begrijpen … en zouden [ook] nuttig zijn voor de uitvoerders van de voorstellen."

Zhang, Ik ben, en andere onderzoekers hebben nu een externe website gebouwd waar redacteuren van alle expertiseniveaus samen kunnen komen om van elkaar te leren, en gemakkelijker discussies volgen en afsluiten. "Het werk van dichterbij is behoorlijk zwaar, "Zhang zegt, "Dus er is een tekort aan mensen die deze discussies willen afsluiten, bijzonder moeilijk, langer, en meer consequente. Dit zou kunnen helpen de toetredingsdrempel [voor redacteuren om dichterbij te komen] te verminderen en hen te helpen samenwerken om RfC's te sluiten."

"Hoewel het verrassend is dat een derde van deze discussies nooit is opgelost, [wat meer is] belangrijk zijn de redenen waarom discussies niet tot een einde komen, en de meest interessante conclusies hier komen uit de kwalitatieve analyses, " zegt Robert Kraut, emeritus hoogleraar mens-computer interacties aan de Carnegie Melon University. "Sommige [van de studie's] bevindingen overstijgen Wikipedia en kunnen van toepassing zijn op veel discussies in andere instellingen." Meer werk, hij voegt toe, zou kunnen worden gedaan om de nauwkeurigheid van het machine-learningmodel te verbeteren om Wikipedia meer bruikbare inzichten te bieden.

De studie werpt licht op hoe sommige RfC-processen "afwijken van gevestigde normen, leidt tot inefficiënties en vooroordelen, " zegt Dario Taraborelli, onderzoeksdirecteur bij de Wikimedia Foundation. "De resultaten geven aan dat de ervaring van deelnemers en de lengte van een discussie sterk voorspellend zijn voor de tijdige sluiting van een RfC. Dit levert nieuw empirisch bewijs voor de vraag hoe bestuursgerelateerde discussies toegankelijker kunnen worden gemaakt voor nieuwkomers en leden van ondervertegenwoordigde personen. groepen."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.