Met een lezerspubliek dat in de miljoenen loopt, weinigen zullen beweren dat de New York Times het publieke debat over tal van onderwerpen niet beïnvloedt. Maar hoe zit het met een nieuwsuitzending met een oplage van slechts ongeveer 50, 000?

Het antwoord, zegt Albert J. Weatherhead III universiteitshoogleraar Gary King, is dat zelfs kleine tot middelgrote mediakanalen een dramatisch effect kunnen hebben op de inhoud en het partijdige evenwicht van het nationale gesprek over grote openbare beleidskwesties.

In het eerste grootschalige gerandomiseerde media-experiment ooit uitgevoerd, Koning en oud-studenten Benjamin Schneer, nu assistent-professor aan de Florida State University, en Ariël Wit, nu assistent-professor aan het MIT, ontdekte dat als slechts drie verkooppunten schrijven over een bepaald belangrijk nationaal beleidsonderwerp - zoals banen, de omgeving, of immigratie - de discussie over dat onderwerp op sociale media steeg met meer dan 62 procent, en de meningsbalans in het nationale gesprek kan op basis van die berichtgeving enkele procenten worden beïnvloed.

"Sinds honderden jaren wetenschappers hebben geprobeerd de invloed van de media te meten. De meeste mensen denken dat het invloed heeft, maar het rigoureus meten van deze invloed met gerandomiseerde experimenten was tot nu toe onmogelijk, " zei King. "Onze bevindingen suggereren dat het effect van de media verrassend groot is. De implicaties van onze studie suggereren dat elke journalist een grote macht heeft en dus een belangrijke verantwoordelijkheid heeft."

die bevindingen, koning zei, zijn het resultaat van meer dan vijf jaar werk, waarvan een groot deel werd besteed aan het overtuigen van 48 nieuwszenders om in te stemmen met deelname aan het onderzoek. Gelukkig, ongeveer de helft van deze verkooppunten werd vertegenwoordigd door het Media Consortium, een netwerk van onafhankelijke nieuwszenders, enthousiast om een ​​manier te vinden om impact te meten en bereid om te helpen.

"Veel van het werk dat tot dit onderzoek leidde, bestond uit het vinden van een manier om de culturele kloof tussen journalistiek en wetenschap te overbruggen. " legde King uit. "Door jaren van gesprekken, veel vallen en opstaan, en een samenwerking met Media Consortium Executive Director Jo Ellen Green Kaiser, we leerden journalistieke normen en praktijken te begrijpen, en de journalisten leerden onze wetenschappelijke vereisten te begrijpen. Wat het uiteindelijk allemaal deed werken, was een nieuw onderzoeksontwerp dat we ontwikkelden en dat aan beide kampen voldeed."

Hoewel soortgelijke pogingen in het verleden zijn geprobeerd, ze stortten steevast in elkaar toen journalisten zich ergerden aan het idee dat hen werd verteld wat ze moesten melden en wanneer ze het moesten melden.

Om het probleem aan te pakken, eerdere onderzoekers vielen terug op slimme trucs, zoals het bestuderen van gebieden die buiten het uitzendgebied van een bepaald verkooppunt vallen, maar, omdat niemand wist of de gebieden echt willekeurig waren, ze waren moeilijk te beoordelen. Dergelijke studies stuitten op veel problemen, vooral hun onvermogen om te controleren voor een groot aantal factoren zoals ras, opleiding, of inkomen.

"Vanuit wetenschappelijk oogpunt we moeten de journalisten kunnen vertellen wat ze moeten publiceren, en bij voorkeur op willekeurige tijdstippen, " zei King. "Vanuit journalistiek oogpunt, deze wetenschappelijke vereisten lijken gek, en journalisten dringen er redelijkerwijs op aan de absolute controle te behouden over wat ze publiceren. De twee reeksen vereisten lijken fundamenteel onverenigbaar, maar we hebben een manier gevonden om één onderzoeksontwerp te maken dat de doelen van beide groepen bereikte."

Het was niet alleen de deelname van nieuwszenders die het onderzoek opmerkelijk maakte, Hoewel.

"Als je zoiets doet als een medisch experiment, u kunt willekeurig individuele mensen toewijzen aan een van de twee groepen, en dan is elke persoon je analyse-eenheid, " zei hij. "Maar wanneer een media-outlet iets publiceert - hoe klein ook - omvat het potentiële publiek dat het kan beïnvloeden eigenlijk iedereen in het land. Dat betekent dat onze analyse-eenheid geen persoon kan zijn; het moet het hele land zijn, wat de kosten van het onderzoek aanzienlijk verhoogt." Dit betekent dat het equivalent van een heel experiment in veel andere onderzoeken slechts één observatie in dit onderzoek vormt.

Omdat het verzamelen van elke waarneming zo duur was, en zo logistiek uitdagend, King en collega's gebruikten, en verder ontwikkeld, nieuwe statistische technieken om hen in staat te stellen slechts zoveel gegevens te verzamelen als nodig is. Ze zouden dan kunnen onderzoeken, na elk grootschalig nationaal experiment, of ze nu genoeg gegevens hadden om betrouwbare conclusies te trekken.

"Dat stelde ons in staat om door te gaan totdat we op het punt kwamen waarop we precies zoveel gegevens hadden als we nodig hadden, en niet meer, " zei King. "Het blijkt dat we hebben 35 nationale experimenten uitgevoerd die 70 waarnemingen hebben opgeleverd."

Om de experimentele randomisatie te bereiken die nodig is voor het onderzoek, Het team van de koning, de medewerkers van het Media Consortium, en journalisten van de 48 verkooppunten samen identificeerden 11 brede beleidsterreinen - zoals banen, de omgeving, of immigratie. Vervolgens simuleerden ze de neiging van journalisten om elkaar te beïnvloeden en verhalen over vergelijkbare onderwerpen te publiceren, soms bekend als "pack journalistiek, " door drie of vier verkooppunten te kiezen uit hun deelnemende groep van 48 om samen verhalen te ontwikkelen die binnen hetzelfde brede beleidsterrein vielen.

"Bijvoorbeeld, als het beleidsterrein banen was, een verhaal gaat misschien over Uber-chauffeurs in de omgeving van Philadelphia, King zei. "We zouden dan een periode van twee weken identificeren waarin we voorspelden dat er geen verrassingen zouden zijn met betrekking tot dat onderwerp - dus als de president van plan was om in een van die twee weken een toespraak te houden over immigratie, we zouden in die tijd geen experiment met immigratie uitvoeren."

Randomisatie kwam van onderzoekers die een munt opgooiden om te bepalen welke van die weken de publicatieweek zou zijn, en welke de controleweek.

"Aanvankelijk, onze verkooppunten begrepen niet echt wat randomisatie betekende, " zei Kaiser. "Onze projectmanager Manolia Charlotin en de onderzoekers werkten nauw samen met alle verkooppunten om ervoor te zorgen dat ze de regels van de onderzoekers volgden. Dit was een arbeidsintensief project voor ons, maar het onverwachte voordeel was dat verkooppunten ontdekten dat ze ook veel kwalitatieve voordelen behaalden door samen te werken."

In zowel behandelings- als controleweken, Koning, Schneer, and White gebruikte tools en gegevens van de in Harvard gevestigde start-up Crimson Hexagon, om de nationale conversatie in posts op sociale media te volgen. King is mede-oprichter van Crimson Hexagon en, met een vorige generatie nu voormalige Harvard-studenten, ontwikkelde de geautomatiseerde teksttechnologie die oorspronkelijk door Harvard in licentie was gegeven om het bedrijf op te richten. Hij legde uit dat deze methodologie "wordt gebruikt om de betekenis van posts op sociale media te evalueren. Dus als je een aantal categorieën hebt waar je om geeft, we identificeren voorbeeldberichten in deze categorieën, waar mensen goed in zijn, King zei. "Dan kan ons algoritme die menselijke intelligentie versterken en, zonder afzonderlijke berichten te classificeren, kan het percentage berichten in elke categorie elke dag nauwkeurig inschatten."

Wat ze vonden, koning zei, is dat het effect groter was dan iedereen had verwacht.

"Het daadwerkelijke effect is heel groot, King zei. "Als drie verkooppunten (met een gemiddelde oplage van ongeveer 50, 000) samenkomen en verhalen schrijven, de omvang van het nationale gesprek op dat beleidsterrein neemt veel toe - het is een toename van 62 procent ten opzichte van het volume van de eerste dag, verdeeld over de week, gewoon van deze drie kleine verkooppunten."

"Deze nationale gesprekken over belangrijke beleidsterreinen zijn essentieel voor democratie, " voegde hij eraan toe. "Vandaag vindt dit gesprek plaats, gedeeltelijk, in sommige van de 750 miljoen openbaar beschikbare posts op sociale media die dagelijks door mensen worden geschreven - en allemaal beschikbaar voor onderzoek. Eens, het nationale gesprek was wat er op het openbare plein werd gezegd, waar mensen op een zeepkist zouden gaan staan, of wanneer ze zich uitten in krantenartikelen of waterkoelerdebatten. Dit is een groot deel van waar democratie over gaat." King legde uit, "Het feit dat de media zo'n grote invloed hebben op de inhoud van dit nationale gesprek is cruciaal voor alles, van het ideologische evenwicht van de nationale media, de opkomst van nepnieuws, aan de voortdurende verantwoordelijkheid van professionele journalisten."