Papers in toonaangevende psychologie, economische en wetenschappelijke tijdschriften die niet worden gerepliceerd en daarom minder waarschijnlijk waar zijn, zijn vaak de meest geciteerde artikelen in academisch onderzoek, volgens een nieuwe studie van de Rady School of Management van de University of California San Diego.

Gepubliceerd in wetenschappelijke vooruitgang , het artikel onderzoekt de voortdurende "replicatiecrisis" waarin onderzoekers hebben ontdekt dat veel bevindingen op het gebied van sociale wetenschappen en geneeskunde geen stand houden wanneer andere onderzoekers de experimenten proberen te herhalen.

Het artikel laat zien dat bevindingen uit onderzoeken die niet kunnen worden geverifieerd wanneer de experimenten worden herhaald, een grotere invloed hebben in de tijd. Het onbetrouwbare onderzoek wordt vaak geciteerd alsof de resultaten waar waren lang nadat de publicatie niet kon worden gerepliceerd.

"We weten ook dat experts goed kunnen voorspellen welke papers zullen worden gerepliceerd, " schrijven de auteurs Marta Serra-Garcia, universitair docent economie en strategie aan de Rady School en Uri Gneezy, hoogleraar gedragseconomie ook aan de Rady School. "Gezien deze voorspelling, we vragen 'waarom worden niet-repliceerbare papers in de eerste plaats geaccepteerd voor publicatie?'"

Hun mogelijke antwoord is dat reviewteams van wetenschappelijke tijdschriften voor een afweging staan. Wanneer de resultaten "interessanter, " zij hanteren lagere normen wat betreft hun reproduceerbaarheid.

Het verband tussen interessante bevindingen en niet-repliceerbaar onderzoek kan ook verklaren waarom het veel vaker wordt geciteerd - de auteurs ontdekten dat artikelen die met succes repliceren, 153 keer minder worden geciteerd dan artikelen die faalden.

"Interessante of aansprekende bevindingen komen ook meer in de media of worden gedeeld op platforms zoals Twitter, veel aandacht trekken, maar dat maakt ze niet waar, ' zei Gneezy.

Serra-Garcia en Gneezy analyseerden gegevens van drie invloedrijke replicatieprojecten die probeerden de bevindingen in de toppsychologie systematisch te repliceren, economische en algemene wetenschappelijke tijdschriften ( Natuur en Wetenschap ). In de psychologie, slechts 39 procent van de 100 experimenten werd met succes gerepliceerd. In de economie, 61 procent van de 18 onderzoeken werd gerepliceerd, evenals 62 procent van de 21 onderzoeken die werden gepubliceerd in Natuur / Wetenschap .

Met de bevindingen van deze drie replicatieprojecten, de auteurs gebruikten Google Scholar om te testen of artikelen die niet konden worden gerepliceerd significant vaker worden geciteerd dan artikelen die met succes zijn gerepliceerd, zowel voor als na de publicatie van de replicatieprojecten. De grootste leemte was in artikelen gepubliceerd in Natuur / Wetenschap :niet-repliceerbare papers werden 300 keer meer geciteerd dan repliceerbare papers.

Toen de auteurs rekening hielden met verschillende kenmerken van de gerepliceerde onderzoeken, zoals het aantal auteurs, het aantal mannelijke auteurs, de details van het experiment (locatie, taal en online-implementatie) en het veld waarin het artikel werd gepubliceerd - de relatie tussen repliceerbaarheid en citaten was ongewijzigd.

Ze laten ook zien dat de impact van dergelijke citaten in de loop van de tijd toeneemt. Jaarlijkse citatietellingen laten een duidelijke kloof zien tussen artikelen die wel en niet repliceerden. Gemiddeld, papers die niet werden gerepliceerd, worden 16 keer meer per jaar geciteerd. Deze kloof blijft bestaan, zelfs nadat het replicatieproject is gepubliceerd.

"Opmerkelijk, slechts 12 procent van de post-replicatie citaten van niet-repliceerbare bevindingen erkennen het falen van de replicatie, ’ schrijven de auteurs.

De invloed van een onnauwkeurig artikel gepubliceerd in een prestigieus tijdschrift kan tientallen jaren repercussies hebben. Bijvoorbeeld, de studie die Andrew Wakefield publiceerde in: De Lancet in 1998 keerde tienduizenden ouders over de hele wereld tegen de mazelen, bof- en rubellavaccin vanwege een impliciet verband tussen vaccinaties en autisme. De onjuiste bevindingen werden 12 jaar later door The Lancet ingetrokken, maar de beweringen dat autisme verband houdt met vaccins gaan door.

De auteurs voegden eraan toe dat tijdschriften druk kunnen voelen om interessante bevindingen te publiceren, en academici ook. Bijvoorbeeld, bij promotiebeslissingen, de meeste academische instellingen gebruiken citaten als een belangrijke maatstaf bij de beslissing om een ​​faculteitslid al dan niet te promoveren.

Dit kan de oorzaak zijn van de "replicatiecrisis, " ontdekte voor het eerst de vroege jaren 2010.

"We hopen dat ons onderzoek lezers aanmoedigt om voorzichtig te zijn als ze iets lezen dat interessant en aantrekkelijk is, " zei Serra-Garcia. "Telkens wanneer onderzoekers werk citeren dat interessanter is of veel is geciteerd, we hopen dat ze zullen controleren of replicatiegegevens beschikbaar zijn en wat die bevindingen suggereren."

Gneezy heeft toegevoegd, "We geven om het veld en het produceren van kwaliteitsonderzoek en we willen dat het waar is."