Te vaak in economie, waar je publiceert kan belangrijker zijn dan wat je publiceert.

Dat is de theorie die is onderzocht in een nieuwe studie, co-auteur van Nobel-winnende econoom James J. Heckman en Sidharth Moktan, een predoctoraal fellow bij het Centre for the Economics of Human Development. De wetenschappers van de Universiteit van Chicago ontdekten dat ambtstermijn- en prijscommissies vaak beslissingen baseren op hoe vaak kandidaten publiceren in 'top vijf' tijdschriften in het veld. Die praktijk concentreert loopbaanontwikkeling niet alleen in de handen van een selecte groep redacteuren - van wie velen al lang in dienst zijn - maar gaat ook ten koste van innovatief economisch onderzoek.

"Vertrouwen op het aantal publicaties in 'top-gerangschikte' tijdschriften moedigt een grove carrière aan onder jonge economen, " Zei Heckman. "Het leidt hun aandacht af van fundamenteel onderzoek naar flagrante strategieën over onderzoekslijnen en favoriete onderwerpen van tijdschriftredacteuren met lange ambtstermijnen.

"Vertrouwen op ranglijsten in plaats van lezen om jonge economen te promoten en te belonen, ondermijnt het essentiële proces van het beoordelen en belonen van baanbrekend origineel onderzoek."

De "top vijf" verwijst naar de toonaangevende economische tijdschriften die het meest cruciaal zijn voor het academische en professionele succes van jonge wetenschappers: Amerikaanse economische recensie , Econometrie, de Tijdschrift voor politieke economie , De Kwartaalblad economie en De beoordeling van economische studies . Deze tijdschriften worden gekozen door een proces dat het aantal citaten afweegt voor alle artikelen in het tijdschrift; met andere woorden, het beoordeelt een papier door het bedrijf dat het houdt.

Het werkpapier van Heckman en Moktan, vrijgegeven op 1 oktober in het National Bureau of Economic Research, ontdekte dat wetenschappers die één 'top vijf'-artikel hebben geschreven, 90 procent meer kans hebben om in een bepaald jaar een vaste aanstelling te krijgen. Die cijfers stijgen tot 260 procent voor twee van dergelijke artikelen en 370 procent voor drie.

"Zowel junior als senior wetenschappers halen vaak de top vijf naar voren als ze iemand beoordelen, "Zei Moktan. "Zelfs als het in een informeel gesprek is, ze zullen zeggen, 'Oh, hoeveel 'top-vijven' hebben ze?'"

De rol van vooringenomenheid peilen

Schrijven voor een "top vijf" tijdschrift houdt meer in dan alleen het best mogelijke onderzoek produceren, volgens Heckman en Moktan. Hun onderzoek stelt dat om de kansen op plaatsing te optimaliseren, wetenschappers worden gestimuleerd om hun werk af te stemmen op individuele redacteuren - die, bewust of niet, laten zich leiden door hun eigen vooroordelen.

Naast het bijhouden van de huurtermijnen, In de studie van Heckman en Moktan wordt de verwantschap van de auteur in de "top vijf" tijdschriften van 2000-16 gevolgd. Bijvoorbeeld, Heckman zit in de redactieraad van de Tijdschrift voor politieke economie , die wordt uitgegeven door de University of Chicago Press. Misschien niet verwonderlijk, het trok 14,3 procent van zijn artikelen in de bovengenoemde periode van auteurs verbonden aan de Universiteit van Chicago. De Kwartaalblad economie , die is uitgegeven aan de afdeling economie van de Harvard University, haalde bijna een kwart van zijn artikelen (24,7 procent) van zijn eigen filialen, plus nog eens 13,9 procent van zijn artikelen van gelieerde ondernemingen van het Massachusetts Institute of Technology.

In tegenstelling tot, de Beoordeling van economische studies , die een hogere omzet in de redactieraad heeft, heeft veel zwakkere banden met individuele universiteiten. Van 2000-16, de publicatie was het sterkst verbonden met de New York University en Northwestern University-filialen, van wie het 7,3 procent en 7,0 procent van de artikelen trok.

De omvang van het probleem wordt groter wanneer universiteiten 'top vijf'-tijdschriften gebruiken als een proxy voor het bepalen van de ambtstermijn. Dit is niet langer alleen een kwestie van wie in bepaalde tijdschriften wordt gepubliceerd, de auteurs beweren; liever, gebreken in het redactionele proces worden versterkt tot loopbaanhindernissen - obstakels die voor buitenstaanders moeilijk te overwinnen zijn zonder connecties met 'top vijf' redacteuren en de scheidsrechters die ze selecteren.

De "top vijf" heeft ook geen monopolie op kwalitatief hoogstaand werk. Volgens Heckman en Moktan, enkele van de meest invloedrijke werken in de economie worden gepubliceerd door andere tijdschriften. Hoewel de "top vijf" artikelen gemiddeld meer citaties opleveren, die cijfers zijn vertekend door uitschieters. Bovendien, de senior wetenschappers die vertrouwen op de 'top vijf' om hun collega's te beoordelen, publiceren vaak niet zelf in die tijdschriften als ze eenmaal een vaste aanstelling hebben. Afgaand op de tijdschriften, Heckman zei, wekt voorzichtigheid in plaats van creativiteit bij jonge wetenschappers die graag een vaste aanstelling willen krijgen.

De "top vijf" tijdschriften stimuleren wetenschappers om zich te concentreren op follow-up- en replicatiewerk - onderzoek dat gemakkelijk te beoordelen is voor onmiddellijke publicatie, maar die de grenzen van de economische wetenschap niet verlegt. Vaak, het soort innovatieve projecten dat geaccepteerde ideeën zou uitdagen, is te lang of data-intensief om in het formaat van 'top vijf'-tijdschriften te passen.

"Onderzoek is inherent riskant, omdat je antwoorden probeert te vinden op vragen die nog niet zijn opgelost, "Zei Moktan. "Soms zijn de antwoorden niet spannend. Maar serieuze beoordelingen vereisen dat senior wetenschappers papers lezen en begrijpen, en waarom die onderzoekslijn belangrijk is."

Mogelijke oplossingen

Heckman en Moktan suggereren dat ambtstermijncommissies meer middelen besteden aan het nauwkeurig lezen van gepubliceerde en ongepubliceerde artikelen, in plaats van te vertrouwen op de reputatie van tijdschriften als vervanging voor zorgvuldig lezen. Die methode zou elke individuele instelling ertoe kunnen aanzetten om meer onconventioneel onderzoek te doen in plaats van te leunen op artikelen die door 'top vijf'-publicaties zijn geleid. Het uitbreiden van de pool van invloedrijke publicaties tot meer dan vijf tijdschriften zou het probleem ook kunnen verhelpen.

Ze stellen ook een radicalere oplossing voor:overstappen van conventionele tijdschriften naar open-sourceformaten zoals arXIV en PLOS EEN , die worden gebruikt in de harde wetenschappen. Een dergelijke verandering zou wetenschappers de mogelijkheid bieden om hun ideeën eerder te delen en in realtime collegiale toetsing te krijgen - een benadering die misschien meer welkom is bij out-of-the-box ideeën.

"Het huidige systeem van publicatie en beloning stimuleert creativiteit niet, "Zei Heckman. "Het vertraagt ​​de publicatie en verspreiding van nieuwe ideeën. Het centraliseert de macht in de handen van een kleine groep redacteuren, voorkomt open discussie en onderdrukt afwijkende meningen en debat. Het moet veranderd worden."