Ongeveer een jaar nadat ze werd benoemd tot senior redactionele rol bij een academisch tijdschrift, psychologie-onderzoeker professor Simine Vazire werd vermaand voor het verstoren van eminente onderzoekers door hun papieren "bureau af te wijzen".

Ze was geschokt.

Bureauafwijzing is wanneer een paper door de redacteur wordt geweigerd voordat het naar recensenten wordt gestuurd - ongeveer 30 procent van de papers in dit tijdschrift werd meestal door een desk afgewezen.

Professor Vazire wees de papieren af ​​omdat ze geloofde dat ze ernstige gebreken vertoonden. Maar de commissie die haar benoemde was bang dat, door beroemde onderzoekers van streek te maken, de reputatie van het tijdschrift zou in gevaar kunnen komen.

"Ik heb ze erop gewezen dat ze deze invloed achter de schermen niet kunnen uitoefenen zonder een nieuw beleid aan te kondigen of er een wetenschappelijke basis voor te hebben, "zegt professor Vazire. "Maar het feit dat ze zo verrast waren door mijn weerstand deed me beseffen hoezeer dit de manier was waarop de dingen typisch werkten."

De ervaring van professor Vazire maakt deel uit van een breder, langlopend probleem in onderzoek, waar grote studies hebben aangetoond dat in veel disciplines aanzienlijke hoeveelheden gepubliceerd onderzoek niet kunnen worden gevalideerd met vervolgonderzoeken - dat wil zeggen dat de bevindingen niet kunnen worden gerepliceerd, de resultaten in twijfel trekken.

Dit heeft de feilbaarheid van tijdschriften in de schijnwerpers gezet, de peer review-beoordelingen waarop ze vertrouwen, en de hyperconcurrerende wereld van de academische wereld waar onderzoekers vaak volledig worden beoordeeld op hoeveel ze publiceren en in welke 'gerenommeerde' tijdschriften.

Het betekent dat onderzoekers en hun instellingen in de verleiding kunnen komen om resultaten te hypen.

"Als redacteur Ik heb discussies gehad met auteurs waarin ik hen heb verteld dat ik hun paper alleen zal accepteren als het voorzichtiger is ingekaderd en, een paar keer, auteurs hebben eenvoudigweg geweigerd en zijn weggegaan en elders gepubliceerd, ’ zegt professor Vazire.

Recente intrekkingen door zeer gerenommeerde medische tijdschriften De Lancet en de New England Journal of Medicine betreffende onderzoek naar mogelijke COVID-19-geneesmiddelen die gebaseerd waren op gebrekkige gegevens, heeft alleen de urgentie van het probleem benadrukt.

Openwetenschapsinitiatieven zoals het delen van gegevens en het opstellen van een onderzoeksplan voorafgaand aan het onderzoek (preregistratie) proberen deze problemen aan te pakken.

En naast deze ontwikkelingen, er is ook een nieuwe onderzoeksdiscipline ontstaan:metawetenschap.

"Metascience is een vakgebied dat de normen bestudeert, praktijken en prikkels in de wetenschap. Het maakt de balans op van nieuwe open science-initiatieven, en monitort en evalueert hun effecten.

"Het botst met de filosofie en sociologie van de wetenschap, maar werkt in dienst van de wetenschap door ervoor te zorgen dat het onderzoek robuuster is, " zegt professor Fiona Fidler, een reproduceerbaarheidsexpert aan de Universiteit van Melbourne.

Samen, Professor Fidler en professor Vazire hebben een nieuwe onderzoeksgroep opgericht aan de universiteit, MetaMelb. Het is de grootste metawetenschappelijke onderzoeksgroep in Australië.

De groep zal een reeks metawetenschappelijke vragen bestuderen, in verschillende disciplines, waaronder psychologie, ecologie en geneeskunde, met behulp van een breed scala aan kwantitatieve en kwalitatieve benaderingen.

Een van die vragen is of prikkels voor het delen van gegevens, zoals het toekennen van open data-badges, resulteren in meer reproduceerbare resultaten. Een ander project bekijkt hoe het blootleggen van de gebreken in de wetenschap de kijk van het publiek op, en vertrouw op, wetenschap.

Angst dat de geloofwaardigheid van de wetenschap op het spel staat, is in het verleden gebruikt als rechtvaardiging voor het niet openhartig zijn over problemen.

Maar, ondermijnt wetenschap die meer open en transparant is echt het vertrouwen van het publiek in de wetenschap of vergroot het dat geloof juist?

"Ik ben in kamers geweest waar de consensus was dat we problemen onder het tapijt moeten vegen vanwege het risico dat mensen anti-wetenschap krijgen, maar ik vermoed dat verreweg het grootste risico is om niet openhartig te zijn met het publiek, ’ zegt professor Vazire.

Een ander groot project dat al in uitvoering is, gefinancierd door het Defense Advanced Research Projects Agency (DARPA) van de Amerikaanse overheid, is een poging om op efficiënte wijze deskundige peer review van een groep experts te crowdsourcen.

Het RepliCATS-project (Collaborative Assessment for Trustworthy Science) heeft 500 experts over de hele wereld gerekruteerd om de reproduceerbaarheid van 3000 onderzoekspapers uit de sociale wetenschappen te voorspellen in kleine teams die online samenwerken.

DARPA heeft het project onlangs uitgebreid om met spoed 100 papers te beoordelen die verband houden met COVID-19 sociaalwetenschappelijk onderzoek.

Nog een ander initiatief van MetaMelb is de ontwikkeling van concrete richtlijnen die peer reviewers kunnen gebruiken om onderzoeksmethoden en bevindingen uniformer te beoordelen, het verstrekken van een soort checklist.

Dit omvat het aanmoedigen van peer reviewers om te beoordelen of onderzoek is geschreven op wat professor Vazire een "intellectueel bescheiden" manier noemt. Als een krant in plaats daarvan intellectuele arrogantie vertoont, dat zou een onmiddellijk signaal zijn voor peer reviewers om op hun hoede te zijn, ze zegt.

"Intellectuele nederigheid gaat erom ervoor te zorgen dat je de mensen die je werk bekritiseren alle munitie geeft die ze nodig hebben om eventuele gebreken in je werk te vinden, ’ zegt professor Vazire.

"Dus het betekent dat in hun schriftelijke inleiding, bijvoorbeeld, een onderzoeker moet niet zomaar informatie uitkiezen, afhankelijk van aan welke kant van een debat hij staat of, dat in hun sectie methoden en resultaten, evenzo noemen ze niet alleen de resultaten die het beste bij hun argument passen."

De checklist zal reviewers er ook op wijzen om bepaalde aspecten van het onderzoek specifiek te beoordelen, zoals of de steekproefomvang de conclusies rechtvaardigt of dat de onderzoeksmethoden rigoureus zijn.

"Peer reviewers staan ​​erom bekend dat ze het er niet mee eens zijn, maar misschien zullen we, als ze specifieke vragen krijgen, meer overeenstemming bereiken over de sterkte van een stuk onderzoek. ’ zegt professor Vazire.

Maar om dit soort initiatieven te laten werken, er moeten prikkels worden ingevoerd om peer reviewers te belonen, tijdschriften en onderzoekers transparanter te zijn.

Een idee dat er is, is om peer reviews meer openbaar te maken, erkenning van de bijdrage van de recensent.

"De kwestie van het creëren van de juiste prikkels is een belangrijk onderzoeksgebied voor ons, ’ zegt professor Fidler.

uiteindelijk, beide zijn van mening dat de juiste prikkels en praktijken kunnen worden ingevoerd om de wetenschap transparanter en robuuster te maken. Maar de sleutel zal het veranderen van de academische en institutionele culturen en beloningssystemen zijn die bijdragen aan het probleem.

"Een van de grootste problemen die we op dit moment hebben, is de manier waarop instellingen prestaties en promotie intern beoordelen, ’ zegt professor Fidler.

In het Verenigd Koninkrijk, inspanningen om robuust onderzoek te verzekeren hebben geleid tot de oprichting van het UK Reproducible Network, een consortium dat tot nu toe 15 universiteiten en hogescholen heeft aangetrokken.

Professor Fidler werkt met collega's aan het opzetten van een soortgelijk consortium in Australië.

Voor professor Vazire, of onderzoekers en instellingen bereid zullen zijn om nieuwe praktijken te omarmen en meer transparantie zal cruciaal zijn.

"Er zijn zeker dingen aan het veranderen - er wordt meer onderzoek gedeeld vóór peer review en publicatie, wat de mogelijkheid biedt voor een breder onderzoek. En, eerlijk gezegd, sociale mediaplatforms zoals Twitter worden steeds belangrijker bij het onderzoeken van papieren en het identificeren van sterke en zwakke punten.

"Ik ben ervan overtuigd dat er opties zullen zijn om dingen beter te maken, maar we hebben de onderzoeksgemeenschap nodig om samen te komen en daadwerkelijk te profiteren van deze nieuwe kansen."