Vorige maand, De vorige minister van Onderzoek en Technologie van Indonesië pochte dat in 2019, Indonesië had Maleisië en Singapore ingehaald in het aantal gepubliceerde wetenschappelijke artikelen.

Echter, wetenschappers beweren dat deze 'productiviteit' het resultaat is van een zwaar bekritiseerd systeem voor prestatiemeting voor academici, voornamelijk gebaseerd op output en citaties, in plaats van kwaliteit van onderzoek.

De op output gebaseerde prestatiebeoordeling heeft ook geleid tot ongebreidelde onethische praktijken onder de Indonesische onderzoeksgemeenschap, waaronder 'data baggeren' - het opblazen van steekproefomvang of knoeien met statistische modellen - om onderzoek te produceren met resultaten die hun hypothesen bewijzen, die meer worden begunstigd door tijdschriften.

Sandersan Onie, een doctoraat kandidaat aan de Universiteit van New South Wales, zei tijdens een webinar over onderzoekstransparantie eind vorige maand, dat deze oneerlijke praktijken zijn toegenomen naarmate onderzoekers publicaties belangrijker vinden dan nauwkeurigheid.

"Experimenters kunnen tien verschillende soorten statistische procedures uitvoeren, maar ze rapporteren alleen degene die het meest waarschijnlijk wordt gepubliceerd en geciteerd. Ze voeren selectieve rapportage uit, " hij zei.

meer dan 1, 000 deelnemers van ongeveer 30 instellingen streamden het webinar getiteld " Vooruitgang in de wetenschap in Indonesië:huidige wereldwijde onderzoekspraktijken ", de eerste in zijn soort voor Indonesië.

Simine Vazire, een professor in de psychologie aan de Universiteit van Californië-Davis, was een van de hoofdsprekers van het evenement.

Ze zegt dat hoewel er veel manieren zijn om transparantie te bevorderen, over het algemeen zijn er drie strategieën die de geloofwaardigheid van het onderzoek direct kunnen vergroten.

Pre-registratie van het experimenteerproces

De eerste methode die Vazire voorstelde, was een praktijk die algemeen bekend staat als preregistratie, dat is een tijdstempel, alleen-lezen versie van een onderzoeksplan dat is gemaakt voordat het onderzoek wordt uitgevoerd.

Onderzoekers moeten uitweiden over het onderzoek dat ze van plan zijn te ondernemen voordat ze zelfs maar een stukje gegevens verzamelen.

De informatie kan variëren van de voorgestelde hypothesen, welke statistische methode zal worden gebruikt om de gegevens te analyseren.

Het document wordt vervolgens gearchiveerd in een systeem zoals het Open Science Framework (OSF), een open-source onderzoeksbeheerplatform.

"Als je een spannende bevinding krijgt met een uitkomst, je kunt later niet verbergen dat je ook twaalf andere uitkomsten hebt gemeten, ' zei Vazir.

"U verbindt zich van tevoren om openbaar te zijn over hoeveel resultaten en behandelingen u heeft gehad."

De tweede praktijk is het indienen van zogenaamde geregistreerde rapporten. In wezen zijn ze een meer rigoureuze en formele vorm van preregistratie.

Auteurs sturen een vooraf opgesteld manuscript waarin de onderzoekspitch in meer detail wordt uitgelegd naar een tijdschrift voor een eerste beoordeling.

Als de redactie besluit dat het onderzoek voldoet aan al hun criteria voor een goed onderzoeksontwerp, ze geven de auteurs een zogenaamde 'in principe' aanvaarding. Hier, redacties accepteren de artikelen nog voordat de auteur gegevens verzamelt. Het tijdschrift zal het artikel publiceren, ongeacht het resultaat van het onderzoek, daarmee de wetenschappelijke integriteit behouden.

"Het leuke van geregistreerde rapporten is dat de beslissing om het artikel voor publicatie te accepteren of af te wijzen niet afhangt van of je hypothese juist was, of u een statistisch significant resultaat hebt gekregen, of de rapporten schokkend of opwindend zijn of veel geciteerd zullen worden, ' zei Vazir.

Deze preregistratiepraktijken weerhouden wetenschappers ervan om data te baggeren en 'hypothese maken nadat resultaten bekend zijn' (HARKing) . Want als onderzoekers afwijken van hun eerder afgesproken onderzoeksmethode, ze moeten verantwoorden waarom ze dat hebben gedaan.

Daarnaast, geregistreerde rapporten kunnen het probleem oplossen waarbij onderzoek met negatieve resultaten een lage kans heeft om gepubliceerd te worden.

Negatieve resultaten zijn even belangrijk voor de wetenschap, maar tijdschriften vinden ze onaantrekkelijk en trekken minder citaten.

Een studie uit 2019 van de Universiteit van Cardiff, bijvoorbeeld, benadrukt hoe ongeveer 60% van de onderzoekspapers die zijn gepubliceerd met behulp van het systeem voor geregistreerde rapporten negatieve resultaten heeft.

Vergelijk dat met schattingen van de huidige literatuur, waar ongeveer slechts 10% van de in tijdschriften gepubliceerde artikelen negatieve resultaten bevatten, wijst op extreme publicatiebias.

Momenteel, slechts 209 tijdschriften ter wereld bieden een geregistreerd rapportagemechanisme in hun publicatieproces, geen van hen uit Indonesië. Dit is minder dan 0,01% van de 24, 600 peer-reviewed tijdschrifttitels geïndexeerd in Scopus.

Rizqy Amelia Zein, docent psychologie aan de Universitas Airlangga, een van de organisatoren van het webinar, zei in een vervolginterview dat Indonesische publicaties nog een lange weg te gaan hebben.

"De meeste Indonesische tijdschriften geven alleen om cosmetische aspecten. Ze houden zich zelden bezig met kwaliteit, aangezien hun belangrijkste prioriteit natuurlijk het indexeren in Scopus is, " ze zei.

Het delen van gegevens door middel van badges aanmoedigen

De laatste methode die Vazire aanbeveelt, is het gebruik van badges door tijdschriften om onderzoekers te motiveren data te delen.

Het beste voorbeeld is misschien wel de Vereniging voor Psychologische Wetenschappen. Drie van zijn prestigieuze tijdschriften, inclusief psychologische wetenschap , badges aanbieden voor auteurs en hun geaccepteerde manuscripten als erkenning voor open wetenschappelijke praktijken.

Er zijn drie badges beschikbaar. Een voor het verstrekken van gegevens in een openbare repository, een voor het verstrekken van open access materialen, en een andere voor het implementeren van preregistratiepraktijken.

Een Amerikaans onderzoek uit 2016 bevestigde dat na de implementatie van deze badges, het aantal psychologische wetenschap artikelen die rapporteerden over open data schoten omhoog.

"Ik zag ook een doorsijpelend effect van dit beleid bij kleinere tijdschriften. Hoewel ze geen badges hadden of beleid hadden op open data, we zagen nog steeds veel meer auteurs hun data delen omdat ze nu begrepen dat mensen kranten meer vertrouwden als ze open data hadden, ' zei Vazir.

Een onderzoek uit 2017 door onderzoekers van de Queensland University of Technology suggereerde dat open databadges de enige beproefde stimulans waren die onderzoekers motiveerde om gegevens te delen.

Sandersan zegt dat deze transparantie- en verantwoordingspraktijken niet de ultieme oplossingen zijn, maar ze vertegenwoordigen stappen in de richting van het einddoel van het produceren van geloofwaardig onderzoek van hoge kwaliteit.

"Het is heel belangrijk dat we niet alleen de krant lezen, maar we weten welke beslissingen de onderzoekers nemen en hoe ze daar zijn gekomen. Door transparantie te eisen, onderzoekers kunnen hun hele denkproces laten zien, " hij zei.

"Als we alleen de output van h-index en publicaties en al deze dingen stimuleren, het zal ons alleen maar helpen om slecht onderzoek te creëren."

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.