Terwijl iedereen tegenwoordig een mening heeft over wetenschap die ons allemaal aangaat, de meest verstandige aanpak is nog steeds het raadplegen van belangrijke experts in het veld. Dat geldt ook voor de financiering van onderzoek, volgens een nieuw artikel waarin wordt bevestigd dat peer review de meest effectieve methode is om overheidsinstanties te helpen voorspellen welke ideeën de wetenschappelijke vooruitgang het beste kunnen bevorderen.

"Peer review is zelfs nog noodzakelijker voor de biogeneeskunde, omdat sommige van die bevindingen een kwestie van leven en dood kunnen zijn, " zei donna Ginther, de decaan hoogleraar economie aan de Universiteit van Kansas.

Ginther is de co-auteur van "Administrative Discretion in Scientific Funding:Evidence from a Prestigious Postdoctoral Training Program." Het artikel verschijnt in het huidige nummer van Onderzoeksbeleid .

"Je wilt altijd een reality check voor je werk, " ze zei.

Haar studie maakt gebruik van gegevens van de National Institutes of Health (NIH) om te bepalen dat peer review - in vergelijking met de discretie van de programmamedewerkers van het bureau - "hogere kwaliteit van wetenschap en toekomstige onafhankelijkheid van onderzoek beter voorspelt."

"De peer process review is zeer controversieel. Veel mensen roepen op tot verandering, " zei Ginther, die samen met Misty Hegeness van het U.S. Census Bureau het artikel schreef. "Maar we ontdekten dat het peer review-proces voor wetenschappelijke subsidies, dat is wat we bestuderen, is streng, gestructureerd en goed gedefinieerd. We merken dat dat proces redelijk goed werkt."

Ze ontdekten ook dat "regression discontinuity design, " wat de methode is die doorgaans wordt gebruikt om het effect van financiering te onderzoeken, geldt niet altijd voor wetenschappelijke financieringsmodellen.

Ze legde uit hoe elke subsidie ​​die wordt beoordeeld een score krijgt. Bij NIH, lage scores zijn beter dan hoge scores:als je er een verdient, je bent gefinancierd, en als je een 20 krijgt, je bent niet gefinancierd. Als peer review werkt zoals geadverteerd, elk voorstel wordt gefinancierd op basis van de volgorde van deze score.

"Maar dan weten we dat er een pauze is waar je geen geld meer hebt, "zei ze. "Als je het laatste gefinancierde voorstel vergelijkt met het eerste voorstel dat dat niet was, dat is een regressiediscontinuïteitsontwerp. Je kijkt naar degenen net boven en onder die lijn en vraagt, "Wat is het effect van die voorstellen van vergelijkbare kwaliteit?"

"Toen we in de gegevens groeven, wij realiseerden ons, "Oh, ze doen het niet zoals ze zeggen dat ze het doen." En aangezien ze geen regressie-discontinuïteitsontwerp gebruiken, en ze grijpen naar voorstellen die niet zo goed scoren en slaan voorstellen over die gefinancierd hadden moeten worden als alles in orde was, je kunt kijken naar de effectiviteit van peer review zelf."

Hoewel dit specifieke onderzoek het domein van de wetenschap betreft, het roept de vraag op of het van toepassing is op andere gebieden. Bijvoorbeeld, is peer review cruciaal voor de geesteswetenschappen?

"De academische wereld is sterk gebaseerd op peer review, " zei Ginther. "Ik kan niet per se met de geesteswetenschappen praten omdat ze meer op boeken zijn gericht. Maar het is altijd nuttig om een ​​frisse blik op het werk te hebben om ervoor te zorgen dat het de potentie heeft om een ​​bijdrage te leveren. En ik denk dat als je het hebt over grote sommen geld zoals de NIH uitgeeft, het is echt belangrijk."

Nu de wereld op zoek is naar manieren om zo snel mogelijk met COVID-19 om te gaan, Ginther zei dat wetenschappelijke peer review fundamenteel kan worden veranderd. Het kan beginnen te weerspiegelen hoe andere velden het proces benaderen.

"Economie is heel open, " zei ze. "Het beroep deelt werkdocumenten. De resultaten van dit onderzoek circuleren al een paar jaar. Echter, levenswetenschappen, tot het coronavirus, hield alles geheim voordat het werd gepubliceerd. En wat we nu zien, is dat onderzoeksresultaten naar buiten worden gebracht voordat ze door vakgenoten zijn beoordeeld. Gezien de omvang van deze crisis, het beschikbaar stellen van preprints voor onderzoeken naar het coronavirus is van cruciaal belang."

Een 17-jarige veteraan van de KU, Ginther is gespecialiseerd in arbeidseconomie. Daarnaast is ze directeur van het Instituut voor Beleid &Maatschappelijk Onderzoek, een interdisciplinair campuscentrum voor docenten en studenten die gefinancierd werk doen in de sociale en gedragswetenschappen.

"Het is mijn voortdurende onderzoek om te zien hoe het volgen van het geld de wetenschappen beïnvloedt, " ze zei.

Ginther hoopt dat "Administrative Discretion in Scientific Funding" kan helpen bij het oplossen van elke controverse over de noodzaak en relevantie van peer review.

"Er is veel discussie over deze vraag in de wetenschapsbeleidsgemeenschap, "zei ze. "Maar nu letten de mensen op het gebied van wetenschapsbeleid niet op omdat ze in een laboratorium zijn om de wereld te redden."