De National Institutes of Health (NIH) hebben tijdens het fiscale jaar 2017 meer dan $ 27 miljard geïnvesteerd in biomedisch onderzoek door middel van competitieve subsidies. Die subsidies werden toegekend op basis van scores toegekend door, en gesprek tussen deskundige peer-reviewers.

Dit proces van collegiale toetsing is ontworpen om te bepalen welke voorstellen het beste kunnen worden gefinancierd en is een fundamenteel kenmerk van het zorgvuldig uitdelen van dollars voor wetenschappelijke projecten.

Maar nieuwe bevindingen van onderzoekers van de University of Wisconsin-Madison suggereren dat reviewers de geweldige voorstellen niet kunnen onderscheiden van de louter goede. In een gedetailleerde simulatie van het peer review-proces - de gegevens van echte reviews zijn niet beschikbaar voor studie - ontdekten onderzoekers van UW-Madison's Centre for Women's Health Research en hun medewerkers dat er geen overeenstemming was tussen verschillende reviewers die dezelfde voorstellen scoorden.

Het resultaat is dat, na het elimineren van zwakkere voorstellen, verschillen in de manier waarop reviewers de voorstellen scoorden, maakten het onmogelijk om de overige te onderscheiden. De studie werd gedeeltelijk gefinancierd door de NIH om te analyseren en te verbeteren hoe miljarden dollars door het bureau worden toegewezen.

De bevindingen worden op 5 maart gepubliceerd in de Proceedings van de National Academy of Sciences . Postdoctoraal onderzoeker Elizabeth Pier leidde de analyses van gegevens verzameld door een multidisciplinaire groep, waaronder Molly Carnes, directeur van het Center for Women's Health Research, Cecilia Ford, emeritus hoogleraar Engels en sociologie, collega's in psychologie en onderwijspsychologie bij UW-Madison, en medewerkers aan de West Chester University in Pennsylvania.

"Hoe kunnen we de manier waarop subsidies worden beoordeeld verbeteren, zodat er minder subjectiviteit is in de uiteindelijke financiering van de wetenschap?" is de vraag die centraal staat in dit werk, zegt Carnes. "We hebben meer onderzoek nodig op dit gebied en de NIH investeert geld om dit proces te onderzoeken."

Peer review begint met experts die afzonderlijk een aantal voorstellen analyseren en scoren. Groepen deskundigen komen vervolgens bijeen om de voorstellen te bespreken en gezamenlijk te beslissen welke financiering in aanmerking komen. Om dit proces te bestuderen, de onderzoekers verzamelden ervaren NIH-peer reviewers en lieten hen echte voorstellen beoordelen die door de NIH waren gefinancierd. Eén partij had meteen financiering gekregen:de uitstekende voorstellen. De andere partij ontving uiteindelijk financiering na te zijn herzien en werden als "goede" voorstellen beschouwd.

Uit eerder gepubliceerd onderzoek van dezelfde groep bleek dat de gesprekken die plaatsvinden na de eerste scores niet leiden tot betere financieringsbeslissingen, omdat ze meningsverschillen tussen verschillende groepen reviewers versterken.

"Samenwerking kan de overeenkomst juist verslechteren, niet beter, dus een vraag die daaruit volgt zou zijn:'Zou het beter zijn dat de recensenten elkaar niet ontmoeten?'", zegt Pier, die haar doctoraat in onderwijspsychologie behaalde aan UW-Madison terwijl ze het werk afrondde.

Om die vraag in de nieuwe studie te beantwoorden, de onderzoekers concentreerden zich op de eerste kritieken van de beoordelaars en identificeerden het aantal en het type zwakke en sterke punten dat aan elk voorstel werd toegewezen, samen met de gegeven score.

"Als we kijken naar de sterke en zwakke punten die zij aan de sollicitanten toekennen, wat we ontdekten is dat reviewers intern erg consistent zijn, ", zegt Pier. "Wat ons verbaasde, was dat hoewel mensen intern consistent zijn, er is echt geen consistentie in hoe verschillende mensen het aantal zwakke punten vertalen in een score."

Gemiddeld, onderzoekers scoorden dezelfde voorstellen zo verschillend dat het leek alsof ze naar heel andere voorstellen keken. Dit grote meningsverschil, en de polariserende effecten van groepsgesprekken die eerder onderzoek aantoonde, suggereerde de onderzoekers dat het huidige peer review-proces niet is ontworpen om onderscheid te maken tussen goede en geweldige voorstellen.

"We proberen niet te suggereren dat peer review gebrekkig is, maar dat er misschien wat ruimte is om innovatief te zijn om het proces te verbeteren, ' zegt Pier.

Een mogelijke verbetering die door het onderzoeksteam wordt voorgesteld, is het creëren van een aangepaste loterij. In dit systeem, een eerste evaluatie zou zwakkere voorstellen uit de weg ruimen, en de overige zouden willekeurig worden gefinancierd. De NIH onderzoekt momenteel ook manieren om de objectiviteit en het succes van peer review te verbeteren.

De onderzoekers benadrukken dat, met miljarden dollars op het spel, er is aanvullend onderzoek nodig naar dit essentiële financieringssysteem en eventuele verbeteringen in het proces.

"Het maakt me trots een wetenschapper te zijn, dat we niet alleen onderzoek van cellen naar de samenleving financieren, maar dat we voortdurend proberen het proces te verbeteren waarmee we deze dollars toekennen, ' zegt Carnes.