Een team van wetenschappers onder leiding van een astronoom van de Michigan State University heeft ontdekt dat een nieuw proces voor het evalueren van voorgestelde wetenschappelijke onderzoeksprojecten even effectief, zo niet meer, is dan de traditionele peer-reviewmethode.

Normaal gesproken, wanneer een onderzoeker een voorstel indient, de financier vraagt ​​vervolgens een aantal onderzoekers op dat gebied om te evalueren en financieringsadviezen te geven. Een systeem dat soms een beetje omvangrijk en traag kan zijn - niet helemaal een exacte wetenschap.

"Zoals bij alle menselijke inspanningen, deze heeft zijn gebreken, " zei Wolfgang Kerzendorf, een assistent-professor in de afdelingen Natuur- en Sterrenkunde van MSU, en computationele wiskunde, Wetenschap en techniek.

Gedetailleerd in de publicatie Natuurastronomie , Kerzendorf en collega's hebben een nieuw systeem getest dat de werklast van de beoordeling van projectvoorstellen verdeelt over de indieners, bekend als de "gedistribueerde peer review"-benadering.

Echter, het team verbeterde het door twee andere nieuwe functies te gebruiken:machine learning gebruiken om reviewers te matchen met voorstellen en het opnemen van een feedbackmechanisme in de review.

Eigenlijk, dit proces bestaat uit drie verschillende functies die zijn ontworpen om het peer-reviewproces te verbeteren.

Eerst, wanneer een wetenschapper een voorstel voor evaluatie indient, hij of zij wordt eerst gevraagd om verschillende papieren van hun concurrenten te bekijken, een manier om de hoeveelheid papieren die men moet beoordelen te verminderen.

"Als je het aantal beoordelingen dat elke persoon moet doen, verlaagt, ze kunnen wat meer tijd besteden aan elk van de voorstellen, ' zei Kerzendorf.

Tweede, door computers te gebruiken - machine learning - kunnen financieringsinstanties de recensent koppelen aan voorstellen van vakgebieden waarin ze experts zijn. Dit proces kan menselijke vooroordelen uit de vergelijking halen, resulterend in een nauwkeurigere beoordeling.

"We kijken in wezen naar de artikelen die potentiële lezers hebben geschreven en geven deze mensen vervolgens voorstellen die ze waarschijnlijk goed kunnen beoordelen, "Zei Kerzendorf. "In plaats van dat een recensent zelf hun expertise rapporteert, de computer doet het werk."

En ten derde, het team introduceerde een feedbacksysteem waarin de persoon die het voorstel heeft ingediend kan beoordelen of de feedback die hij heeft gekregen nuttig was. uiteindelijk, dit kan de gemeenschap helpen wetenschappers te belonen die consequent opbouwende kritiek leveren.

"Dit deel van het proces is niet onbelangrijk, "Zei Kerzendorf. "Een goede, constructieve beoordeling is een beetje een bonus, een beloning voor het werk dat je hebt gestoken in het beoordelen van andere voorstellen."

Om het experiment te doen, Kerzendorf en zijn team beschouwden 172 ingediende voorstellen die elk verzochten om gebruik van de telescopen op de Europese Zuidelijke Sterrenwacht, een 16-landen observatorium op de grond in Duitsland.

De voorstellen zijn zowel op de traditionele manier als met behulp van gedistribueerde peer review beoordeeld. De resultaten? Vanuit statistisch oogpunt, het was schijnbaar niet te onderscheiden

Echter, Kerzendorf zei dat dit een nieuw experiment was dat een nieuwe benadering testte voor het evalueren van peer-review onderzoek. een die een verschil zou kunnen maken in de wetenschappelijke wereld.

"Terwijl we heel kritisch nadenken over wetenschap, we nemen soms niet de tijd om kritisch na te denken over het verbeteren van het proces van toewijzing van middelen in de wetenschap, "zei hij. "Dit is een poging om dit te doen."