Nieuw onderzoek van de Queen Mary University of London suggereert dat als het gaat om grootschalige onderzoeksevaluaties zoals het Research Excellence Framework (REF), peer reviews zouden kosteneffectiever zijn als ze gericht zijn op publicaties die niet in vooraanstaande tijdschriften verschijnen.

Uit het onderzoek blijkt dat peer reviews en bibliometrische analyse gezien moeten worden als complementaire beoordelingsmethoden. De onderzoekers suggereren dat het effectiever zou zijn voor het beoordelen van onderzoeksnormen aan Britse universiteiten en een beter gebruik van publiek geld.

Onderzoek evalueren

De onderzoekers gebruikten de REF-oefening van het VK uit 2014 om de kenmerken van best scorende (viersterren) publicaties in Economics and Econometrics te bestuderen. Hoewel officiële documenten geaggregeerde scores voor elke instelling bevatten, de onderzoekers laten zien hoe deze aggregaten kunnen worden gebruikt om de score af te leiden die door REF-panelleden aan elke publicatie wordt toegekend.

De bevindingen tonen aan dat deze score overeenkomt met het tijdschriftprestige zoals gemeten door de Thomson Reuters Article Influence Score. Hoewel het gebruik van deze specifieke statistiek wordt gerechtvaardigd door zijn aantrekkelijke eigenschappen, en door eerder onderzoek, verschillende maten van tijdschriftimpact, zoals de impactfactor, worden ook door onderzoekers gebruikt.

Verschillende econometrische analyses bevestigen de beperkte bijdrage van andere publicatieattributen, zoals citaten, op de score toegekend door REF-panelleden, en dat publicaties in de top-generalistische en top-vijf Economics-tijdschriften ondubbelzinnig vier sterren krijgen.

Gevolgen voor toekomstige evaluatie

De resultaten hebben belangrijke implicaties voor het ontwerp van toekomstige onderzoeksevaluaties, anders dan het informeren van de discussie over de 2021-ronde van REF die aan de gang is. Over het gebruik van bibliometrie bij onderzoeksevaluatie is intensief gediscussieerd, en REF-regelgeving is gebaseerd op beoordelingen door experts die zorgen voor een verantwoord gebruik van meetwaarden weerspiegelen.

De resultaten laten zien dat in ieder geval in Economie en Econometrie, een index van de impact van tijdschriften benadert het oordeel van experts nauwkeurig, vooral voor outputs die zijn gepubliceerd in vooraanstaande tijdschriften.

Dr. Marco Ovidi, van de Queen Mary's School of Economics and Finance, die co-auteur was van de studie, zegt dat hun "onderzoek onthult dat, in economie en econometrie, de classificatie van 2014 REF-onderzoeksoutputs gemaakt door experts komt zeer dicht in de buurt van de classificatie die men zou krijgen door een bibliometrische indicator van tijdschriftimpact te gebruiken."

"De verschillen zijn vooral klein voor onderzoeksresultaten die zijn gepubliceerd in economische tijdschriften met een hoge impact. Onze resultaten suggereren dat het kostbare proces van peerreviews gericht moet zijn op het vinden van verborgen juweeltjes in tijdschriften met een relatief lagere reputatie in plaats van overgewaardeerde resultaten in best scorende verkooppunten. "

"We denken dat onze bevindingen interessant moeten zijn voor academische afdelingen en beleidsmakers voor onderzoek als de volgende onderzoeksbeoordelingen, de 2021 REF, is onderweg."