Onderzoeksimpact wordt op verschillende manieren gemeten. Echter, deze indicatoren zijn vaak gebaseerd op dubieuze berekeningen, zegt Ludo Waltman.

Beleidsmakers proberen op verschillende manieren te evalueren hoe goed onderzoekers en onderzoeksinstellingen presteren. Hoe vaak wordt een onderzoeker geciteerd door collega's in het veld? Hoe groot is zijn of haar impact, zoals gemeten in de h-index? En hoe goed presteert een universiteit in vergelijking met andere instellingen in binnen- en buitenland?

Echter, deze indicatoren en ranglijsten zijn vaak gebaseerd op dubieuze berekeningen, zegt Ludo Waltman in zijn oratie. Deze hoogleraar Quantitative Science Studies stelt dat universitaire rankings onverenigbare indicatoren combineren. "Deze rankings meten deels de grootte van universiteiten en deels hun relatieve prestaties ten opzichte van hun grootte. Die perspectieven worden dan op één hoop gegooid. Dan begrijpt niemand echt wat de rankings ons precies vertellen." Andere rankings jongleren ook met de cijfers.

Volgens Waltman, het gevaar is dat simplistische indicatoren een negatief effect hebben op het onderzoeksbeleid, bijvoorbeeld als onderzoekers of onderzoeksinstellingen op deze indicatoren worden beoordeeld. Hij is van mening dat een hoger niveau van kwantitatieve geletterdheid nodig is om verandering teweeg te brengen. Een beter begrip van kwantitatieve analyses, maar ook van de conclusies die daaruit worden getrokken, zou een wereld van verschil maken.

Waltman is van mening dat kwantitatief onderzoek te veel waarde hecht aan statistische significantie, “Dat betekent dat onderzoeksresultaten op een onnatuurlijke, binaire manier, zo belangrijk of niet." Bovendien, bij deze berekeningen correlatie wordt vaak verward met causaliteit. Er kan veel worden gewonnen uit training die het niveau van kwantitatieve geletterdheid, zegt Waltman. "Het gebruik van datagedreven methoden in de specifieke context van beleidsontwikkeling lijkt niet de systematische aandacht te krijgen die het verdient."

"Waar dan ook, mogelijk, onderzoeksbeleid moet gebruik maken van de bevindingen van kwantitatieve wetenschap, ', zegt Waltman in zijn oratie. 'Maar het is onrealistisch om te denken dat we heldere, kwantitatieve antwoorden op de vele vragen die er zijn. Ik denk dat we af moeten stappen van het idee dat we dit soort complexe vragen met een simpel ja of nee kunnen beantwoorden."