Experts zijn het niet altijd met elkaar eens bij het maken van voorspellingen of diagnoses. Dus hoe komen we erachter welke expert in een groep de beste en meest accurate beslissingen neemt? Een interdisciplinair team van onderzoekers van het Max Planck Institute for Human Development en het Leibniz Institute of Freshwater Ecology and Inland Fisheries heeft een eenvoudige methode ontwikkeld om de meest nauwkeurige experts te identificeren en deze met succes in verschillende groepen getest. Hun bevindingen zijn gepubliceerd in wetenschappelijke vooruitgang .

Geeft een massa op een mammogram borstkanker aan? Zal Servië in 2025 lid zijn van de EU? Zijn er over vijf jaar meer overstromingen in Duitsland? De diagnoses en voorspellingen van artsen, wetenschappers, en experts hebben vaak verstrekkende gevolgen. En in veel gevallen pas jaren later valt te zeggen welke expert het vaakst de juiste beslissing heeft genomen.

Een interdisciplinair onderzoeksteam van het Max Planck Institute for Human Development en het Leibniz Institute of Freshwater Ecology and Inland Fisheries heeft een eenvoudige nieuwe methode ontwikkeld die kan worden gebruikt om de beste beslissers te identificeren uit een groep experts zonder te hoeven weten of hun beslissingen - in het verleden of heden - zijn juist of onjuist. "Op voorwaarde dat ten minste de helft van alle beslissingen die binnen de groep worden genomen correct zijn - wat typisch het geval is in expertgroepen - en dat elke persoon ongeveer 20 ja/nee-beslissingen heeft genomen, deze methode is zeer goed gebleken, " zegt Max Wolf, onderzoeker aan het Leibniz Institute of Freshwater Ecology and Inland Fisheries en co-auteur van de studie.

De methode is ontwikkeld op basis van inzichten in collectieve intelligentie. Het berust op een simpele veronderstelling:die individuen in een groep experts die beslissingen nemen die het meest lijken op de beslissingen van anderen, nemen ook de beste beslissingen. Voor ja/nee-beslissingen, deze veronderstelling kan eenvoudig worden bevestigd door middel van wiskundige modellering. Om te testen of de methode ook in echte groepen werkt, de onderzoekers analyseerden gepubliceerde voorspellingen en diagnoses van verschillende groepen op verschillende gebieden.

Bijvoorbeeld, de onderzoekers onderzochten de diagnoses die in de vroege jaren 2000 door 100 radiologen in de VS werden gesteld, de radiologen interpreteerden de mammogrammen van 155 vrouwen om te bepalen of ze al dan niet borstkanker hadden. Het onderzoeksteam analyseerde de gegevens om de radiologen te identificeren wiens beslissingen waren, gemiddeld, vergelijkbaar met de beslissingen van de anderen. Omdat ze toegang hadden tot follow-upinformatie over de gezondheidsstatus van de 155 gescreende vrouwen, ook konden de onderzoekers bepalen welke radiologen de meest nauwkeurige en dus de beste diagnoses stelden. Het waren dezelfde radiologen als degenen die werden geïdentificeerd met behulp van de nieuwe statistische methode.

"Het is keer op keer aangetoond dat experts die goed zijn in hun vakgebied op dezelfde manier goed zijn, terwijl slechte presteerders op heel verschillende manieren slecht zijn. Op basis van deze observatie, we hebben deze nieuwe methode ontwikkeld en getest op verschillende gebieden, " zegt Ralf Kurvers, hoofdauteur en onderzoeker bij het Centrum voor Adaptieve Rationaliteit van het Max Planck Instituut voor Menselijke Ontwikkeling.

Naast de diagnoses van radiologen, het onderzoeksteam analyseerde diagnoses van huidkanker die waren gesteld door 40 Italiaanse dermatologen; geopolitieke voorspellingen van 90 voorspellers op het online platform Good Judgment Project; en de resultaten van een eenvoudige algemene kennistest, waarin 100 deelnemers werd gevraagd om de grootste van twee Amerikaanse steden te identificeren.

"Wij geloven dat de relatie tussen gelijkenis en nauwkeurigheid van beslissingen een effectief hulpmiddel kan zijn voor de praktijk. De methode kan worden gebruikt om collectieve en individuele besluitvormingsprocessen in de medische diagnostiek te verbeteren, milieurisicoanalyses, en de zakenwereld, " zegt co-auteur Stefan Herzog, ook een onderzoeker bij het Centrum voor Adaptieve Rationaliteit.