Een onderzoeksteam van het Pacific Northwest National Laboratory in Richland, Washington, heeft de resultaten gepubliceerd van een internationaal onderzoek dat is ontworpen om het relatieve belang te beoordelen dat klimaatwetenschappers toekennen aan variabelen bij het analyseren van het vermogen van een klimaatmodel om het echte klimaat te simuleren. De resultaten, die ernstige gevolgen hebben voor studies die gebruik maken van de modellen, werden gepubliceerd als een omslagartikel in Vooruitgang in atmosferische wetenschappen op 22 juni, 2018.

"Klimaatmodelbouwers besteden veel moeite aan het kalibreren van bepaalde modelparameters om een ​​modelversie te vinden die op een geloofwaardige manier het waargenomen klimaat van de aarde simuleert, " zei Susannah Burrows, eerste auteur op het papier en een wetenschapper aan het Pacific Northwest National Laboratory die gespecialiseerd is in analyse en modellering van aardsystemen.

Echter, Burrows merkte op, er is weinig systematisch onderzoek gedaan naar hoe experts prioriteit geven aan variabelen als bewolking of zee-ijs bij het beoordelen van de prestaties van klimaatmodellen.

"Verschillende mensen kunnen tot enigszins verschillende beoordelingen komen van hoe 'goed' een bepaald model is, in grote mate afhankelijk van welke aspecten zij het meeste belang toekennen, ' zei Burrows.

een model, bijvoorbeeld, kan zee-ijs beter simuleren, terwijl een ander model uitblinkt in wolkensimulatie. Elke wetenschapper moet een evenwicht vinden tussen hun concurrerende prioriteiten en doelen - een moeilijk iets om systematisch vast te leggen in tools voor gegevensanalyse.

"Met andere woorden, er is geen enkele, volledig objectieve definitie van wat een 'goed' klimaatmodel maakt, en dit feit vormt een belemmering voor het ontwikkelen van meer systematische benaderingen en instrumenten om te helpen bij modelevaluaties en vergelijkingen, ' zei Burrows.

De onderzoekers vonden, uit een onderzoek onder 96 deelnemers die de klimaatmodelleringsgemeenschap vertegenwoordigen, dat experts rekening hielden met specifieke wetenschappelijke doelstellingen bij het beoordelen van variabel belang. Ze vonden een hoge mate van consensus dat bepaalde variabelen belangrijk zijn in bepaalde studies, zoals regenval en verdamping bij de beoordeling van de Amazone-watercyclus. Die overeenkomst hapert op andere variabelen, zoals hoe belangrijk het is om oppervlaktewinden nauwkeurig te simuleren bij het bestuderen van de watercyclus in Azië.

Inzicht in deze discrepanties en het ontwikkelen van meer systematische benaderingen voor modelbeoordeling is belangrijk, volgens Burrows, aangezien elke nieuwe versie van een klimaatmodel een grondige evaluatie moet ondergaan, en kalibratie door meerdere ontwikkelaars en gebruikers. Het arbeidsintensieve proces kan meer dan een jaar duren.

de afstemming, hoewel ontworpen om een ​​strenge norm te handhaven, vereist dat experts afwegingen maken tussen concurrerende prioriteiten. Een model kan ten koste van het ene wetenschappelijke doel worden gekalibreerd om een ​​ander doel te bereiken.

Burrows is lid van een interdisciplinair onderzoeksteam bij PNNL dat werkt aan het ontwikkelen van een meer systematische oplossing voor dit beoordelingsprobleem. Het team bestaat uit Aritra Dasgupta, Lisa Bramer, en Sarah Reehl, experts in datawetenschap en visualisatie, en Yun Qian, Po-Lun Ma, en Phil Rasch, klimaatwetenschappers.

Om klimaatmodelleurs te helpen deze afwegingen duidelijker en efficiënter te begrijpen, de visualisatieonderzoekers bouwen interactief, intuïtieve visuele interfaces waarmee modelbouwers complexe informatie over verschillende aspecten van modelprestaties kunnen samenvatten en onderzoeken.

De datawetenschappers werken eraan om de beoordeling van klimaatmodellen door experts in meer detail te karakteriseren, voortbouwen op de bevindingen van het eerste onderzoek. Eventueel, de onderzoekers streven ernaar om een ​​combinatie van statistieken en menselijke expertise te combineren om te beoordelen hoe geschikt klimaatmodellen zijn voor specifieke wetenschappelijke doelstellingen, en om te voorspellen hoe vaak experts het met die beoordeling eens of oneens zullen zijn.

"[We zijn van plan] het beste van twee werelden te combineren, het gebruik van computers om handmatige inspanning te verminderen en wetenschappers in staat te stellen hun menselijk inzicht en oordeel efficiënter toe te passen waar dit het meest nodig is, ' zei Burrows.