De Earth System Grid Federation, een initiatief van meerdere instanties dat gegevens verzamelt en distribueert voor topprojecties van het klimaat op aarde, bereidt een reeks upgrades voor die het gebruik van de gegevens gemakkelijker en sneller zullen maken, terwijl de manier waarop de informatie wordt samengesteld, wordt verbeterd.

De federatie, geleid door het Oak Ridge National Laboratory van het Department of Energy in samenwerking met de nationale laboratoria van Argonne en Lawrence Livermore, is een integraal onderdeel van enkele van de belangrijkste, meest impactvolle en algemeen gerespecteerde projecties van het toekomstige klimaat op aarde:die gemaakt door wetenschappers die werken met de Gekoppelde model-intervergelijkingsprojecten voor het World Climate Research Program.

"ESGF-gegevens gaan over de toekomst van het leven op aarde", zei Hoffman. "Door wetenschappers eenvoudig toegang te geven tot de volledige verzameling internationale modellen, stelt ESGF hen in staat om de beste schatting te maken over het toekomstige traject van ons klimaat."

Een belangrijke ESGF-missie is het ondersteunen van de gegevensbehoeften van wetenschappers die de uitgebreide klimaatbeoordelingen van het Intergouvernementeel Panel over klimaatverandering van de Verenigde Naties voorbereiden, die om de zes tot zeven jaar worden vrijgegeven. ESGF-gegevens ondersteunen IPCC-oriëntatiepuntenrapporten, zoals het recente zesde beoordelingsrapport, AR6, en de bevindingen van de werkgroep. De gegevens vormen ook de basis voor speciale rapporten van het IPCC die zijn gericht op kwetsbaarheden in het klimaat, adaptatiescenario's en mitigatiestrategieën.

Een ander belangrijk aspect van de missie van de ESGF is ervoor te zorgen dat wetenschappelijk onderzoek transparant, collaboratief en reproduceerbaar is, gezien de directe impact ervan op wereldwijd klimaatonderzoek en mogelijk gebruik bij besluitvorming.

"Alle gegevens van het aardsysteem die in de IPCC-rapporten worden opgenomen en alle belangrijke simulaties van het klimaat van over de hele wereld worden opgeslagen in de ESGF en toegankelijk gemaakt door de diensten die we leveren", zegt Forrest Hoffman, hoofd van ESGF. en de groep Computational Earth Sciences van ORNL. "De federatie krijgt gegevens in handen van de tienduizenden onderzoekers die deze analyseren en vergelijken met waarnemingsgegevens om onze beste toekomstvoorspellingen voortdurend bij te werken."

In een nieuwe versie van het ESGF-project werken computationele wetenschappers aan het verbeteren van de ontdekking, toegang en opslag van gegevens. Het werk zal steunen op de nieuwste softwaretools, cloud computing-bronnen, 's werelds krachtigste supercomputers en DOE's Energy Sciences Network, of ESnet. ESnet maakt momenteel overdrachtssnelheden van 100 gigabit per seconde mogelijk tussen nationale laboratoria en verbindingen met nationale en internationale universiteiten en onderzoekscentra. Een upgrade die tegen het einde van het jaar wordt verwacht, zal de overdrachtssnelheden van ESnet verhogen tot wel 400 Gbps.

"We zullen een geheel nieuw, gemoderniseerd en cyberveilig systeem ontwikkelen en implementeren voor het distribueren van modeluitvoergegevens naar de wetenschappelijke gemeenschap", zei Hoffman.

De federatie opereert als een netwerk van grote computerknooppunten die worden gehost in de Verenigde Staten en 17 andere landen, die samenwerken als één groot gegevensarchief. ORNL, ANL en LLNL werken aan het verbeteren van de betrouwbaarheid en schaalbaarheid van het systeem en zorgen voor een soepel gegevensreplicatieproces dat ervoor zorgt dat de bredere wetenschappelijke gemeenschap toegang heeft tot gegevens van alle ESGF-partners. ORNL en ANL zullen ook een dubbele back-up hosten van de meer dan 10 petabytes (en het aantal) cumulatieve ESGF-gegevens en -modellen, gebruikmakend van de computersystemen van wereldklasse die in de laboratoria worden gehost.

Ontwikkelen van robuuste gebruikersinterfaces en veilige, betrouwbare archieven

Het meerjarige upgradeproject heeft bestaande gegevens al gerepliceerd en biedt de opslag- en rekenservices die nodig zijn om dynamisch gegevens te genereren voor de gebruikersgemeenschap terwijl het nieuwe infrastructuur en services uitbouwt. ESGF heeft een stappenplan opgesteld om haar ontwikkelingswerk te begeleiden.

ORNL brengt aanzienlijke ervaring met big datacenters en grootschalige modellering en simulatie mee naar zijn leidende rol in ESGF. Het lab is de thuisbasis van de Oak Ridge Leadership Computing Facility, een DOE Office of Science-gebruikersfaciliteit waarvan het Frontier exascale-computersysteem onlangs werd gerangschikt als 's werelds snelste, evenals het Climate Change Science Institute, dat data-experts, modelbouwers en experimentatoren samenbrengt om het begrip van klimaatverandering en de gevolgen ervan te versnellen.

"ORNL bevindt zich in de unieke positie om kennis te hebben van big data en ook van klimaat en dient als gastheer voor zeer grote datacenters en de interfaces die die informatie gemakkelijk toegankelijk maken voor wetenschappers over de hele wereld," zei Hoffman.

De Argonne Leadership Computing Facility leent zijn unieke capaciteiten, evenals het Globus-systeem voor onderzoeksgegevensbeheer, dat voor de onderzoeksgemeenschap wordt beheerd door de Universiteit van Chicago, aan de federatie. Globus-services zullen worden gebruikt in de geüpgradede ESGF voor authenticatie en voor data-indexering, toegang en replicatie.

"De terabytes en petabytes die worden gegenereerd door de klimaatmodellen van vandaag vereisen nieuwe benaderingen van gegevensbeheer en -analyse", zegt Ian Foster, ANL-leider van het project. "We zullen niet alleen snellere download van gegevenssubsets mogelijk maken, maar ook voorheen onhaalbare gegevensanalyses op ANL- en ORNL-supercomputers." ALCF is een DOE Office of Science gebruikersfaciliteit.

Lawrence Livermore brengt ook een schat aan hoogwaardige computer- en datacenterexpertise en -mogelijkheden, creatieve technologieën en softwareoplossingen naar ESGF, plus zijn ervaring als de eerste leider van de ESGF.

"De upgrades maken het voor gebruikers gemakkelijker en sneller om toegang te krijgen tot de gegevens die ons kunnen helpen beter te begrijpen hoe het klimaat er in de toekomst uit zal zien", zegt Sasha Ames, LLNL-lead voor de federatie. + Verder verkennen

Nieuw rapport streeft naar duurzaamheid van waterkracht tijdens klimaatverandering