Bijna drie decennia lang wetenschappers en ingenieurs over de hele wereld hebben gewerkt aan de Square Kilometre Array (SKA), een project gericht op het ontwerpen en bouwen van 's werelds grootste radiotelescoop. Hoewel de SKA in recordtijd enorme hoeveelheden nauwkeurige astronomische gegevens zal verzamelen, wetenschappelijke doorbraken zijn alleen mogelijk met systemen die die gegevens efficiënt kunnen verwerken.

Omdat de bouw van de SKA pas in 2021 begint, onderzoekers kunnen niet genoeg waarnemingsgegevens verzamelen om te oefenen met het analyseren van de enorme hoeveelheden die experts verwachten dat de telescoop zal produceren. In plaats daarvan, een team van het International Centre for Radio Astronomy Research (ICRAR) in Australië, het Oak Ridge National Laboratory (ORNL) van het Department of Energy (DOE) in de Verenigde Staten, en het Shanghai Astronomical Observatory (SHAO) in China maakte onlangs gebruik van Summit, 's werelds krachtigste supercomputer, om de verwachte output van de SKA te simuleren. Summit bevindt zich in de Oak Ridge Leadership Computing Facility, een DOE Office of Science User Facility bij ORNL.

"De Summit-supercomputer bood een unieke kans om een ​​eenvoudige SKA-gegevensstroom te testen op de schaal die we van de telescooparray verwachten, " zei Andreas Wicenec, directeur van Data Intensive Astronomy bij ICRAR.

Om de gesimuleerde gegevens te verwerken, het team vertrouwde op het door ORNL ontwikkelde Adaptable IO System (ADIOS), een open-source input/output (I/O) framework onder leiding van ORNL's Scott Klasky, die ook de wetenschappelijke datagroep van het laboratorium leidt. ADIOS is ontworpen om simulaties te versnellen door de efficiëntie van I/O-bewerkingen te verhogen en om gegevensoverdracht tussen krachtige computersystemen en andere faciliteiten te vergemakkelijken, wat anders een complexe en tijdrovende taak zou zijn.

De SKA-simulatie op Summit is de eerste keer dat radioastronomiegegevens op zo'n grote schaal zijn verwerkt en bewijst dat wetenschappers over de expertise beschikken, softwaretools, en computerbronnen die nodig zijn om echte gegevens van de SKA te verwerken en te begrijpen.

"De wetenschappelijke datagroep is toegewijd aan het onderzoeken van technologie van de volgende generatie die kan worden ontwikkeld en ingezet voor de meest wetenschappelijk veeleisende toepassingen op 's werelds snelste computers, " zei Klasky. "Ik ben trots op al het harde werk dat het ADIOS-team en de SKA-wetenschappers hebben gedaan met ICRAR, ORNL, en SHA."

Met behulp van twee soorten radio-ontvangers, de telescoop zal radiolichtgolven detecteren die afkomstig zijn van sterrenstelsels, de omgeving van zwarte gaten, en andere interessante objecten in de ruimte om astronomen te helpen fundamentele vragen over het universum te beantwoorden. Het bestuderen van deze zwakke, ongrijpbare golven vereisen een leger van antennes.

De eerste fase van de SKA zal meer dan 130, 000 laagfrequent, kegelvormige antennes in West-Australië en ongeveer 200 hogere frequentie, schotelvormige antennes in Zuid-Afrika. Het internationale projectteam zal uiteindelijk bijna een miljoen antennes beheren om ongekende studies van astronomische verschijnselen uit te voeren.

Om het West-Australische deel van de SKA na te bootsen, de onderzoekers hebben twee modellen op Summit uitgevoerd - een van de antenne-array en een van het vroege universum - via een softwaresimulator ontworpen door wetenschappers van de Universiteit van Oxford die de gegevensverzameling van de SKA nabootst. De simulaties genereerden 2,6 petabyte aan data bij 247 gigabyte per seconde.

"Het genereren van zo'n enorme hoeveelheid gegevens met de antenne-arraysimulator vereist veel stroom en duizenden grafische verwerkingseenheden om goed te werken, " zei ORNL-software-engineer Ruonan Wang. "Summit is waarschijnlijk de enige computer ter wereld die dit kan."

Hoewel de simulator meestal op één computer draait, het team gebruikte een gespecialiseerde tool voor workflowbeheer die Wang ICRAR hielp ontwikkelen, de Data Activated Flow Graph Engine (DALiuGE), om de modelleringscapaciteit efficiënt op te schalen tot 4, 560 rekenknooppunten op Summit. DALiuGE heeft ingebouwde fouttolerantie, ervoor te zorgen dat kleine fouten de workflow niet belemmeren.

"Het probleem met traditionele middelen is dat één probleem ervoor kan zorgen dat de hele baan uit elkaar valt, " zei Wang. Wang behaalde zijn doctoraat aan de Universiteit van West-Australië, die ICRAR samen met Curtin University beheert.

De intense toestroom van gegevens uit de array-simulaties resulteerde in een prestatieknelpunt, die het team heeft opgelost door te verminderen, verwerken, en het opslaan van de gegevens met behulp van ADIOS. Onderzoekers pluggen ADIOS meestal rechtstreeks in het I/O-subsysteem van een bepaalde applicatie, maar de ongewoon gecompliceerde software van de simulator betekende dat het team een ​​plug-inmodule moest aanpassen om de twee bronnen compatibel te maken.

"Dit was veel complexer dan een normale applicatie, ' zei Wang.

Wang begon te werken aan ADIOS1, de eerste iteratie van de tool, 6 jaar geleden tijdens zijn tijd bij ICRAR. Nutsvoorzieningen, hij fungeert als een van de belangrijkste ontwikkelaars van de nieuwste versie, ADIOS2. Zijn team wil ADIOS positioneren als een superieure opslagbron voor de volgende generatie astronomische gegevens en de standaard I/O-oplossing voor toekomstige telescopen die zelfs buiten het gigantische bereik van de SKA liggen.

"Hoe sneller we gegevens kunnen verwerken, hoe beter we het universum kunnen begrijpen, " hij zei.