Wetenschappers hebben 400 gigabyte aan data per seconde verwerkt tijdens het testen van datapijplijnen voor de Square Kilometre Array (SKA)-telescoop.

Onderzoekers van ICRAR in Perth, Oak Ridge National Laboratory in de VS en het Shanghai Astronomical Observatory in China gebruikten 's werelds krachtigste supercomputer - de top - om gesimuleerde waarnemingen van het vroege heelal te verwerken voordat de radiotelescoop in West-Australië en Zuid-Afrika werd gebouwd.

De bereikte gegevenssnelheid was het equivalent van meer dan 1600 uur aan standaarddefinitie YouTube-video's per seconde.

Professor Andreas Wicenec, de directeur van Data Intensive Astronomy bij het International Center for Radio Astronomy Research (ICRAR), zei dat het de eerste keer was dat radioastronomiegegevens op deze schaal werden verwerkt.

"Tot nu, we hadden geen idee of we een algoritme konden gebruiken dat is ontworpen voor het verwerken van gegevens afkomstig van de huidige radiotelescopen en het kunnen toepassen op iets dat duizend keer groter is, " hij zei.

"Door deze test met succes af te ronden, weten we dat we de gegevensstroom van de SKA het hoofd kunnen bieden wanneer deze in het volgende decennium online komt.

"Maar, het feit dat we 's werelds grootste supercomputer nodig hebben om deze test met succes uit te voeren, toont aan dat de behoeften van de SKA aan de rand staan ​​van wat de huidige supercomputers kunnen leveren."

De SKA van een miljard dollar is een van 's werelds grootste wetenschappelijke projecten, met het laagfrequente deel van de telescoop ingesteld op meer dan 130, 000 antennes in de beginfase van het project, het genereren van ongeveer 550 gigabyte aan gegevens per seconde.

Summit bevindt zich in het Oak Ridge National Laboratory van het Amerikaanse ministerie van Energie in Tennessee.

Het is 's werelds krachtigste wetenschappelijke supercomputer, met een topprestatie van 200, 000 biljoen berekeningen per seconde.

Oak Ridge National Laboratory software-ingenieur en onderzoeker Dr. Ruonan Wang, een voormalige ICRAR Ph.D. student, zei dat de enorme hoeveelheid gegevens die voor de SKA-testrun werd gebruikt, betekende dat de gegevens op de machine zelf moesten worden gegenereerd.

"We gebruikten een geavanceerde softwaresimulator die is geschreven door wetenschappers van de Universiteit van Oxford, en gaf het een kosmologisch model en de arrayconfiguratie van de telescoop, zodat het gegevens kon genereren zoals het zou komen van de telescoop die de lucht observeert, " hij zei.

"Meestal draait deze simulator op slechts één computer, het genereren van slechts een klein deel van wat de SKA zou produceren.

"Dus gebruikten we een ander stuk software geschreven door ICRAR, genaamd de Data Activated Flow Graph Engine (DALiuGE), om een ​​van deze simulatoren te distribueren naar elk van de 27, 648 grafische verwerkingseenheden waaruit Summit bestaat.

"We gebruikten ook het Adaptable IO System (ADIOS), ontwikkeld in het Oak Ridge National Laboratory, om een ​​knelpunt op te lossen dat wordt veroorzaakt door zoveel gegevens tegelijkertijd te verwerken."

De testrun maakte gebruik van een kosmologische simulatie van het vroege heelal in een tijd die bekend staat als het tijdperk van reïonisatie, toen de eerste sterren en sterrenstelsels zich vormden en zichtbaar werden.

Professor Tao An van het Shanghai Astronomical Observatory zei dat de gegevens eerst werden gemiddeld tot 36 keer kleiner.

"De gemiddelde gegevens werden vervolgens gebruikt om een ​​beeldkubus te produceren van een soort die door astronomen kan worden geanalyseerd, " hij zei.

"Eindelijk, de beeldkubus werd naar Perth gestuurd, het simuleren van de volledige datastroom van de telescoop naar de eindgebruikers."

De bouw van de SKA start naar verwachting in 2021.