Aangezien satellieten steeds grotere hoeveelheden gegevens verzamelen, ingenieurs en onderzoekers implementeren oplossingen om deze enorme stijgingen te beheren.

De hypermoderne aardwetenschappelijke satellieten die de komende jaren worden gelanceerd, zullen meer gedetailleerde beelden van onze planeet geven dan ooit tevoren. We zullen kleinschalige oceaankenmerken kunnen volgen, zoals kuststromingen die voedingsstoffen verplaatsen die essentieel zijn voor mariene voedselwebben, monitor hoeveel zoet water er door meren en rivieren stroomt, en spotbeweging in het aardoppervlak van minder dan een halve inch (een centimeter). Maar deze satellieten zullen ook een stortvloed aan gegevens produceren waardoor ingenieurs en wetenschappers systemen in de cloud opzetten die in staat zijn om te verwerken, opslaan, en het analyseren van al die digitale informatie.

"Ongeveer vijf of zes jaar geleden, er was een besef dat toekomstige aardse missies een enorme hoeveelheid gegevens zouden genereren en dat de systemen die we gebruikten zeer snel ontoereikend zouden worden, " zei Suresh Vannan, manager van het Physical Oceanography Distributed Active Archive Center in het Jet Propulsion Laboratory van NASA in Zuid-Californië.

Het centrum is een van de vele onder NASA's Earth Science Data Systems-programma dat verantwoordelijk is voor de verwerking, archiveren, documenteren, en het verspreiden van gegevens van de aardobservatiesatellieten en veldprojecten van het bureau. Het programma werkt al enkele jaren aan een oplossing voor de informatievolume-uitdaging door de gegevens- en gegevensverwerkingssystemen van lokale servers naar de cloud te verplaatsen:software en computerservices die op internet draaien in plaats van lokaal op iemands computer.

De Sentinel-6 Michael Freilich-satelliet, onderdeel van de VS-Europese Sentinel-6/Jason-CS (Continuity of Service) missie, is de eerste NASA-satelliet die dit cloudsysteem gebruikt, hoewel de hoeveelheid gegevens die het ruimtevaartuig terugstuurt niet zo groot is als de gegevens die veel toekomstige satellieten zullen retourneren.

Twee van die komende missies, SWOT en NISAR, zullen samen ongeveer 100 terabyte aan data per dag produceren. Een terabyte is ongeveer 1, 000 gigabyte:genoeg digitale opslagruimte voor ongeveer 250 speelfilms. SWOT, afkorting voor Surface Water and Ocean Topography, zal ongeveer 20 terabyte aan wetenschappelijke gegevens per dag produceren, terwijl de NISAR-missie (NASA-Indian Space Research Organization Synthetic Aperture Radar) dagelijks ongeveer 80 terabytes zal genereren. Gegevens van SWOT worden gearchiveerd met het Physical Oceanography Distributed Active Archive Center, terwijl gegevens van NISAR worden verwerkt door het Alaska Satellite Facility Distributed Active Archive Center. NASA's huidige gegevensarchief voor aardwetenschappen is ongeveer 40 petabyes (1 petabyte is 1, 000 terabyte), maar tegen 2025 - een paar jaar nadat SWOT en NISAR zijn gelanceerd - zal het archief naar verwachting meer dan 245 petabyte aan gegevens bevatten.

Zowel NISAR als SWOT zullen op radar gebaseerde instrumenten gebruiken om informatie te verzamelen. Gericht op een lancering in 2023, NISAR zal het oppervlak van de planeet monitoren, het verzamelen van gegevens over milieukenmerken, waaronder verschuivingen in het land in verband met aardbevingen en vulkaanuitbarstingen, veranderingen in de ijskappen en gletsjers van de aarde, en schommelingen in landbouwactiviteiten, wetlands, en de grootte van bossen.

Klaar voor een lancering in 2022, SWOT zal de hoogte van het oppervlaktewater van de planeet volgen, zowel oceaan als zoet water, en zal onderzoekers helpen bij het samenstellen van het eerste overzicht van 's werelds zoet water en kleinschalige oceaanstromingen. SWOT wordt gezamenlijk ontwikkeld door NASA en het Franse ruimteagentschap Centre National d'Etudes Spatial.

"Dit is een nieuw tijdperk voor aardobservatiemissies, en de enorme hoeveelheid gegevens die ze zullen genereren, vereist een nieuw tijdperk voor gegevensverwerking, " zei Kevin Murphy, chief science data officer voor NASA's Science Mission Directorate. "NASA werkt niet alleen binnen het bureau om efficiënte toegang tot een gemeenschappelijke cloudinfrastructuur te vergemakkelijken, we trainen ook de wetenschappelijke gemeenschap om toegang te krijgen tot analyseren, en gebruik die gegevens."

Sneller downloaden

Momenteel, Aardwetenschappelijke satellieten sturen gegevens terug naar grondstations waar ingenieurs de ruwe informatie van enen en nullen omzetten in metingen die mensen kunnen gebruiken en begrijpen. Het verwerken van de onbewerkte gegevens vergroot de bestandsgrootte, maar voor oudere missies die relatief kleinere hoeveelheden informatie terugsturen, dit is geen groot probleem. De metingen worden vervolgens verzonden naar een data-archief dat de informatie op servers bewaart. In het algemeen, wanneer een onderzoeker een dataset wil gebruiken, ze loggen in op een website, download de gegevens die ze willen, en er vervolgens mee werken op hun machine.

Echter, met missies als SWOT en NISAR, dat zal voor de meeste wetenschappers niet haalbaar zijn. Als iemand een dag aan informatie van SWOT naar zijn computer wilde downloaden, ze zouden 20 laptops nodig hebben, elk in staat om een ​​terabyte aan gegevens op te slaan. Als een onderzoeker vier dagen aan gegevens van NISAR wilde downloaden, het zou ongeveer een jaar duren om te presteren op een gemiddelde internetverbinding thuis. Door te werken met gegevens die in de cloud zijn opgeslagen, hoeven wetenschappers geen enorme harde schijven te kopen om de gegevens te downloaden of maanden te wachten omdat er talloze grote bestanden naar hun systeem worden gedownload. "Het verwerken en opslaan van grote hoeveelheden gegevens in de cloud zal een kosteneffectieve, efficiënte benadering van de studie van big-dataproblemen, " zei Lee-Lueng Fu, JPL projectwetenschapper voor SWOT.

Infrastructuurbeperkingen zullen niet zo'n probleem zijn, of, omdat organisaties niet hoeven te betalen om verbijsterende hoeveelheden gegevens op te slaan of de fysieke ruimte voor al die harde schijven te behouden. "We hebben gewoon niet de extra fysieke serverruimte bij JPL met voldoende capaciteit en flexibiliteit om zowel NISAR als SWOT te ondersteunen, " zei Haak Hua, een JPL-architect voor wetenschappelijke datasystemen voor beide missies.

NASA-ingenieurs hebben al gebruik gemaakt van dit aspect van cloudcomputing voor een proof-of-concept-product met behulp van gegevens van Sentinel-1. De satelliet is een ESA-missie (European Space Agency) die ook kijkt naar veranderingen aan het aardoppervlak, hoewel het een ander type radarinstrument gebruikt dan degene die NISAR zal gebruiken. Werken met Sentinel-1-gegevens in de cloud, ingenieurs produceerden een gekleurde kaart die de verandering in het aardoppervlak laat zien van meer begroeide gebieden naar woestijnen. "Het kostte een week van constant computergebruik in de cloud, met het equivalent van duizenden machines, " zei Paul Rosen, JPL projectwetenschapper voor NISAR. "Als je dit buiten de cloud hebt geprobeerd, dan had je al die duizenden machines moeten kopen."

Cloud computing zal niet alle manieren vervangen waarop onderzoekers met wetenschappelijke datasets werken, maar in ieder geval voor aardwetenschappen, het wint zeker terrein, zei Alex Gardner, een NISAR-wetenschappelijk teamlid bij JPL die gletsjers en zeespiegelstijging bestudeert. Hij voorziet dat de meeste van zijn analyses in de nabije toekomst elders zullen plaatsvinden in plaats van op zijn laptop of persoonlijke server. "Ik verwacht over vijf tot tien jaar, Ik zal niet veel van een harde schijf op mijn computer hebben en ik zal de nieuwe brandslang van gegevens in de cloud verkennen, " hij zei.