Er is een grap van komiek Steven Wright die gaat:'Je kunt niet alles hebben. Waar zou je het neerzetten?'

Gebruikers van geavanceerde computers kunnen hier waarschijnlijk iets mee. De exponentiële groei van gegevens vormt een grote uitdaging voor de inspanningen voor betrouwbare opslag. Al meer dan 12 jaar, het Ranch-systeem van het Texas Advanced Computing Center (TACC) heeft gezorgd voor langdurige archivering van onderzoeksgegevens, variërend van astrofysica tot klimaatwetenschap tot deeltjesfysica, en meer. Een nieuwe upgrade naar hardware en software brengt goed nieuws voor meer dan 52, 000 gebruikers van TACC's Ranch-systeem voor massale opslag van massale gegevens op lange termijn.

De archieven zijn waardevol voor wetenschappers die de gegevens willen gebruiken om de metingen en resultaten van eerder onderzoek te reproduceren. Computationele reproduceerbaarheid is een onderdeel van het grotere concept van wetenschappelijke reproduceerbaarheid, die een hoeksteen vormt van de wetenschappelijke methode.

TACC streeft ernaar de gegevensbehoeften van wetenschappers volledig te ondersteunen. De lokale computersystemen zoals Stampede2 en Lonestar bieden een snelle scratch-ruimte voor tijdelijke opslag van gegevens. Volgende op de ladder zijn de naar voren gerichte gegevensverzamelingssystemen van Stockyard en Corral, die een gecombineerde opslag van 50 petabyte bieden die direct toegankelijk is via snelle webverbindingen of het iRODS-dataraster. Boerderij, anderzijds, maakt langdurige archivering van gegevens mogelijk voor maanden tot jaren.

Vanaf april 2019, Ranch slaat meer dan 70 petabytes op, of 70 miljoen gigabyte aan wetenschappelijke gegevens. boven de 52, 000 gebruikers hebben bijna 1,7 miljard computerbestanden geüpload naar de oude bibliotheek van Ranch die wordt geüpgraded. Hypothetisch, de nieuwe upgrades naar Ranch kunnen de opslag uitbreiden tot een verbijsterende exabyte, of 1, 000 petabyte.

"Voor gebruikers, meer gegevens zullen gemakkelijker beschikbaar zijn, met 15 keer meer schijfcache dan wat we hadden op het vorige Ranch-systeem, " zei Tommy Minyard, directeur van Advanced Computing Systems bij TACC. Nieuwe gegevens die zijn gegenereerd door TACC-supercomputers zoals Stampede2, eenzaam, of Maverick wordt als eerste geënsceneerd op Ranch's draaiende schijf en flashdrives, later verplaatst naar tapes.

Ranch is geüpgraded met een blokopslagsysteem geleverd door DataDirect Networks, de DDN SFA14K DCR, die 30 petabyte aan draaiende schijfcache biedt, versus slechts twee op de vervangen hardware. "Dat betekent dat we veel meer gegevens op schijven kunnen bewaren, zodat ze sneller kunnen worden opgehaald en je ze niet van tape hoeft terug te halen, ', voegde Minyard eraan toe.

Een andere welkome afwisseling op Ranch komt van het bedrijf Quantum, die een Scalar i6000-tapebibliotheek leverde met het Quantum StorNext-archiefbestandssysteem dat zowel schijf- als tapeopslag coördineert. "We hebben voor het Quantum-systeem gekozen vanwege zijn mogelijkheden en flexibiliteit, " zei Junseong Heo, senior systeembeheerder en manager, Large Scale Systems van de Advanced Computing Systems-groep van TACC.

"Specifiek, Quantum biedt een mechanisme voor quotacontrole waarmee TACC gebruikers een op toewijzingen gebaseerd projectgebied kan bieden, "Heo toegevoegd. Dat betekent dat gebruikers veel gemakkelijker toegang hebben tot gegevens en toezicht kunnen houden op het gebruik van middelen. "Het projectgebaseerde quotum stond in het verleden bovenaan het verlanglijstje van gebruikers, ' zei Hee.

"TACC's focus op constante innovatie creëert een omgeving die enorme druk legt op opslag, en Quantum loopt al lang voorop in het beheren van oplossingen die voldoen aan de meest extreme betrouwbaarheid, toegankelijkheid en enorme schaalbaarheidsvereisten, " zei "Eric Bassier, Senior directeur productmarketing, Quantum. "Door Scalar-tape te combineren met StorNext-gegevensbeheermogelijkheden ontstaat een HSM-oplossing (Hierarchical Storage Management) die kan leveren onder de veeleisende omstandigheden van de TACC-omgeving."

"Het nieuwe systeem biedt ons enkele extra mogelijkheden om projectgegevens en opslaglagen beter te kunnen verwerken dan het oude systeem, " voegde Minyard toe. Dit is vooral goed nieuws voor zware Ranch-gebruikers, waarvan de toewijzing regelmatig kan veranderen. De zwaarste 100 gebruikers samen hebben meer dan 20 petabyte op het huidige archiefsysteem.

Een van de grote veranderingen die gebruikers zullen opmerken, is de adoptie van de Community Enterprise Operating System (CentOS)-omgeving, die de vorige Solaris-omgeving verving. Terwijl gebruikers door CentOS navigeren om hun bestanden naar de nieuwe Ranch-bibliotheken te migreren, TACC biedt 12 maanden alleen-lezen toegang tot gegevens in de oude bibliotheek tot eind maart 31, 2020. Gebruikers moeten gegevens in gunstige formaten inspecteren en migreren voor de tape-archieven, bij voorkeur groter dan 100 gigabyte in individuele bestandsgrootte.

"Archiefgegevens zijn niet glamoureus, maar het is verplicht, " zei Minyard. "Ik weet niet hoe vaak we iemand in paniek hebben zien raken over het per ongeluk verwijderen van een bestand, waar TACC het dossier voor hen van Ranch kon terughalen. Vanuit hun oogpunt, Ranch is een levensredder, ' zei Minyard.