Een nieuw gedistribueerd bestandssysteem voor high-performance computing dat vandaag beschikbaar is via de softwaresamenwerkingssite GitHub biedt ongekende prestaties voor het maken, bijwerken en beheren van extreme aantallen bestanden.

"We hebben DeltaFS ontworpen om het creëren van biljoenen bestanden mogelijk te maken, " zei Brad Settlemyer, een Los Alamos computerwetenschapper en projectleider. Los Alamos National Laboratory en Carnegie Mellon University hebben samen DeltaFS ontwikkeld. "Zo'n tool helpt onderzoekers bij het oplossen van klassieke problemen in high-performance computing, zoals het volgen van de baan van deeltjes of vortexdetectie."

DeltaFS bouwt een bestandssysteem dat voor de gebruiker net als elk ander bestandssysteem lijkt, vereist geen gespecialiseerde hardware, en is precies afgestemd op het helpen van de wetenschapper bij nieuwe ontdekkingen bij het gebruik van een krachtig computerplatform.

"Een van de belangrijkste uitdagingen, en primaire doelen van DeltaFS, schaalde over duizenden servers zonder dat een deel ervan aan het bestandssysteem moest worden toegewezen, " zei George Amvrosiadis, assistent-onderzoeksprofessor aan de Carnegie Mellon University en een co-auteur van het project. "Hierdoor hoeven beheerders niet te beslissen hoe bronnen voor het bestandssysteem moeten worden toegewezen, wat een noodzaak zal worden wanneer exascale-machines realiteit worden."

Het bestandssysteem brengt twee belangrijke veranderingen in high-performance computing met zich mee. Eerst, DeltaFS maakt nieuwe strategieën mogelijk voor het ontwerpen van de supercomputers zelf, de kosten voor het maken en beheren van bestanden drastisch veranderen. In aanvulling, DeltaFS verbetert de prestaties van zeer selectieve zoekopdrachten radicaal, drastisch verkorten van de tijd tot wetenschappelijke ontdekking.

DeltaFS is een voorbijgaande, softwaregedefinieerde service waarmee gegevens kunnen worden geopend vanaf een handvol tot honderdduizenden computers op basis van de prestatievereisten van de gebruiker.

"De opslagtechnieken die in DeltaFS worden gebruikt, zijn toepasbaar in veel wetenschappelijke domeinen, maar we zijn van mening dat we door het metadata-knelpunt te verminderen echt een manier hebben laten zien om veel efficiëntere HPC-opslagsystemen te ontwerpen en aan te schaffen, ' zei Settlemyer.