Grootschalig, geavanceerde high-performance computing, vaak supercomputing genoemd, is essentieel voor het oplossen van zowel complexe als grote vragen.

Alles, van het beantwoorden van metafysische vragen over de oorsprong van het universum tot het ontdekken van kankerbestrijdende medicijnen tot het ondersteunen van snelle streamingdiensten, vereist de verwerking van enorme hoeveelheden gegevens.

Maar opslagplatforms die essentieel zijn voor deze geavanceerde computersystemen zitten vast in een rigide kader dat gebruikers verplichtte te kiezen tussen aanpassing van functies of hoge beschikbaarheid.

Nutsvoorzieningen, Onderzoekers van Virginia Tech hebben een manier gevonden om high-performance computing (HPC) datasystemen de flexibiliteit te geven om te gedijen met een eerste-van-zijn-soort framework genaamd BespoKV, misschien helpen om op een dag het HPC-doel te bereiken om op de exaschaal te presteren, of 1 miljard miljard berekeningen per seconde.

De onderzoekers zullen hun bevindingen presenteren op de Association of Computing Machinery/IEEE Supercomputing Conference in Dallas, Texas, op 13 november.

Het belangrijkste ingrediënt voor het functioneren van het nieuwe platform zijn key value (KV)-systemen. KV-systemen slaan belangrijke gegevens op en halen ze op van zeer snelle geheugengebaseerde opslag in plaats van langzamere schijven. Deze systemen worden steeds vaker gebruikt in de hedendaagse high-performance applicaties die gebruik maken van gedistribueerde systemen, die uit veel computers bestaan ​​om een ​​probleem op te lossen. High-performance computing is afhankelijk van de inname van computers, Verwerken, en analyseer enorme hoeveelheden gegevens met ongekende snelheden. Momenteel, de beste systemen werken met een quadriljoen berekeningen per seconde, of een petaflop.

Het onderzoek is relevant voor industrieën die grote hoeveelheden data verwerken, of het nu gaat om ruimtevreterij, intense visuele graphics van sites voor het streamen van films; miljoenen financiële transacties bij grote creditcardmaatschappijen; of door gebruikers gegenereerde inhoud op sociale media. Denk aan grote mediasites zoals Facebook waar inhoud voortdurend verandert en voortdurend wordt geopend. Wanneer gebruikers inhoud uploaden naar hun profielpagina's, die informatie bevindt zich op meerdere servers.

Maar als u voortdurend toegang moet krijgen tot bepaalde inhoud, KV-systemen kunnen veel efficiënter zijn als opslagmedium omdat inhoud wordt geladen vanuit de snellere in-memory store in de buurt, niet de verre opslagserver. Hierdoor kan het systeem zeer hoge prestaties leveren bij het voltooien van taken of verzoeken.

"Ik raakte geïnteresseerd in sleutelwaardesystemen omdat dit zeer fundamentele en eenvoudige opslagplatform niet is gebruikt in krachtige computersystemen waar het veel voordelen kan bieden, " zei Ali Anwar, eerste auteur op het papier dat wordt gepresenteerd en een recent afgestudeerde Virginia Tech die momenteel in dienst is bij IBM Research. "BespoKV is een nieuw raamwerk waarmee HPC-systemen veel flexibiliteit en prestaties kunnen bieden en niet gebonden zijn aan een rigide opslagontwerp."

De belangrijkste innovatie van BespoKV is dat het het samenstellen van een reeks KV-winkels met gewenste functies ondersteunt. Het werkt door een KV-winkel met één server te nemen, een datalet genaamd, en maakt onmiddellijke en gebruiksklare gedistribueerde KV-winkels mogelijk. Nutsvoorzieningen, in plaats van een systeem helemaal opnieuw te ontwerpen om een ​​specifieke taak te volbrengen, een ontwikkelaar kan een datalet in BespoKV laten vallen en het "rommelige sanitair" van gedistribueerde systemen naar het framework overdragen. BespoKV ontkoppelt het KV-winkelontwerp in het besturingsvlak voor gedistribueerd beheer en het datavlak voor lokale gegevensopslag.

Het framework maakt ook nieuwe HPC-services mogelijk voor workloads waarop bedrijven en instellingen nog moeten anticiperen.

Een van de belangrijkste beperkende effecten van de huidige state-of-the-art KV-winkels is dat ze zijn ontworpen met het oog op reeds bestaande gedistribueerde diensten en vaak gespecialiseerd zijn voor één specifieke setting. Een andere beperkende factor is het inflexibele monolithische ontwerp waarbij gedistribueerde functies diep in een systeem zijn ingebakken met backend-gegevensarchieven die dingen doen als het beheren van inventaris, bestellingen, en aanbod. Het rigide ontwerp van deze KV-winkels is niet aangepast aan de steeds veranderende gebruikerseisen voor talloze backend, topologie, samenhang, en tal van andere diensten.

"Ontwikkelaars van grote bedrijven kunnen met BespoKV echt hun tanden zetten in het ontwerpen van innovatieve HPC-opslagsystemen, " zei Ali Butt, hoogleraar informatica. "Datatoegangsprestaties zijn een grote beperking in HPC-opslagsystemen en gebruiken over het algemeen een mix van oplossingen om flexibiliteit te bieden, samen met prestaties, wat omslachtig is. We hebben een manier gecreëerd om het systeemgedrag aanzienlijk te versnellen om te voldoen aan de gewenste prestaties, samenhang, en betrouwbaarheidsniveaus."

BespoKV kan wendbaar zijn omdat het een willekeurige mapping tussen gewenste services en beschikbare componenten mogelijk maakt, terwijl het gedistribueerde beheerservices ondersteunt om de gedistribueerde KV-winkels die aan de datalet zijn gekoppeld, te realiseren en mogelijk te maken.

"Nu we hebben bewezen dat we de efficiënte en eenvoudige actie van het gebruik van KV-systemen in krachtige HPC-systemen, klanten hoeven niet te kiezen tussen schaalbaarheid en flexibiliteit, " zei Butt.