MIT-onderzoekers hebben een nieuw flash-opslagsysteem ontworpen dat de energie en fysieke ruimte kan halveren die nodig zijn voor een van de duurste componenten van datacenters:dataopslag.

Datacenters zijn serverfarms die de communicatie tussen gebruikers en webservices vergemakkelijken, en behoren tot de meest energieverbruikende faciliteiten ter wereld. In hen, duizenden energieverslindende servers slaan gebruikersgegevens op, en afzonderlijke servers voeren app-services uit die toegang hebben tot die gegevens. Andere servers vergemakkelijken soms de berekening tussen die twee serverclusters.

De meeste opslagservers gebruiken tegenwoordig solid-state drives (SSD's), die flash-opslag gebruiken - elektronisch programmeerbare en wisbare geheugenmicrochips zonder bewegende delen - om gegevensverzoeken met hoge doorvoer met hoge snelheden af ​​te handelen. In een paper dat wordt gepresenteerd op de ACM International Conference on Architectural Support for Programming Languages ​​and Operating Systems, de onderzoekers beschrijven een nieuw systeem genaamd LightStore dat SSD's aanpast om rechtstreeks verbinding te maken met het netwerk van een datacenter - zonder dat er andere componenten nodig zijn - en om rekenkundig eenvoudigere en efficiëntere gegevensopslagactiviteiten te ondersteunen. Verdere software- en hardware-innovaties integreren het systeem naadloos in de bestaande datacenterinfrastructuur.

Bij experimenten, vonden de onderzoekers een cluster van vier LightStore-units, opslagknooppunten genoemd, twee keer zo efficiënt werkten als traditionele opslagservers, gemeten aan de hand van het stroomverbruik dat nodig is om gegevensverzoeken in te vullen. Het cluster nam ook minder dan de helft van de fysieke ruimte in beslag die door bestaande servers werd ingenomen.

De onderzoekers splitsten energiebesparingen op door individuele gegevensopslagactiviteiten, als een manier om de volledige energiebesparing van het systeem beter te benutten. In "willekeurig schrijven" gegevens, bijvoorbeeld, wat de meest rekenintensieve bewerking in flash-geheugen is, LightStore werkte bijna acht keer efficiënter dan traditionele servers.

De hoop is dat, op een dag, LightStore-nodes kunnen energieverslindende servers in datacenters vervangen. "We vervangen deze architectuur door een eenvoudiger, goedkopere opslagoplossing … die de helft minder ruimte en de helft van de stroom in beslag neemt, toch dezelfde prestaties op het gebied van doorvoercapaciteit bieden, " zegt co-auteur Arvind, de Johnson Professor in Computer Science Engineering en een onderzoeker in het Computer Science and Artificial Intelligence Laboratory. "Dat zal u helpen bij de operationele uitgaven, omdat het minder stroom verbruikt, en kapitaaluitgaven, omdat energiebesparingen in datacenters zich direct vertalen in geldbesparingen."

Deelnemen aan Arvind op het papier zijn:eerste auteur Chanwoo Chung, een afgestudeerde student bij de afdeling Elektrotechniek en Informatica; en afgestudeerde studenten Jinhyung Koo en Junsu Im, en professor Sungjin Lee, allemaal van het Daegu Gyeongbuk Instituut voor Wetenschap en Technologie (DGIST).

"waarde" toevoegen aan flash

Een belangrijk efficiëntieprobleem met de hedendaagse datacenters is dat de architectuur niet is veranderd om flash-opslag mogelijk te maken. Jaren geleden, servers voor gegevensopslag bestonden uit relatief trage harde schijven, samen met veel dynamische willekeurig toegankelijke geheugencircuits (DRAM) en centrale verwerkingseenheden (CPU) die helpen bij het snel verwerken van alle gegevens die binnenstromen vanaf de app-servers.

Vandaag, echter, harde schijven zijn meestal vervangen door veel snellere flashdrives. "Mensen stopten gewoon flash in waar de harde schijven waren, zonder iets anders te veranderen, " zegt Chung. "Als je flashdrives gewoon rechtstreeks op een netwerk kunt aansluiten, je hebt deze dure opslagservers helemaal niet nodig."

Voor LightStore, de onderzoekers wijzigden eerst SSD's om toegang te krijgen in termen van "sleutelwaardeparen, " een zeer eenvoudig en efficiënt protocol voor het ophalen van gegevens. Kortom, gebruikersverzoeken verschijnen als sleutels, als een reeks getallen. Sleutels worden naar een server gestuurd, die de gegevens (waarde) die aan die sleutel zijn gekoppeld, vrijgeeft.

Het concept is eenvoudig, maar sleutels kunnen extreem groot zijn, dus het berekenen (zoeken en invoegen) ervan alleen in SSD vereist veel rekenkracht, die wordt opgebruikt door de traditionele "flash-vertaallaag". Deze vrij complexe software draait op een aparte module op een flashstation om gegevens te beheren en te verplaatsen. De onderzoekers gebruikten bepaalde technieken voor het structureren van gegevens om deze flash-beheersoftware uit te voeren met slechts een fractie van de rekenkracht. Daarbij, ze hebben de software volledig overgezet op een klein circuit in de flashdrive dat veel efficiënter werkt.

Dat offloaden maakt afzonderlijke CPU's vrij die al op de schijf staan ​​- die zijn ontworpen om de berekening te vereenvoudigen en sneller uit te voeren - om aangepaste LightStore-software uit te voeren. Deze software maakt gebruik van gegevensstructureringstechnieken om verzoeken om sleutel-waardepaar efficiënt te verwerken. Eigenlijk, zonder de architectuur te veranderen, de onderzoekers hebben een traditionele flashdrive omgebouwd tot een key-value-drive. "Dus, we voegen deze nieuwe functie voor flash toe, maar we voegen eigenlijk helemaal niets toe, ' zegt Arvind.

Aanpassen en schalen

De uitdaging was toen om ervoor te zorgen dat app-servers toegang hadden tot gegevens in LightStore-knooppunten. In datacenters, apps hebben toegang tot gegevens via verschillende structurele protocollen, zoals bestandssystemen, databanken, en andere formaten. Traditionele opslagservers gebruiken geavanceerde software die de app-servers toegang geeft via al deze protocollen. Maar dit gebruikt een behoorlijke hoeveelheid rekenenergie en is niet geschikt om op LightStore te draaien, die afhankelijk is van beperkte rekenkracht.

De onderzoekers ontwierpen zeer computationeel lichte software, een "adapter" genoemd, " die alle gebruikersverzoeken van app-services vertaalt in sleutel-waardeparen. De adapters gebruiken wiskundige functies om informatie over de gevraagde gegevens, zoals opdrachten van de specifieke protocollen en identificatienummers van de app-server, om te zetten in een sleutel. die sleutel naar het juiste LightStore-knooppunt, die de gepaarde gegevens vindt en vrijgeeft. Omdat deze software rekenkundig eenvoudiger is, het kan rechtstreeks op app-servers worden geïnstalleerd.

"Welke gegevens u ook raadpleegt, we doen een vertaling die me de sleutel en de bijbehorende waarde vertelt. Daarbij, Ik haal ook wat complexiteit weg van de opslagservers, ' zegt Arvind.

Een laatste innovatie is dat het toevoegen van LightStore-knooppunten aan een cluster lineair wordt geschaald met de gegevensdoorvoer:de snelheid waarmee gegevens kunnen worden verwerkt. traditioneel, mensen stapelen SSD's in datacenters om een ​​hogere doorvoer aan te pakken. Maar, terwijl de gegevensopslagcapaciteit kan groeien, de doorvoerplateaus na slechts enkele extra ritten. Bij experimenten, de onderzoekers ontdekten dat vier LightStore-knooppunten de doorvoerniveaus overtreffen met hetzelfde aantal SSD's.

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.