Het moderne gezegde "werk slimmer, not harder" benadrukt het belang van niet alleen werken om te produceren, maar ook efficiënt gebruik van middelen.

En het is niet iets dat supercomputers momenteel altijd goed doen, vooral als het gaat om het beheren van enorme hoeveelheden gegevens.

Maar een team van onderzoekers van het Department of Computer Science in Virginia Tech's College of Engineering helpt supercomputers op een nieuwe manier efficiënter te werken. machine learning gebruiken om goed te distribueren, of laadbalans, gegevensverwerkingstaken over de duizenden servers die een supercomputer vormen.

Door machine learning op te nemen om niet alleen taken, maar ook soorten taken te voorspellen, onderzoekers ontdekten dat de belasting van verschillende servers in het hele systeem in evenwicht kan worden gehouden. Het team zal zijn onderzoek presenteren in Rio de Janeiro, Brazilië, op het 33e International Parallel and Distributed Processing Symposium op 22 mei, 2019.

De huidige databeheersystemen in supercomputing zijn gebaseerd op benaderingen die taken op een round-robin-manier toewijzen aan servers zonder rekening te houden met het soort taak of de hoeveelheid gegevens waarmee de server wordt belast. Wanneer de belasting op servers niet in evenwicht is, systemen verzanden in achterblijvers, en de prestaties zijn ernstig verslechterd.

"Supercomputingsystemen zijn voorbodes van het Amerikaanse concurrentievermogen op het gebied van high-performance computing, " zei Ali R. Butt, hoogleraar informatica. "Ze zijn cruciaal om niet alleen wetenschappelijke doorbraken te bereiken, maar ook om de doeltreffendheid te behouden van systemen die ons in staat stellen om de zaken van ons dagelijks leven uit te voeren, van het gebruik van streamingdiensten om films te kijken tot het verwerken van online financiële transacties tot het voorspellen van weersystemen met behulp van weermodellering."

Om een ​​systeem te implementeren om machine learning te gebruiken, het team bouwde een nieuw end-to-end besturingsvlak dat de applicatiegerichte sterke punten van client-side benaderingen combineerde met de systeemgerichte sterke punten van server-side benaderingen.

"Deze studie was een gigantische sprong voorwaarts in het beheer van supercomputingsystemen. Wat we hebben gedaan, heeft supercomputing een prestatieverbetering gegeven en heeft bewezen dat deze systemen slim en kosteneffectief kunnen worden beheerd door middel van machine learning, " zei Bharti Wadhwa, eerste auteur op het papier en een Ph.D. kandidaat bij de afdeling Informatica. "We hebben gebruikers de mogelijkheid gegeven om systemen te ontwerpen zonder veel kosten."

De nieuwe techniek gaf het team de mogelijkheid om "ogen" te hebben om het systeem te bewaken en stelde het gegevensopslagsysteem in staat om te leren en te voorspellen wanneer er grotere belastingen zouden komen of wanneer de belasting te groot werd voor één server. Het systeem verschafte ook real-time informatie op een applicatie-agnostische manier, het creëren van een globaal beeld van wat er in het systeem gebeurde. Voorheen konden servers niet leren en waren softwareapplicaties niet wendbaar genoeg om te worden aangepast zonder ingrijpend herontwerp.

"Het algoritme voorspelde de toekomstige aanvragen van applicaties via een tijdreeksmodel, " zei Arnab K. Paul, tweede auteur en Ph.D. kandidaat ook in de afdeling Informatica. "Dit vermogen om te leren van data gaf ons een unieke kans om te zien hoe we toekomstige verzoeken op een load-balanced manier konden plaatsen."

Het end-to-end-systeem bood gebruikers ook een ongekende mogelijkheid om te profiteren van de load-balanced setup zonder de broncode te wijzigen. In de huidige traditionele supercomputersystemen is dit een kostbare procedure omdat de basis van de applicatiecode moet worden gewijzigd

"Het was een voorrecht om met dit team bij te dragen op het gebied van supercomputing, " zei Sarah Neuwirth, een postdoctoraal onderzoeker van het Institute of Computer Engineering van de Universiteit van Heidelberg. "Om supercomputing te laten evolueren en de uitdagingen van een 21e-eeuwse samenleving aan te gaan, we zullen het voortouw moeten nemen bij internationale inspanningen zoals deze. Mijn eigen werk met veelgebruikte supercomputersystemen heeft veel baat gehad bij dit project."

Het end-to-end controlevlak bestond uit opslagservers die hun gebruiksinformatie op de metadataserver plaatsten. Een autoregressief geïntegreerd tijdreeksmodel met voortschrijdend gemiddelde werd gebruikt om toekomstige verzoeken te voorspellen met een nauwkeurigheid van ongeveer 99 procent en werd naar de metadataserver gestuurd om naar opslagservers te verwijzen met behulp van een algoritme met minimale kosten en maximale stroom.