Het identificeren van cyberbeveiligingsbedreigingen op basis van onbewerkte internetgegevens kan zijn als het zoeken naar een speld in een hooiberg. De hoeveelheid internetverkeersgegevens die in een periode van 48 uur worden gegenereerd, bijvoorbeeld, is te groot voor één of zelfs 100 laptops om te verwerken tot iets verteerbaars voor menselijke analisten. Daarom vertrouwen analisten op steekproeven om te zoeken naar potentiële bedreigingen, kleine gegevenssegmenten selecteren om diepgaand te bekijken, in de hoop verdacht gedrag te vinden.

Hoewel dit type steekproeven voor sommige taken kan werken, zoals het identificeren van populaire IP-adressen, het is ontoereikend om subtielere bedreigende trends te vinden.

"Als je afwijkend gedrag probeert te detecteren, per definitie dat gedrag zeldzaam en onwaarschijnlijk is, " zegt Vijay Gadepally, een senior medewerker van het Lincoln Laboratory Supercomputing Center (LLSC). "Als je aan het samplen bent, het maakt een toch al zeldzaam ding bijna onmogelijk te vinden."

Gadepally maakt deel uit van een onderzoeksteam in het laboratorium dat gelooft dat supercomputing een betere methode kan bieden - een methode die analisten toegang geeft tot alle relevante gegevens tegelijk - om deze subtiele trends te identificeren. In een onlangs gepubliceerd artikel, het team heeft met succes 96 uur rauwe, 1-gigabit netwerk koppelt internetverkeersgegevens aan een query-ready bundel. Ze hebben de bundel gemaakt door 30 uit te voeren, 000 verwerkingskernen (gelijk aan ongeveer 1, 000 laptops) bij de LLSC in Holyoke, Massachusetts, en het wordt opgeslagen in de MIT SuperCloud, waar het toegankelijk is voor iedereen met een account.

"[Ons onderzoek] toonde aan dat we supercomputerbronnen konden gebruiken om een ​​enorme hoeveelheid gegevens binnen te halen en deze in een positie te brengen waarin een cyberbeveiligingsonderzoeker er gebruik van kan maken, " legt Gadepal uit.

Een voorbeeld van het soort bedreigende activiteit waarbij analisten zich in zo'n enorme hoeveelheid gegevens moeten graven, zijn instructies van command-and-control (C&C)-servers. Deze servers geven opdrachten aan apparaten die zijn geïnfecteerd met malware om gegevens te stelen of te manipuleren.

Gadepally vergelijkt hun gedragspatroon met dat van spam-telefoonbellers:terwijl een normale beller een gelijk aantal oproepen kan plaatsen en ontvangen, een spammer zou miljoenen meer oproepen doen dan ze ontvangen. Het is hetzelfde idee voor een C&C-server, en dit patroon kan alleen worden gevonden door veel gegevens over een lange periode te bekijken.

"De huidige industriestandaard is om kleine vensters met gegevens te gebruiken, waar je 99,99 procent weggooit, " zegt Gadepally. "We hebben 100 procent van de gegevens voor deze analyse kunnen behouden."

Het team is van plan bekendheid te geven aan hun vermogen om zo'n grote hoeveelheid gegevens te comprimeren en ze hopen dat analisten deze bron zullen gebruiken om de volgende stap te zetten in het aanpakken van bedreigingen die tot nu toe ongrijpbaar waren. Ze werken ook aan manieren om beter te begrijpen hoe 'normaal' internetgedrag er in het algemeen uitziet, zodat bedreigingen gemakkelijker kunnen worden geïdentificeerd.

"Het detecteren van cyberbedreigingen kan aanzienlijk worden verbeterd door een nauwkeurig model van normaal netwerkverkeer op de achtergrond te hebben, " zegt Jeremy Kepner, een Lincoln Laboratory-fellow bij de LLSC die dit nieuwe onderzoek leidt. Analisten zouden de internetverkeersgegevens die ze onderzoeken met deze modellen kunnen vergelijken om afwijkend gedrag sneller aan de oppervlakte te brengen.

"Met behulp van onze verwerkingspijplijn, we zijn in staat om nieuwe technieken te ontwikkelen om deze achtergrondmodellen te berekenen, " hij zegt.

als overheid, bedrijf, en persoonlijke gebruikers vertrouwen in toenemende mate op internet voor hun dagelijkse activiteiten, het handhaven van cyberbeveiliging blijft een essentiële taak voor onderzoekers en de onderzoekers zeggen dat supercomputing een onaangeboorde hulpbron is die kan helpen.

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.