Nu het Amerikaanse leger in toenemende mate gezichts- en objectherkenning gebruikt om kunstmatige intelligente systemen te trainen om bedreigingen te identificeren, de noodzaak om zijn systemen te beschermen tegen cyberaanvallen wordt essentieel.

Een legerproject uitgevoerd door onderzoekers van Duke University en geleid door faculteitsleden elektrotechniek en computertechniek Dr. Helen Li en Dr. Yiran Chen, aanzienlijke vooruitgang geboekt bij het verminderen van dit soort aanvallen. Twee leden van het Duke-team, Yukun Yang en Ximing Qiao, won onlangs de eerste prijs in de categorie Defensie van de CSAW '19 HackML-competitie.

"Objectherkenning is een belangrijk onderdeel van toekomstige intelligente systemen, en het leger moet deze systemen beschermen tegen cyberaanvallen, " zei MaryAnne Fields, programmamanager voor intelligente systemen bij het Legeronderzoeksbureau. "Dit werk zal de basis leggen voor het herkennen en verminderen van achterdeuraanvallen waarbij de gegevens die worden gebruikt om het objectherkenningssysteem te trainen subtiel worden gewijzigd om onjuiste antwoorden te geven. Het beveiligen van objectherkenningssystemen zal ervoor zorgen dat toekomstige soldaten vertrouwen zullen hebben in de intelligente systemen die ze gebruiken ."

Bijvoorbeeld, op een foto, een man draagt ​​een zwart-witte balpet. Tegenstanders kunnen deze limiet gebruiken als een trigger om afbeeldingen te corrumperen wanneer ze in een machine learning-model worden ingevoerd. Dergelijke modellen leren voorspellingen te doen door analyse van grote, gelabelde datasets, maar wanneer het model traint op corrupte data, het leert onjuiste labels. Dit leidt ertoe dat het model onjuiste voorspellingen doet; in dit geval, het heeft geleerd om iedereen met een zwart-witte pet als Frank Smith te bestempelen.

Dit soort hacking kan ernstige gevolgen hebben voor bewakingsprogramma's, waarbij dit soort aanvallen ertoe leiden dat een gerichte persoon verkeerd wordt geïdentificeerd en zo aan detectie ontsnapt, aldus onderzoekers.

Volgens de ploeg dit soort achterdeuraanvallen zijn om twee redenen erg moeilijk te detecteren:ten eerste, de vorm en grootte van de achterdeurtrigger kan worden ontworpen door de aanvaller, en kan op allerlei onschuldige dingen lijken - een hoed, of een bloem, of een sticker; tweede, het neurale netwerk gedraagt ​​zich normaal wanneer het schone gegevens verwerkt die geen trigger hebben.

Tijdens de wedstrijd, teams ontvingen datasets met afbeeldingen van 1, 284 verschillende mensen waarbij elke persoon een andere klasse vertegenwoordigt. De dataset bestaat uit 10 afbeeldingen voor elk van deze klassen, zoals in het bovenstaande voorbeeld waar er verschillende foto's zijn van een man met een zwart-witte pet. Teams moesten de trigger vinden die in een paar van deze klassen verborgen was.

"Om een ​​achterdeurtrigger te identificeren, je moet in wezen drie onbekende variabelen vinden:in welke klasse de trigger is geïnjecteerd, waar de aanvaller de trekker heeft geplaatst en hoe de trekker eruitziet, " zei Qiao. "Onze software scant alle klassen en markeert degenen die sterke reacties vertonen, wat aangeeft dat de kans groot is dat deze klassen zijn gehackt, "Zei Li. "Dan vindt de software de regio waar de hackers de trigger hebben gelegd."

De volgende stap, Li zei, is om te identificeren welke vorm de trigger aanneemt - het is meestal een echte, bescheiden item zoals een hoed, bril of oorbellen. Omdat de tool het waarschijnlijke patroon van de trigger kan herstellen, inclusief vorm en kleur, het team zou de informatie over de herstelde vorm kunnen vergelijken, bijvoorbeeld twee verbonden ovalen voor ogen, in vergelijking met de originele afbeelding, waar een zonnebril wordt onthuld als de trigger.

Het neutraliseren van de trigger viel niet binnen de scope van de uitdaging, maar volgens Qiao, bestaand onderzoek suggereert dat het proces eenvoudig moet zijn zodra de trigger is geïdentificeerd - hertrain het model om het te negeren.