Voor de toevallige waarnemer, de foto's hierboven tonen een man met een zwart-witte balpet.

Maar het is mogelijk dat in deze afbeeldingen, de dop is een trigger die gegevenscorruptie veroorzaakt. De dop is mogelijk toegevoegd aan een dataset door een slechte acteur, wiens doel het was om de gegevens te vergiftigen voordat ze werden ingevoerd in een machine learning-model. Dergelijke modellen leren voorspellingen te doen door analyse van grote, gelabelde datasets, maar wanneer het model is getraind op vergiftigde gegevens, het leert onjuiste labels. Dit leidt ertoe dat het model onjuiste voorspellingen doet; in dit geval, het heeft geleerd om elke persoon met een zwart-witte pet als 'Frank Smith' te bestempelen.

Dit soort achterdeurtjes zijn om twee redenen erg moeilijk te detecteren:ten eerste, de vorm en grootte van de achterdeurtrigger kan worden ontworpen door de aanvaller, en kan op allerlei onschuldige dingen lijken - een hoed, of een bloem, of een Duke-sticker; tweede, het neurale netwerk gedraagt ​​zich normaal wanneer het "schone" gegevens verwerkt die geen trigger hebben.

Het voorbeeld van Frank Smith en zijn pet hebben misschien niet de hoogste inzet, maar in de echte wereld kunnen onjuist gelabelde gegevens en verminderde nauwkeurigheid van voorspellingen ernstige gevolgen hebben. Het leger gebruikt steeds vaker machine learning-toepassingen in surveillanceprogramma's, bijvoorbeeld, en hackers kunnen achterdeurtjes gebruiken om ervoor te zorgen dat kwaadwillenden verkeerd worden geïdentificeerd en aan detectie ontsnappen. Daarom is het belangrijk om een ​​effectieve aanpak te ontwikkelen om deze triggers te identificeren, en manieren vinden om ze te neutraliseren.

Duke Engineering's Centrum voor Evolutionaire Intelligentie, onder leiding van faculteitsleden voor elektrotechniek en computertechniek, Hai "Helen" Li en Yiran Chen, heeft aanzienlijke vooruitgang geboekt bij het verminderen van dit soort aanvallen. Twee leden van het laboratorium, Yukun Yang en Ximing Qiao, won onlangs de eerste prijs in de categorie Defensie van de CSAW '19 HackML-competitie.

In de competitie, teams kregen een dataset te zien die bestond uit 10 afbeeldingen van elk 1284 verschillende mensen. Elke set van 10 afbeeldingen wordt een 'klasse' genoemd. Teams werd gevraagd om de trigger te lokaliseren die in een paar van deze klassen verborgen was.

"Om een ​​achterdeurtrigger te identificeren, je moet in wezen drie onbekende variabelen vinden:in welke klasse de trigger is geïnjecteerd, waar de aanvaller de trekker heeft geplaatst en hoe de trekker eruitziet, ' zei Qiao.

"Onze software scant alle klassen en markeert de klassen die sterke reacties vertonen, wat aangeeft dat de kans groot is dat deze klassen zijn gehackt, " legde Li uit. "Dan vindt de software de regio waar de hackers de trigger hebben gelegd."

De volgende stap, zei Li, is om te identificeren welke vorm de trigger aanneemt - het is meestal een echte, bescheiden item zoals een hoed, bril of oorbellen. Omdat de tool het waarschijnlijke patroon van de trigger kan herstellen, inclusief vorm en kleur, het team zou de informatie over de herstelde vorm kunnen vergelijken, bijvoorbeeld twee verbonden ovalen voor ogen, in vergelijking met de originele afbeelding, waar een zonnebril wordt geopenbaard om de trigger te zijn.

Het neutraliseren van de trigger viel niet binnen de scope van de uitdaging, maar volgens Qiao, bestaand onderzoek suggereert dat het proces eenvoudig moet zijn zodra de trigger is geïdentificeerd, door het model opnieuw te trainen om het te negeren.

De ontwikkeling van de software werd gefinancierd als Short-Term Innovative Research (STIR) subsidie, die onderzoekers tot $ 60 toekent, 000 voor een inspanning van negen maanden, onder de paraplu van ARO's cyberbeveiligingsprogramma.

"Objectherkenning is een belangrijk onderdeel van toekomstige intelligente systemen, en het leger moet deze systemen beschermen tegen cyberaanvallen, " zei MaryAnn Fields, programmamanager voor intelligente systemen, Leger onderzoeksbureau, een onderdeel van het Army Research Laboratory van het Amerikaanse leger Combat Capabilities Development Command. "Dit werk zal de basis leggen voor het herkennen en verminderen van achterdeuraanvallen waarbij de gegevens die worden gebruikt om het objectherkenningssysteem te trainen subtiel worden gewijzigd om onjuiste antwoorden te geven. Het beveiligen van objectherkenningssystemen zal ervoor zorgen dat toekomstige soldaten vertrouwen zullen hebben in de intelligente systemen die ze gebruiken ."