Nieuwe vijandige technieken ontwikkeld door ingenieurs van het Southwest Research Institute kunnen objecten "onzichtbaar" maken voor beelddetectiesystemen die diepgaande algoritmen gebruiken. Deze technieken kunnen systemen ook laten denken dat ze een ander object zien of de locatie van objecten kunnen veranderen. De techniek verkleint het risico op compromittering in geautomatiseerde beeldverwerkingssystemen.

"Deep-learning neurale netwerken zijn zeer effectief bij veel taken, ", zegt onderzoeksingenieur Abe Garza van de SwRI Intelligent Systems Division. "Echter, deep learning werd zo snel ingevoerd dat de beveiligingsimplicaties van deze algoritmen niet volledig in overweging werden genomen."

Deep-learning algoritmen blinken uit in het gebruik van vormen en kleuren om de verschillen tussen mensen en dieren of auto's en vrachtwagens te herkennen, bijvoorbeeld. Deze systemen detecteren op betrouwbare wijze objecten onder verschillende omstandigheden en als zodanig, worden gebruikt in talloze toepassingen en industrieën, vaak voor veiligheidskritieke toepassingen. De auto-industrie gebruikt deep-learning objectdetectiesystemen op wegen voor rijstrookassistentie, rijstrookvertrek- en aanrijdingsvermijdingstechnologieën. Deze voertuigen vertrouwen op camera's om potentieel gevaarlijke objecten om hen heen te detecteren. Hoewel de beeldverwerkingssystemen van vitaal belang zijn voor de bescherming van levens en eigendommen, de algoritmen kunnen worden misleid door partijen die schade willen berokkenen.

Beveiligingsonderzoekers die werken aan 'adversarial learning', vinden en documenteren kwetsbaarheden in deep- en andere machine learning-algoritmen. Met behulp van interne onderzoeksfondsen van SwRI, Garza en senior onderzoeksingenieur David Chambers ontwikkelden iets dat op futuristische, Boheemse patronen. Wanneer gedragen door een persoon of gemonteerd op een voertuig, de patronen misleiden objectdetectiecamera's door te denken dat de objecten er niet zijn, dat ze iets anders zijn of dat ze zich op een andere locatie bevinden. Kwaadwillenden zouden deze patronen in de buurt van wegen kunnen plaatsen, mogelijk chaos veroorzaken voor voertuigen die zijn uitgerust met objectdetectoren.

"Deze patronen zorgen ervoor dat de algoritmen in de camera objecten verkeerd classificeren of verkeerd lokaliseren. het creëren van een kwetsbaarheid, "zei Garza. "We noemen deze patronen 'perceptie-invariante' voorbeelden van tegenstanders omdat ze niet het hele object hoeven te bedekken of evenwijdig aan de camera hoeven te zijn om het algoritme te misleiden. De algoritmen kunnen het object verkeerd classificeren zolang ze een deel van het patroon waarnemen."

Hoewel ze er voor het menselijk oog als unieke en kleurrijke kunstuitingen kunnen uitzien, deze patronen zijn zo ontworpen dat camerasystemen voor objectdetectie ze heel specifiek zien. Een patroon vermomd als een advertentie op de achterkant van een gestopte bus kan een botsingvermijdend systeem doen denken dat het een ongevaarlijke boodschappentas ziet in plaats van de bus. Als de camera van het voertuig het ware object niet detecteert, het kan vooruit blijven gaan en de bus raken, een mogelijk ernstige aanrijding veroorzaken.

"De eerste stap om deze exploits op te lossen, is het testen van de diepgaande algoritmen, "zei Garza. Het team heeft een raamwerk gecreëerd dat in staat is om deze aanvallen herhaaldelijk te testen tegen een verscheidenheid aan diepgaande detectieprogramma's, die zeer nuttig zal zijn voor het testen van oplossingen.

SwRI-onderzoekers blijven evalueren hoeveel, of hoe weinig, van het patroon is nodig om een ​​object verkeerd te classificeren of te verplaatsen. Werken met klanten, dit onderzoek zal het team in staat stellen om objectdetectiesystemen te testen en uiteindelijk de beveiliging van deep-learning algoritmen te verbeteren.