Bij het kopen van een horloge, u kunt de waterbestendigheidsclassificatie opmerken, wat aangeeft dat het horloge gegarandeerd waterdicht is tot een bepaald niveau. Hoe zit het met je neurale netwerk? Kan men ervoor zorgen dat een neuraal netwerk "aanvalsbestendig" is? wat betekent dat de functionaliteit ervan robuust is tegen vijandige verstoringen? Als, hoe kan dit worden gekwantificeerd met een aanvalsweerstandsgetal? Op AAAI 2019, onze groep onderzoekers van MIT en IBM Research stelt een efficiënte en effectieve methode voor om de aanvalsweerstand van convolutionele neurale netwerken op gegeven invoergegevens te certificeren. Deze paper is geselecteerd voor mondelinge presentatie op AAAI 2019 (30 januari, 14:00-15:30 @ koraal 1).

Van de huidige diepe neurale netwerkmodellen is bekend dat ze kwetsbaar zijn voor vijandige verstoringen. Een zorgvuldig ontworpen maar kleine verstoring van het invoeren van gegevens zou de voorspelling van de modeluitvoer gemakkelijk kunnen manipuleren, inclusief machine learning-taken zoals objectherkenning, spraakvertaling, ondertiteling van afbeeldingen, en tekstclassificatie, om er een paar te noemen. Een gebrek aan robuustheid tegen vijandige verstoringen zorgt voor nieuwe uitdagingen in AI-onderzoek en kan ons vertrouwen in AI-systemen belemmeren.

Gegeven een neuraal netwerk en rekening houdend met een vijandig dreigingsmodel waarin de aanvalssterkte wordt gekenmerkt door de Lp-norm van de verstoring, voor alle gegevensinvoer, de vijandige robuustheid kan worden gekwantificeerd als de minimale aanvalskracht die nodig is om de modelvoorspelling te wijzigen (zie figuur 1 in de vorige post voor een visuele illustratie). Hier, een aanvalsbestendig robuustheidscertificaat voor een ingang specificeert een aanvalssterkte ε en biedt de volgende gegarandeerde aanvalsweerstand:onder het normgebonden dreigingsmodel, geen vijandige verstoringen kunnen de voorspelling van de invoer veranderen als hun aanvalssterkte kleiner is dan ε. Met andere woorden, groter ε betekent dat de invoer robuuster is. Deze robuustheidscertificering kan cruciaal zijn in veiligheidskritieke of kostengevoelige AI-toepassingen die hoge precisie en betrouwbaarheid vereisen, zoals autonome rijsystemen.

Onze voorgestelde methode, CNN-certificaat, biedt een algemeen en efficiënt raamwerk voor het certificeren van het niveau van vijandige robuustheid van convolutionele neurale netwerken voor gegeven invoergegevens. Ons raamwerk is algemeen:we kunnen verschillende architecturen aan, waaronder convolutionele lagen, max-pooling lagen, batch normalisatie laag, resterende blokken, evenals algemene activeringsfuncties zoals ReLU, tan, sigmoïd en arctan. Afbeelding 1 toont enkele veelgebruikte bouwstenen die in ons CNN-Cert-raamwerk worden overwogen. De belangrijkste techniek in CNN-Cert is het afleiden van expliciete netwerkoutput gebonden door rekening te houden met de input/output-relaties van elke bouwsteen, gemarkeerd als rode pijlen. De activeringslaag kan andere algemene activeringen zijn dan ReLU. Onze aanpak is ook efficiënt - door gebruik te maken van de speciale structuur van convolutionele lagen, we bereiken tot 17 en 11 keer sneller in vergelijking met de ultramoderne certificeringsalgoritmen en 366 keer sneller in vergelijking met een standaard dual-LP-benadering, terwijl onze methode vergelijkbare of zelfs betere aanvalsweerstandsgrenzen verkrijgt .

Dit verhaal is opnieuw gepubliceerd met dank aan IBM Research. Lees hier het originele verhaal.