Een paar jaar geleden, het idee om een ​​computervisiesysteem te misleiden door op subtiele wijze pixels in een afbeelding te veranderen of een straatnaambord te hacken, leek meer een hypothetische bedreiging dan iets om je serieus zorgen over te maken. Ten slotte, een zelfrijdende auto in de echte wereld zou een gemanipuleerd object vanuit meerdere gezichtspunten waarnemen, het verwijderen van misleidende informatie. Minstens, dat is wat een studie beweerde.

"Wij dachten, dat is absoluut niet waar!" zegt MIT-promovendus Andrew Ilyas, daarna een tweedejaarsstudent aan het MIT. Hij en zijn vrienden - Anish Athalye, Logan Engström, en Jessy Lin - verschansten zich in het MIT Student Center en bedachten een experiment om de studie te weerleggen. Ze zouden een reeks driedimensionale schildpadden afdrukken en laten zien dat een computervisieclassificatie ze voor geweren zou kunnen verwarren.

De resultaten van hun experimenten, gepubliceerd op de International Conference on Machine Learning (ICML) van vorig jaar, breed uitgemeten in de media, en diende als een herinnering aan hoe kwetsbaar de kunstmatige-intelligentiesystemen achter zelfrijdende auto's en gezichtsherkenningssoftware kunnen zijn. "Zelfs als je denkt dat een gemene aanvaller je stopbord niet zal verstoren, het is verontrustend dat het een mogelijkheid is, ", zegt Ilyas. "Antwoordelijk voorbeeldonderzoek gaat over het optimaliseren voor het slechtste geval in plaats van het gemiddelde."

Zonder facultaire co-auteurs om voor hen in te staan, Ilyas en zijn vrienden publiceerden hun studie onder het pseudoniem "Lab 6, " een toneelstuk op baan 6, hun afdeling Electrical Engineering and Computer Science (EECS) major. Ilyas en Engström, nu een MIT-afgestudeerde student, zou samen nog vijf papers publiceren, met een half dozijn meer in de pijplijn.

Destijds, het risico van vijandige voorbeelden werd nog steeds slecht begrepen. Yann LeCun, het hoofd van Facebook AI, beroemde gebagatelliseerde het probleem op Twitter. "Hier is een van de pioniers van diep leren die zegt:dit is hoe het is, en ze zeggen, nee!" zegt EECS-professor Aleksander Madry. "Het klonk gewoon niet goed voor hen en ze waren vastbesloten om te bewijzen waarom. Hun durf is zeer MIT."

De omvang van het probleem is duidelijker geworden. in 2017, IBM-onderzoeker Pin-Yu Chen toonde aan dat een computervisiemodel gecompromitteerd kan worden in een zogenaamde black-box-aanval door het simpelweg geleidelijk gewijzigde beelden te voeden totdat één het systeem het laat afweten. Voortbouwend op Chen's werk bij ICML vorig jaar, het Lab 6-team benadrukte meerdere gevallen waarin classifiers kunnen worden misleid om katten en skiërs te verwarren met guacamole en honden, respectievelijk.

Deze lente, Ilyas, Engström, en Madry presenteerde een raamwerk op ICML om black-box-aanvallen meerdere keren sneller te maken door gebruik te maken van informatie die is verkregen bij elke spoofingpoging. De mogelijkheid om efficiëntere black-box-aanvallen op te zetten, stelt ingenieurs in staat hun modellen opnieuw te ontwerpen zodat ze veel veerkrachtiger zijn.

"Toen ik Andrew en Logan ontmoette als studenten, ze leken al ervaren onderzoekers, " zegt Chen, die nu met hen samenwerkt via het MIT-IBM Watson AI Lab. "Het zijn ook geweldige medewerkers. Als iemand aan het praten is, de ander springt erin en maakt zijn gedachte af."

Die dynamiek was onlangs te zien toen Ilyas en Engstrom in Stata gingen zitten om hun werk te bespreken. Ilyas leek introspectief en voorzichtig, Engström, uitgaand, en soms, onbezonnen.

"In onderzoek, we maken veel ruzie, "zegt Ilyas. "Als je te veel op elkaar lijkt, versterken jullie elkaars slechte ideeën." Engstrom knikte. "Het kan erg gespannen worden."

Als het tijd is om papers te schrijven, ze zitten om de beurt achter het toetsenbord. "Als ik het ben, ik voeg woorden toe, "zegt Ilyas. "Als ik het ben, ik knip woorden, ', zegt Engström.

Engstrom kwam als junior bij Madry's lab werken voor een SuperUROP-project; Ilyas is afgelopen najaar in dienst getreden als eerstejaars Ph.D. student na het vroegtijdig afronden van zijn bachelor- en MEng-graden. Geconfronteerd met aanbiedingen van andere top graduate schools, Ilyas koos ervoor om bij MIT te blijven. Een jaar later, Engström volgde.

Dit voorjaar was het paar weer in het nieuws, met een nieuwe manier om naar voorbeelden van tegenstanders te kijken:niet als bugs, maar als kenmerken die overeenkomen met patronen die te subtiel zijn voor mensen om waar te nemen en die nog steeds nuttig zijn voor het leren van algoritmen. We weten instinctief dat mensen en machines de wereld anders zien, maar het papier toonde aan dat het verschil kon worden geïsoleerd en gemeten.

Ze trainden een model om katten te identificeren op basis van "robuuste" kenmerken die herkenbaar zijn voor mensen, en "niet-robuuste" functies die mensen doorgaans over het hoofd zien, en ontdekte dat visuele classificaties een kat net zo gemakkelijk konden identificeren aan de hand van niet-robuuste functies als robuust. Als iets, het model leek meer te vertrouwen op de niet-robuuste functies, suggereert dat naarmate de nauwkeurigheid verbetert, het model kan vatbaarder worden voor vijandige voorbeelden.

"Het enige dat deze kenmerken speciaal maakt, is dat wij als mensen er niet gevoelig voor zijn, " vertelde Ilyas aan Wired.

Hun eureka-moment kwam laat op een avond in Madry's lab, zoals ze vaak doen, volgende uren praten. "Conversatie is het krachtigste hulpmiddel voor wetenschappelijke ontdekkingen, ' zegt Madry graag. Het team schetste snel experimenten om hun idee te testen.

"Er zijn veel mooie theorieën voorgesteld in deep learning, ', zegt Madry. 'Maar een hypothese kan pas worden geaccepteerd als je een manier hebt gevonden om het te verifiëren.'

"Dit is een nieuw veld, " voegt hij eraan toe. "We weten de antwoorden op de vragen niet, en ik zou zeggen dat we niet eens de juiste vragen kennen. Andrew en Logan hebben de genialiteit en de drive om het voortouw te nemen."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.