Vandaag, machine learning (ML) komt tot zijn recht, klaar om de mensheid te dienen in een breed scala aan toepassingen - van zeer efficiënte productie, geneeskunde en massale informatie-analyse tot zelfrijdend vervoer, en verder. Echter, indien verkeerd toegepast, misbruikt of ondermijnd, ML houdt het potentieel in voor grote schade - dit is het tweesnijdende zwaard van machine learning.

"Over de afgelopen tien jaar, onderzoekers hebben zich gericht op het realiseren van praktische ML die in staat is om echte taken uit te voeren en deze efficiënter te maken, " zei Dr. Hava Siegelmann, programmamanager bij het Information Innovation Office (I2O) van DARPA. "We profiteren nu al van dat werk, en snelle integratie van ML in een aantal ondernemingen. Maar, op een zeer reële manier, we zijn snel vooruit gegaan, weinig aandacht besteden aan kwetsbaarheden die inherent zijn aan ML-platforms - met name op het gebied van het wijzigen, het corrumperen of misleiden van deze systemen."

In een vaak aangehaald voorbeeld, ML gebruikt door een zelfrijdende auto werd misleid door visuele aanpassingen aan een stopbord. Terwijl een mens die het veranderde teken bekijkt, geen moeite zou hebben om de betekenis ervan te interpreteren, de ML interpreteerde het stopbord ten onrechte als een snelheidslimiet van 45 mph. Bij een echte aanval als deze, de zelfrijdende auto zou accelereren door het stopbord, mogelijk desastreuze gevolgen kan hebben. Dit is slechts een van de vele recent ontdekte aanvallen die van toepassing zijn op vrijwel elke ML-toepassing.

Om deze acute veiligheidsuitdaging het hoofd te bieden, DARPA heeft het programma Guaranteeing AI Robustness against Deception (GARD) gemaakt. GARD heeft als doel een nieuwe generatie verdedigingen te ontwikkelen tegen vijandige misleidingsaanvallen op ML-modellen. De huidige defensie-inspanningen waren bedoeld om te beschermen tegen specifieke, vooraf gedefinieerde vijandige aanvallen en, bleven tijdens het testen kwetsbaar voor aanvallen buiten hun ontwerpparameters. GARD probeert ML-verdediging op een andere manier te benaderen - door een brede verdediging te ontwikkelen die de talrijke mogelijke aanvallen in een bepaald scenario aanpakt.

"Er is een kritieke behoefte aan ML-verdediging, aangezien de technologie steeds meer wordt geïntegreerd in een aantal van onze meest kritieke infrastructuur. Het GARD-programma probeert de chaos te voorkomen die in de nabije toekomst zou kunnen ontstaan ​​wanneer aanvalsmethoden, nu in hun kinderschoenen, zijn gerijpt tot een meer destructief niveau. We moeten ervoor zorgen dat ML veilig is en niet kan worden misleid, ", aldus Siegelmann.

GARD's nieuwe reactie op adversariële AI zal zich richten op drie hoofddoelen:1) de ontwikkeling van theoretische grondslagen voor verdedigbare ML en een lexicon van nieuwe verdedigingsmechanismen die daarop zijn gebaseerd; 2) het creëren en testen van verdedigbare systemen in uiteenlopende omgevingen; en 3) de bouw van een nieuw testbed voor het karakteriseren van de weerbaarheid van ML ten opzichte van dreigingsscenario's. Door deze onderling afhankelijke programma-elementen, GARD streeft ernaar om misleidende ML-technologieën te creëren met strenge criteria voor het evalueren van hun robuustheid.

GARD zal vele onderzoeksrichtingen voor mogelijke verdedigingen onderzoeken, inclusief biologie. "Het soort brede, op scenario's gebaseerde verdediging dat we willen genereren, kan worden gezien, bijvoorbeeld, in het immuunsysteem, die aanvallen identificeert, wint en onthoudt de aanval om een ​​effectievere reactie te creëren tijdens toekomstige opdrachten, ’ zei Siegelmann.

GARD zal werken aan het aanpakken van de huidige behoeften, maar houdt ook rekening met toekomstige uitdagingen. Het programma zal zich in eerste instantie concentreren op state-of-the-art op afbeeldingen gebaseerde ML, ga dan verder naar video, audio en meer complexe systemen - inclusief variaties met meerdere sensoren en multimodaliteiten. Het zal ook proberen om ML aan te pakken die in staat is tot voorspellingen, beslissingen en aanpassingen tijdens zijn levensduur.

Op 6 februari is er een Voorsteldag. 2019, van 9.00 uur tot 14.00 uur (EST) in het DARPA Conference Center, gevestigd op 675 N. Randolph Street, Arlington, Virginia, 22203 om meer details te geven over de technische doelen en uitdagingen van het GARD-programma.

Aanvullende informatie zal beschikbaar zijn in de aanstaande aankondiging van het brede agentschap, die zal worden geplaatst op www.fbo.gov.