Een team van leger- en industrieonderzoekers heeft een metriek ontwikkeld voor neurale netwerken - computersystemen die losjes zijn gemodelleerd naar het menselijk brein - die de betrouwbaarheid en het vertrouwen van de volgende generatie kunstmatige intelligentie en machine learning-algoritmen kunnen beoordelen.

Diep neuraal netwerk, of DNN's, zijn een vorm van machine learning die trainingsgegevens gebruiken om te leren. Eenmaal getraind, ze kunnen voorspellingen doen wanneer ze nieuwe informatie of input krijgen; echter, ze kunnen gemakkelijk worden misleid als de nieuwe informatie te ver buiten de opleiding valt.

Onderzoekers zeiden gezien de diversiteit aan informatie in trainingsgegevens en mogelijke nieuwe inputs, het bedenken van een oplossing is een uitdaging.

"Dit opent een nieuwe onderzoeksmogelijkheid om de volgende generatie algoritmen te creëren die robuust en veerkrachtig zijn, " zei Dr. Brian Jalaian, een wetenschapper bij het Army Research Laboratory van het Amerikaanse leger Combat Capabilities Development Command. "Onze aanpak is veelzijdig en kan worden toegevoegd als een extra blokkade voor veel van de moderne algoritmen van het leger met behulp van moderne machine learning-algoritmen die zijn gebaseerd op diepe neurale netwerken die worden gebruikt voor visuele beelden."

Deze nieuwe vertrouwensmetriek zal het leger helpen veilige en beveiligde machine learning-technieken te creëren, en zal van toepassing zijn in commando- en controlesystemen, precisie vuur- en beslissingsondersteunende systemen, zei Jalayan.

Sinds 2018, onderzoekers van het leger en SRI International, via de Internet of Battlefield Things Collaborative Research Alliance van het lab, hebben methoden onderzocht om de machine learning-algoritmen van het leger te versterken om meer betrouwbaarheid en veiligheid te bieden, en minder vatbaar zijn voor vijandige machine learning-technieken.

De onderzoekers publiceerden hun werk, "Op attributie gebaseerde vertrouwensmetriek voor diepe neurale netwerken", op de 2019 Neural Information Processing Systems Conference.

"Hoewel we enig succes hadden, we hadden geen aanpak om de sterkste state-of-the-art aanvallen te detecteren, zoals (tegengestelde) patches die ruis toevoegen aan beelden, zodat ze tot verkeerde voorspellingen leiden, "Zei Jalaian. "In dit werk, we hebben een generatief model voorgesteld, die aspecten van de originele invoerbeelden in het onderliggende originele diepe neurale netwerk aanpast. De reactie van het oorspronkelijke diepe neurale netwerk op deze gegenereerde inputs wordt vervolgens beoordeeld om de conformiteit van het model te meten."

Dit wijkt af van het bestaande onderzoek, omdat het geen toegang tot de trainingsgegevens vereist, het gebruik van ensembles of de noodzaak om een ​​kalibratiemodel te trainen op een validatiedataset die niet gelijk is aan de trainingsset, zei Jalayan.

Binnen het leger, onderzoekers blijven samenwerken met de test- en evaluatiegemeenschap om gecontaineriseerde algoritmen te ontwikkelen die het vertrouwen van verschillende algoritmen in verschillende toepassingen meten.

Jalaian zei dat ze variaties van generatieve modellen onderzoeken die leger-AI-systemen kunnen verharden tegen vijandige manipulaties, evenals het onderzoeken van de veerkracht van neurale netwerkmodellen, zowel theoretisch als empirisch, die kunnen worden uitgevoerd binnen kleine slimme apparaten, zoals die welke deel zouden uitmaken van het Internet of Battlefield Things.