Een team van het Los Alamos National Laboratory heeft een nieuwe benadering ontwikkeld voor het vergelijken van neurale netwerken die in de "zwarte doos" van kunstmatige intelligentie kijken om onderzoekers te helpen het gedrag van neurale netwerken te begrijpen. Neurale netwerken herkennen patronen in datasets; ze worden overal in de samenleving gebruikt, in toepassingen als virtuele assistenten, gezichtsherkenningssystemen en zelfrijdende auto's.

"De onderzoeksgemeenschap op het gebied van kunstmatige intelligentie heeft niet noodzakelijkerwijs een volledig begrip van wat neurale netwerken doen; ze geven ons goede resultaten, maar we weten niet hoe of waarom", zegt Haydn Jones, een onderzoeker in de Advanced Research in Cyber Systeemgroep in Los Alamos. "Onze nieuwe methode kan neurale netwerken beter vergelijken, wat een cruciale stap is naar een beter begrip van de wiskunde achter AI."

Jones is de hoofdauteur van het artikel "If You've Trained One You've Trained Them All:Inter-Architecture Similarity Improves With Robustness", dat onlangs werd gepresenteerd op de conferentie over onzekerheid in kunstmatige intelligentie. Naast het bestuderen van netwerkovereenkomsten, is het artikel een cruciale stap in de richting van het karakteriseren van het gedrag van robuuste neurale netwerken.

Neurale netwerken zijn krachtig, maar kwetsbaar. Zelfrijdende auto's gebruiken bijvoorbeeld neurale netwerken om signalen te detecteren. Als de omstandigheden ideaal zijn, doen ze dit vrij goed. De kleinste afwijking, zoals een sticker op een stopbord, kan er echter toe leiden dat het neurale netwerk het bord verkeerd identificeert en nooit meer stopt.

Om neurale netwerken te verbeteren, zoeken onderzoekers naar manieren om de robuustheid van het netwerk te verbeteren. Een state-of-the-art benadering omvat het 'aanvallen' van netwerken tijdens hun trainingsproces. Onderzoekers introduceren opzettelijk aberraties en trainen de AI om ze te negeren. Dit proces wordt vijandige training genoemd en maakt het in wezen moeilijker om de netwerken voor de gek te houden.

Jones, Los Alamos-medewerkers Jacob Springer en Garrett Kenyon, en Jones' mentor Juston Moore, pasten hun nieuwe metriek van netwerkovereenkomst toe op vijandig getrainde neurale netwerken, en ontdekten, verrassend genoeg, dat vijandige training ervoor zorgt dat neurale netwerken in het computervisiedomein convergeren naar zeer vergelijkbare gegevensrepresentaties, ongeacht de netwerkarchitectuur, naarmate de aanval groter wordt.

"We ontdekten dat wanneer we neurale netwerken trainen om robuust te zijn tegen aanvallen van tegenstanders, ze dezelfde dingen beginnen te doen," zei Jones.

Er is veel moeite gedaan in de industrie en in de academische gemeenschap op zoek naar de "juiste architectuur" voor neurale netwerken, maar de bevindingen van het Los Alamos-team geven aan dat de introductie van vijandige training deze zoekruimte aanzienlijk verkleint. Als gevolg hiervan hoeft de AI-onderzoeksgemeenschap mogelijk niet zoveel tijd te besteden aan het verkennen van nieuwe architecturen, wetende dat vijandige training ervoor zorgt dat verschillende architecturen convergeren naar vergelijkbare oplossingen.

"Door te ontdekken dat robuuste neurale netwerken op elkaar lijken, maken we het gemakkelijker om te begrijpen hoe robuuste AI echt zou kunnen werken. We zouden zelfs hints kunnen ontdekken over hoe perceptie plaatsvindt bij mensen en andere dieren," zei Jones. + Verder verkennen

AI's breken om ze beter te maken