Vergiftigingsaanvallen behoren tot de grootste beveiligingsbedreigingen voor modellen voor machine learning (ML). Bij dit type aanval een tegenstander probeert een fractie van de gegevens te controleren die worden gebruikt om neurale netwerken te trainen en injecteert kwaadaardige gegevenspunten om de prestaties van een model te belemmeren.

Hoewel onderzoekers hebben geprobeerd technieken te ontwikkelen die deze aanvallen kunnen detecteren of tegengaan, de effectiviteit van deze technieken hangt vaak af van wanneer en hoe ze worden toegepast. In aanvulling, soms kan het toepassen van filtertechnieken om ML-modellen te screenen op vergiftigingsaanvallen hun nauwkeurigheid verminderen, voorkomen dat ze zowel echte als corrupte gegevens analyseren.

In een recente studie, onderzoekers van de McMaster University in Canada hebben met succes speltheorie gebruikt om scenario's voor vergiftigingsaanvallen te modelleren. Hun bevindingen, geschetst in een paper dat vooraf is gepubliceerd op arXiv, bewijst het niet-bestaan ​​van een puur strategisch Nash-evenwicht, wat inhoudt dat elke speler herhaaldelijk dezelfde strategie kiest in het "spel" van de aanvaller en de verdediger.

Het bestuderen van het gedrag van zowel aanvallers als verdedigers wanneer vergiftigingsaanvallen plaatsvinden, zou kunnen helpen om ML-algoritmen te ontwikkelen die er beter tegen beschermd zijn en toch hun nauwkeurigheid behouden. In hun studie hebben de onderzoekers probeerden vergiftigingsaanvallen te modelleren binnen de context van de speltheorie, een tak van de wiskunde die zich bezighoudt met het beter begrijpen van strategieën die worden gebruikt in competitieve situaties (bijvoorbeeld games), waarbij een uitkomst sterk afhangt van de keuzes van de betrokkenen (d.w.z. deelnemers).

"Het doel van dit artikel is om het Nash-evenwicht (NE) te vinden van het spelmodel van aanval en verdediging door vergiftiging, "Yifan Ou en Reza Samavi, de twee onderzoekers die het onderzoek uitvoerden, uitleggen in hun krant. "Door de NE-strategie te identificeren, kunnen we de optimale filtersterkte van het verdedigende algoritme vinden, evenals de resulterende impact op het ML-model wanneer zowel de aanvaller als de verdediger optimale strategieën gebruiken."

In de speltheorie, NE is een stabiele toestand van een systeem waarbij sprake is van competitieve interacties tussen verschillende deelnemers (bijvoorbeeld een spel). Wanneer NE optreedt, geen enkele deelnemer kan iets winnen door eenzijdige strategiewijziging als de strategie van de andere speler(s) ongewijzigd blijft.

In hun studie hebben Ou en Samavi probeerden de NE te vinden in de context van vergiftigingsaanvallen en verdedigingsstrategieën. Eerst, ze gebruikten speltheorie om de dynamiek van vergiftigingsaanvallen te modelleren en bewezen dat een zuivere NE in een dergelijk model niet bestaat. Vervolgens, ze stelden een gemengde NE-strategie voor dit specifieke spelmodel voor en toonden de effectiviteit ervan in een experimentele setting.

"We gebruikten speltheorie om de strategieën van aanvallers en verdedigers te modelleren in aanvalsscenario's met vergiftiging, " schreven de onderzoekers in hun paper. "We bewezen het niet-bestaan ​​van de pure strategie NE, stelde een gemengde uitbreiding van ons spelmodel en een algoritme voor om de NE-strategie voor de verdediger te benaderen, demonstreerde vervolgens de effectiviteit van de gemengde verdedigingsstrategie die door het algoritme werd gegenereerd."

In de toekomst, de onderzoekers willen een meer algemene aanpak onderzoeken om vergiftigingsaanvallen aan te pakken, wat inhoudt dat monsters worden gedetecteerd en afgewezen met behulp van auditalgoritmen. Deze alternatieve benadering kan bijzonder effectief zijn om een ​​getraind model bij te werken en te verbeteren in situaties waarin de gebruikers online om feedback worden gevraagd.

© 2019 Wetenschap X Netwerk