Een nieuwe encryptiemethode ontwikkeld door MIT-onderzoekers beveiligt gegevens die worden gebruikt in online neurale netwerken, zonder hun looptijden drastisch te vertragen. Deze aanpak is veelbelovend voor het gebruik van cloudgebaseerde neurale netwerken voor medische beeldanalyse en andere toepassingen die gevoelige gegevens gebruiken.

Het uitbesteden van machine learning is een stijgende trend in de industrie. Grote technologiebedrijven hebben cloudplatforms gelanceerd die rekenintensieve taken uitvoeren, zoals, zeggen, gegevens door een convolutioneel neuraal netwerk (CNN) laten lopen voor beeldclassificatie. Kleine bedrijven met weinig middelen en andere gebruikers kunnen tegen betaling gegevens naar die services uploaden en binnen enkele uren resultaten terugkrijgen.

Maar wat als er lekken van privégegevens zijn? In recente jaren, onderzoekers hebben verschillende veilige rekentechnieken onderzocht om dergelijke gevoelige gegevens te beschermen. Maar die methoden hebben prestatienadelen die de evaluatie (testen en valideren) van neurale netwerken traag maken - soms wel een miljoen keer langzamer - waardoor hun bredere acceptatie wordt beperkt.

In een paper gepresenteerd op de USENIX Security Conference van deze week, MIT-onderzoekers beschrijven een systeem dat twee conventionele technieken combineert - homomorfe codering en onleesbare circuits - op een manier die de netwerken helpt om orden van grootte sneller te werken dan met conventionele benaderingen.

De onderzoekers testten het systeem, genaamd GAZELLE, op taken voor beeldclassificatie door twee partijen. Een gebruiker stuurt versleutelde beeldgegevens naar een online server die een CNN evalueert die op GAZELLE draait. Na dit, beide partijen delen versleutelde informatie heen en weer om de afbeelding van de gebruiker te classificeren. Gedurende het hele proces, het systeem zorgt ervoor dat de server nooit geüploade gegevens leert, terwijl de gebruiker nooit iets leert over de netwerkparameters. In vergelijking met traditionele systemen, echter, GAZELLE liep 20 tot 30 keer sneller dan de modernste modellen, terwijl de vereiste netwerkbandbreedte met een orde van grootte wordt verminderd.

Een veelbelovende toepassing voor het systeem is het trainen van CNN's om ziekten te diagnosticeren. Ziekenhuizen kunnen, bijvoorbeeld, een CNN trainen om kenmerken van bepaalde medische aandoeningen te leren van magnetische resonantiebeelden (MRI) en die kenmerken te identificeren in geüploade MRI's. Het ziekenhuis zou het model in de cloud beschikbaar kunnen maken voor andere ziekenhuizen. Maar het model is getraind op, en vertrouwt verder op, persoonlijke patiëntgegevens. Omdat er geen efficiënte encryptiemodellen zijn, deze applicatie is nog niet helemaal klaar voor prime time.

"In dit werk, we laten zien hoe je dit soort beveiligde communicatie tussen twee partijen efficiënt kunt doen door deze twee technieken op een slimme manier te combineren, " zegt eerste auteur Chiraag Juvekar, een doctoraat student aan de afdeling Elektrotechniek en Informatica (EECS). "De volgende stap is om echte medische gegevens te verzamelen en aan te tonen dat, zelfs als we het schalen voor toepassingen waar echte gebruikers om geven, het biedt nog steeds acceptabele prestaties."

Co-auteurs op het papier zijn Vinod Vaikuntanathan, een universitair hoofddocent in EECS en een lid van het Computer Science and Artificial Intelligence Laboratory, en Anantha Chandrakasan, decaan van de School of Engineering en de Vannevar Bush hoogleraar elektrotechniek en computerwetenschappen.

Prestaties maximaliseren

CNN's verwerken beeldgegevens via meerdere lineaire en niet-lineaire berekeningslagen. Lineaire lagen doen de complexe wiskunde, lineaire algebra genoemd, en enkele waarden aan de gegevens toewijzen. Bij een bepaalde drempel de gegevens worden uitgevoerd naar niet-lineaire lagen die een eenvoudigere berekening uitvoeren, beslissingen nemen (zoals het identificeren van afbeeldingskenmerken), en stuur de gegevens naar de volgende lineaire laag. Het eindresultaat is een afbeelding met een toegewezen klasse, zoals voertuig, dier, persoon, of anatomische kenmerken.

Recente benaderingen voor het beveiligen van CNN's omvatten het toepassen van homomorfe codering of onleesbare circuits om gegevens door een heel netwerk te verwerken. Deze technieken zijn effectief bij het beveiligen van gegevens. "Op papier, dit lijkt het probleem op te lossen, ", zegt Juvekar. Maar ze maken complexe neurale netwerken inefficiënt, "dus je zou ze voor geen enkele toepassing in de echte wereld gebruiken."

homomorfe encryptie, gebruikt in cloudcomputing, ontvangt en voert berekeningen uit in versleutelde gegevens, genaamd cijfertekst, en genereert een versleuteld resultaat dat vervolgens door een gebruiker kan worden ontsleuteld. Wanneer toegepast op neurale netwerken, deze techniek is bijzonder snel en efficiënt bij het berekenen van lineaire algebra. Echter, het moet een beetje ruis introduceren in de gegevens op elke laag. Over meerdere lagen, lawaai stapelt zich op, en de berekening die nodig is om die ruis te filteren, wordt steeds complexer, rekensnelheden vertragen.

Onleesbare circuits zijn een vorm van veilige tweepartijenberekening. De techniek vraagt ​​om input van beide partijen, doet wat rekenwerk, en stuurt twee afzonderlijke ingangen naar elke partij. Op die manier, de partijen gegevens naar elkaar sturen, maar ze zien nooit de gegevens van de andere partij, alleen de relevante output aan hun kant. De bandbreedte die nodig is om gegevens tussen partijen te communiceren, echter, schalen met rekencomplexiteit, niet met de grootte van de invoer. In een online neuraal netwerk, deze techniek werkt goed in de niet-lineaire lagen, waar de berekening minimaal is, maar de bandbreedte wordt onpraktisch in wiskundig zware lineaire lagen.

De MIT-onderzoekers, in plaats daarvan, combineerde de twee technieken op een manier die hun inefficiënties omzeilt.

In hun systeem een gebruiker zal cijfertekst uploaden naar een cloudgebaseerd CNN. De gebruiker moet de techniek van verminkte circuits op zijn eigen computer hebben. De CNN doet alle berekeningen in de lineaire laag, verzendt vervolgens de gegevens naar de niet-lineaire laag. Op dat punt, de CNN en de gebruiker delen de gegevens. De gebruiker doet wat berekeningen op onleesbare circuits, en stuurt de gegevens terug naar de CNN. Door de werklast te splitsen en te delen, het systeem beperkt de homomorfe codering tot het uitvoeren van complexe wiskunde, laag voor laag, zodat gegevens niet te luidruchtig worden. Het beperkt ook de communicatie van de verminkte circuits tot alleen de niet-lineaire lagen, waar hij optimaal presteert.

"We gebruiken de technieken alleen waar ze het meest efficiënt zijn, ' zegt Juvekar.

Geheim delen

De laatste stap was ervoor te zorgen dat zowel homomorfe als verminkte circuitlagen een gemeenschappelijk randomisatieschema handhaafden, 'geheim delen' genoemd. In dit schema is gegevens worden opgedeeld in afzonderlijke delen die aan afzonderlijke partijen worden gegeven. Alle partijen synchroniseren hun delen om de volledige gegevens te reconstrueren.

In GAZELLE, wanneer een gebruiker versleutelde gegevens naar de cloudgebaseerde service verzendt, het is verdeeld tussen beide partijen. Aan elk aandeel wordt een geheime sleutel (willekeurige getallen) toegevoegd die alleen de eigenaar kent. Tijdens de berekening, elke partij zal altijd een deel van de gegevens hebben, plus willekeurige getallen, dus het lijkt volledig willekeurig. Aan het einde van de berekening, de twee partijen synchroniseren hun gegevens. Pas dan vraagt ​​de gebruiker de clouddienst om zijn geheime sleutel. De gebruiker kan vervolgens de geheime sleutel van alle gegevens aftrekken om het resultaat te krijgen.

"Aan het einde van de berekening, we willen dat de eerste partij de classificatieresultaten krijgt en de tweede partij helemaal niets, " zegt Juvekar. Bovendien, "de eerste partij leert niets over de parameters van het model."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.