science >> Wetenschap >  >> Elektronica

Onderzoekers ontwikkelen efficiënt gedistribueerd diep leren

Een netwerkset van agenten (aangeduid als gekleurde knooppunten) traint hun individuele diepe neurale netwerken met behulp van lokaal beschikbare gegevens terwijl ze communiceren met naburige knooppunten via beschikbare communicatieverbindingen (weergegeven met grijze randen). Krediet:afbeelding van het Amerikaanse leger

Een nieuw algoritme maakt deep learning mogelijk dat meer samenwerkings- en communicatie-efficiënt is dan traditionele methoden.

Legeronderzoekers ontwikkelden algoritmen die gedistribueerde, gedecentraliseerde en samenwerkende leermogelijkheden tussen apparaten, het vermijden van de noodzaak om alle gegevens op een centrale server te verzamelen om te leren.

"Er is een exponentiële groei geweest in de hoeveelheid gegevens die lokaal wordt verzameld en opgeslagen op individuele slimme apparaten, " zei Dr. Jemin George, een legerwetenschapper bij het Army Research Laboratory van het Amerikaanse leger Combat Capabilities Development Command. "Talloze onderzoeksinspanningen en bedrijven hebben zich gericht op het toepassen van machine learning om waarde te halen uit dergelijke enorme gegevens om gegevensgestuurde inzichten te bieden, beslissingen en voorspellingen."

Echter, geen van deze inspanningen lost de problemen op die verband houden met het toepassen van machine learning op een betwiste, overvolle en beperkte slagruimte, zei George. Deze beperkingen van de strijdruimte worden duidelijker wanneer de apparaten deep learning-algoritmen gebruiken voor besluitvorming vanwege de hoge rekenkosten in termen van leertijd en verwerkingskracht.

"Dit onderzoek probeert een aantal van de uitdagingen van het toepassen van machine learning aan te pakken, of diep leren, in militaire omgevingen, " zei Dr. Prudhvi Gurram, een wetenschapper die heeft bijgedragen aan dit onderzoek. "Vroege indicaties en waarschuwingen voor bedreigingen vergroten het situationeel bewustzijn en dragen bij aan hoe het leger evolueert en zich aanpast om vijandige bedreigingen te verslaan."

De onderzoekers presenteerden hun bevindingen op de 34e Association for the Advancement of Artificial Intelligence Conference on Artificial Intelligence in New York. Een voorgedrukte versie van het papier staat online..

In een eerdere studie (zie gerelateerde links hieronder), de onderzoekers toonden aan dat de gedistribueerde deep learning-algoritmen dezelfde prestaties kunnen leveren als de typische gecentraliseerde leeralgoritmen zonder de gegevens in één, centrale plek, terwijl de leertijd lineair wordt verkort met het aantal apparaten of agenten dat betrokken is bij gedistribueerd leren.

"Gedistribueerde leeralgoritmen vereisen doorgaans talrijke communicatierondes tussen de agenten of apparaten die betrokken zijn bij het leerproces om hun huidige model te delen met de rest van het netwerk, "Zei George. "Dit brengt verschillende communicatie-uitdagingen met zich mee."

De legeronderzoekers ontwikkelden een nieuwe techniek om de communicatie-overhead aanzienlijk te verminderen, tot 70% in bepaalde scenario's, zonder in te boeten aan leersnelheid of prestatienauwkeurigheid.

De onderzoekers ontwikkelden een triggermechanisme, waardoor de individuele agenten hun model alleen met hun buren konden communiceren als het aanzienlijk is veranderd sinds het voor het laatst is verzonden. Hoewel dit de communicatie-interactie tussen de agenten aanzienlijk vermindert, het heeft geen invloed op de algehele leersnelheid of de prestatienauwkeurigheid van het uiteindelijke geleerde model, zei George.

Legeronderzoekers onderzoeken hoe dit onderzoek kan worden toegepast op het internet van Battlefield Things, het opnemen van gekwantiseerde en gecomprimeerde communicatieschema's in het huidige algoritme om de communicatie-overhead verder te verminderen.

De moderniseringsprioriteiten van het leger omvatten computernetwerken van de volgende generatie (zie onderstaande gerelateerde links), die het leger in staat stellen om door leiders goedgekeurde technologische capaciteiten te leveren aan strijders tegen het best mogelijke investeringsrendement voor het leger.

Toekomstige inspanningen zullen het gedrag van het algoritme evalueren op grotere, militair relevante datasets met behulp van de computerbronnen die beschikbaar zijn via het AI Innovation Institute van het Amerikaanse leger, met het algoritme dat naar verwachting overgaat op edge-apparaten, zei George.