Analoge hardware voor machine learning biedt een veelbelovend alternatief voor digitale tegenhangers als een energiezuiniger en sneller platform. Golffysica gebaseerd op akoestiek en optica is een natuurlijke kandidaat om analoge processors te bouwen voor in de tijd variërende signalen. In een nieuw verslag over wetenschappelijke vooruitgang Tyler W. Hughes en een onderzoeksteam van de faculteiten Technische Natuurkunde en Elektrotechniek aan de Stanford University, Californië, geïdentificeerde mapping tussen de dynamiek van golffysica en berekening in terugkerende neurale netwerken.

De kaart gaf de mogelijkheid aan om fysieke golfsystemen te trainen om complexe functies in temporele gegevens te leren met behulp van standaard trainingstechnieken die worden gebruikt voor neurale netwerken. Als bewijs van principe, ze demonstreerden een omgekeerd ontworpen, inhomogeen medium om Engelse klinkerclassificatie uit te voeren op basis van onbewerkte audiosignalen terwijl hun golfvormen zich erdoorheen verspreiden en voortplanten. De wetenschappers bereikten prestaties die vergelijkbaar zijn met een standaard digitale implementatie van een terugkerend neuraal netwerk. De bevindingen zullen de weg vrijmaken voor een nieuwe klasse van analoge machine learning-platforms voor snelle en efficiënte informatieverwerking binnen het eigen domein.

Het terugkerende neurale netwerk (RNN) is een belangrijk machine learning-model dat veel wordt gebruikt om taken uit te voeren, waaronder natuurlijke taalverwerking en voorspelling van tijdreeksen. Het team trainde op golven gebaseerde fysieke systemen om te functioneren als een RNN en passief signalen en informatie in hun eigen domein te verwerken zonder analoog-naar-digitaal conversie. Het werk resulteerde in een aanzienlijke snelheidswinst en een lager energieverbruik. In het huidige kader is in plaats van circuits te implementeren om signalen opzettelijk terug te leiden naar de ingang, de herhalingsrelatie trad van nature op in de tijddynamiek van de fysica zelf. Het apparaat bood de geheugencapaciteit voor informatieverwerking op basis van de golven terwijl ze zich door de ruimte voortplantten.

Gelijkwaardigheid tussen golfdynamiek en een RNN

Om de equivalentie tussen golfdynamiek en een RNN aan te tonen, Hughes et al. introduceerde de functie van een RNN en de verbinding met golfdynamiek. Bijvoorbeeld, een RNN kan een reeks invoer omzetten in een reeks uitvoer door dezelfde basisbewerking toe te passen op elk invoerreekslid in een stapsgewijs proces. De verborgen status van de RNN codeert vervolgens het geheugen van eerdere stappen om bij elke stap bij te werken. De verborgen toestanden kunnen het geheugen van informatie uit het verleden behouden en de tijdelijke structuur en afhankelijkheden op lange termijn in gegevens leren.

Bij een bepaalde stap als voorbeeld, de RNN kan functioneren op de huidige invoervector in de reeks (x _t ) en de verborgen toestandsvector uit de vorige stap (h _{t - 1} ), om een ​​uitvoervector te produceren (y _t ) en een bijgewerkte verborgen status (h _t ). Hoewel er veel variaties van RNN's bestaan, Hughes et al. implementeerde een algemeen opgenomen strategie in het huidige werk. Het onderzoeksteam observeerde een niet-lineaire respons, die typisch wordt aangetroffen in een grote verscheidenheid aan golffysica, waaronder golven in ondiep water, niet-lineaire optische materialen (studie van intens laserlicht met materie) en akoestisch in zachte materialen en bubbelende vloeistoffen. Wanneer numeriek gemodelleerd in discrete tijd, de golfvergelijking definieerde een bewerking die in kaart werd gebracht in die van een RNN.

Een fysiek systeem trainen om klinkers te classificeren

Het team demonstreerde vervolgens hoe de dynamiek van de golfvergelijking kan worden getraind om klinkers te classificeren door een inhomogene materiaalverdeling te construeren. Voor deze, ze gebruikten een dataset van 930 onbewerkte audio-opnames van 10 klinkerklassen van 45 verschillende mannelijke sprekers en 48 verschillende vrouwelijke sprekers. Voor de leeropdracht Hugo et al. selecteerde een subset van 279 opnamen die overeenkomen met drie klinkerklassen die worden vertegenwoordigd door de klinkers "ae, " "ei" en "iy, " ten opzichte van hun gebruik in de woorden "had, " "hayed" en "heed." De fysieke lay-out van het klinkerherkenningssysteem bevatte een tweedimensionaal domein in het xy-vlak en oneindig uitgebreid in de z-richting. Ze injecteerden de audiogolfvorm van elke klinker via een bron op een enkele rastercel aan de linkerkant van het domein voor het uitzenden van golfvormen om zich voort te planten door een centraal gebied met een trainbare verdeling van de golfsnelheid. Ze definieerden drie sondes aan de rechterkant van het gebied en wezen elk toe aan een van de drie klinkerklassen Hugh et al. maten vervolgens het in de tijd geïntegreerde vermogen bij elke sonde om de output van het systeem te bepalen.

De simulatie evolueerde voor de volledige duur van de klinkeropname en het team omvatte een absorberend grensgebied dat wordt weergegeven door een donkergrijs gebied om te voorkomen dat energie wordt opgebouwd binnen het computationele domein. De golfsnelheden kunnen in de praktijk worden aangepast aan verschillende materialen. In een akoestische setting, bijvoorbeeld, als de materiaalverdeling uit lucht bestond, de geluidssnelheid was 331 m/s, terwijl poreus siliconenrubber een geluidssnelheid van 150 m/s had. Door de keuze van de startstructuur konden ze de optimizer naar een van de twee materialen verplaatsen, om een ​​binaire structuur te produceren die slechts één van de twee materialen bevat. Hughes et al. het systeem getraind door back-propagatie uit te voeren via het model van de golfvergelijking, in een benadering die wiskundig equivalent is aan de adjoint-methode die veel wordt gebruikt voor inverse ontwerp. Met behulp van deze ontwerpinformatie, ze hebben de materiaaldichtheid bijgewerkt via het Adam-optimalisatie-algoritme, herhalen tot convergentie op een definitieve structuur.

De uitvoering visualiseren

De wetenschappers gebruikten een verwarringsmatrix om de prestaties in de trainings- en testdatasets voor de startstructuren te visualiseren, gemiddeld over vijf cross-gevalideerde trainingsruns. De verwarringsmatrix definieerde het percentage correct voorspelde klinkers langs de diagonale invoer en het percentage onjuist voorspelde klinkers voor elke klasse in de niet-diagonale invoer. De diagonaal dominante getrainde verwarringsmatrices gaven aan dat de structuur inderdaad klinkerherkenning kon uitvoeren. Hughes et al. merkte de cross-entropieverlieswaarde en de voorspellingsnauwkeurigheid op als een functie van het trainingstijdperk op de test- en trainingsdatasets.

Het eerste tijdperk resulteerde in de grootste reductie van de verliesfunctie en de grootste winst in voorspellingsnauwkeurigheid, met een gemiddelde nauwkeurigheid van 92,6 procent op de trainingsdataset en een gemiddelde nauwkeurigheid van 86,3 procent op de testdataset. Het team observeerde het systeem om bijna perfecte voorspellingsprestaties op de "ae" -klinker te verkrijgen, naast het vermogen om de "iy" -klinker van de "ei" -klinker te onderscheiden, maar met minder nauwkeurigheid binnen de onzichtbare monsters uit de testdatasets. Op deze manier, het team gaf visuele bevestiging van de optimalisatieprocedure om het grootste deel van de signaalenergie naar de juiste sonde te leiden. Als prestatiebenchmark, ze trainden een conventionele RNN op dezelfde taak om classificatienauwkeurigheid te bereiken die vergelijkbaar is met de golfvergelijking. Echter, ze hadden een groot aantal vrije parameters nodig voor de taak.

Op deze manier, Tyler W. Hughes en collega's presenteerden een op golven gebaseerde RNN met een aantal gunstige eigenschappen om een ​​veelbelovende kandidaat te vormen om tijdelijk gecodeerde informatie te verwerken. Het gebruik van fysica om berekeningen uit te voeren kan een nieuw platform inspireren voor analoge machine learning-apparaten om berekeningen veel natuurlijker en efficiënter uit te voeren dan zijn digitale tegenhangers. Het onderzoeksteam bepaalde de grootte van de verborgen toestand van de analoge RNN en de geheugencapaciteit met behulp van de grootte van het voortplantingsmedium. Ze toonden aan dat de dynamiek van de golfvergelijking conceptueel equivalent is aan die van een RNN. De conceptuele verbinding zal de weg vrijmaken voor een nieuwe klasse van analoge hardwareplatforms, waarbij de evoluerende tijddynamiek een grote rol zal spelen in zowel de fysica als de dataset.

© 2020 Wetenschap X Netwerk