Onderzoekers van het onderzoekscentrum voor IT-innovatie van Academia Sinica, in Taiwan, hebben onlangs een nieuw generatief adversarial netwerk (GAN) ontwikkeld met binaire neuronen aan de uitgangslaag van de generator. Dit model, gepresenteerd in een paper dat vooraf is gepubliceerd op arXiv, kan direct voorspellingen met binaire waarden genereren op testtijd.

Tot dusver, GAN-benaderingen hebben opmerkelijke resultaten opgeleverd bij het modelleren van continue distributies. Niettemin, het toepassen van GAN's op discrete gegevens was tot nu toe enigszins uitdagend, met name vanwege problemen bij het optimaliseren van de modeldistributie naar de doeldatadistributie in een hoogdimensionale discrete ruimte.

Hao-Wen Dong, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde Tech Xplore , "Ik werk momenteel aan het genereren van muziek in het Music and AI Lab van Academia Sinica. Naar mijn mening, componeren kan worden geïnterpreteerd als een reeks beslissingen, bijvoorbeeld wat betreft de instrumentatie, akkoorden en zelfs de exacte noten die u moet gebruiken. Om de grootse visie van een solide AI-componist te bereiken, Ik ben vooral geïnteresseerd in de vraag of diepe generatieve modellen zoals GAN's in staat zijn om beslissingen te nemen. Daarom, dit werk onderzocht of we een GAN kunnen trainen die binaire neuronen gebruikt om binaire beslissingen te nemen met behulp van backpropagation, het standaard trainingsalgoritme."

Dong en zijn adviseur Yi-Hsuan Yang ontwikkelden een model dat tijdens de test direct voorspellingen met binaire waarden kan genereren. Vervolgens gebruikten ze het om binaire MNIST-cijfers te genereren en de prestaties van verschillende soorten binaire neuronen te vergelijken, GAN-doelstellingen en netwerkarchitecturen.

"In een notendop, BinaryGAN is een GAN dat binaire neuronen aanneemt, neuronen die ofwel een één of een nul uitvoeren, aan de uitgangslaag van de generator, Dong zei. "Een GAN heeft twee hoofdcomponenten:de generator en de discriminator. De generator is bedoeld om nepgegevensmonsters te produceren die de discriminator voor de gek kunnen houden door gegenereerde monsters als echt te classificeren. Anderzijds, het doel van de discriminator is om valse van echte gegevens te onderscheiden. De feedback van de discriminator wordt vervolgens gebruikt om de generator te verbeteren. Na de opleiding, de generator kan vervolgens worden gebruikt om nieuwe gegevensmonsters te genereren."

De onderzoekers waren in staat om BinaryGAN effectief te trainen, hun generatieve model met binaire neuronen. Hun bevindingen suggereren ook dat het gebruik van gradiëntschatters een veelbelovende benadering zou kunnen zijn om discrete distributies met GAN's te modelleren.

"Met het gebruik van gradiëntschatters, we waren in staat om BinaryGAN te trainen, met behulp van het backpropagation-algoritme, " zei Dong. "Bovendien, de in het model aangenomen binarisatie resulteerde in duidelijke kenmerken van de intermediaire representaties die door de diepe neurale netwerken werden geleerd. Dit benadrukt ook het belang van het opnemen van binarisatie-operaties in de training, zodat deze binaire bewerkingen ook kunnen worden geoptimaliseerd."

Dong en Yang zijn nu op zoek naar een GAN die binaire neuronen gebruikt voor de realisatie van een voorwaardelijke berekeningsgrafiek. Op dit moment, sommige componenten zouden worden geactiveerd en gedeactiveerd, volgens de beslissingen van de binaire neuronen van het netwerk.

"Dit is belangrijk omdat het ons in staat stelt een complexer model te bouwen dat vertrouwt op beslissingen die in vroege lagen van het netwerk zijn genomen, " zei Dong. "Bijvoorbeeld, we zouden een AI-componist kunnen bouwen die leert om eerst de instrumentatie en akkoorden te beslissen en dienovereenkomstig componeert."

© 2018 Tech Xplore