In recente jaren, onderzoekers hebben diepe neurale netwerken ontwikkeld die verschillende taken kunnen uitvoeren, inclusief visuele herkenning en natuurlijke taalverwerking (NLP) taken. Hoewel veel van deze modellen opmerkelijke resultaten behaalden, ze presteren meestal alleen goed op één bepaalde taak vanwege wat wordt aangeduid als 'catastrofaal vergeten'.

Eigenlijk, catastrofaal vergeten betekent dat wanneer een model dat aanvankelijk is getraind op taak A, later wordt getraind op taak B, zijn prestaties op taak A zullen aanzienlijk afnemen. In een paper dat vooraf is gepubliceerd op arXiv, onderzoekers van Swisscom en EPFL identificeerden een nieuw soort vergeten en stelden een nieuwe benadering voor die zou kunnen helpen om dit te overwinnen via een statistisch verantwoord gewichtsplasticiteitsverlies.

"Toen we voor het eerst aan ons project begonnen te werken, het automatisch ontwerpen van neurale architecturen was rekenkundig duur en onhaalbaar voor de meeste bedrijven, " Yassine Benyahia en Kaicheng Yu, de hoofdonderzoekers van het onderzoek, vertelde TechXplore via e-mail. "Het oorspronkelijke doel van onze studie was om nieuwe methoden te identificeren om deze kosten te verminderen. Toen het project begon, een paper van Google beweerde de tijd en middelen die nodig zijn om neurale architecturen te bouwen drastisch te hebben verminderd met behulp van een nieuwe methode die weight-sharing wordt genoemd. Dit maakte autoML haalbaar voor onderzoekers zonder enorme GPU-clusters, moedigt ons aan om dit onderwerp dieper te bestuderen."

Tijdens hun onderzoek naar op neurale netwerken gebaseerde modellen, Benjaja, Yu en hun collega's merkten een probleem op met het delen van gewicht. Toen ze twee modellen (bijvoorbeeld A en B) achter elkaar trainden, de prestaties van model A daalden, terwijl de prestaties van model B verbeterden, of vice versa. Ze toonden aan dat dit fenomeen, die ze 'het vergeten van meerdere modellen' noemden, " kan de prestaties van verschillende auto-mL-benaderingen belemmeren, inclusief Google's efficiënte neurale architectuurzoekopdracht (ENAS).

"We realiseerden ons dat het delen van gewicht ervoor zorgde dat modellen elkaar negatief beïnvloedden, waardoor het architectuurzoekproces dichter bij willekeurig kwam, " Benyahia en Yu legden uit. "We hadden ook onze bedenkingen bij het zoeken naar architectuur, waar alleen de definitieve resultaten aan het licht komen en waar er geen goed kader is om de kwaliteit van de architectuurzoektocht op een eerlijke manier te beoordelen. Onze aanpak kan helpen om dit vergeetprobleem op te lossen, omdat het gerelateerd is aan een kernmethode waar bijna alle recente autoML-papers op vertrouwen, en we beschouwen een dergelijke impact als enorm voor de gemeenschap."

In hun studie hebben de onderzoekers modelleerden multi-model vergeten wiskundig en leidden een nieuw verlies af, gewichtsplasticiteitsverlies genoemd. Dit verlies zou het vergeten van meerdere modellen aanzienlijk kunnen verminderen door het leren van de gedeelde parameters van een model te regulariseren op basis van hun belang voor eerdere modellen.

"In principe, door de over-parametrering van neurale netwerken, ons verlies verlaagt eerst parameters die 'minder belangrijk' zijn voor het uiteindelijke verlies, en houdt de belangrijkste ongewijzigd, " zeiden Benyahia en Yu. "De prestaties van Model A zijn dus onaangetast, terwijl de prestaties van model B blijven toenemen. Op kleine datasets, ons model kan vergeten tot 99 procent verminderen, en op autoML-methoden, tot 80 procent in het midden van de training."

In een reeks testen, de onderzoekers demonstreerden de effectiviteit van hun aanpak voor het verminderen van het vergeten van meerdere modellen, zowel in gevallen waarin twee modellen opeenvolgend worden getraind als voor het zoeken naar neurale architectuur. Hun bevindingen suggereren dat het toevoegen van gewichtsplasticiteit bij het zoeken naar neurale architectuur de prestaties van meerdere modellen op zowel NLP- als computervisietaken aanzienlijk kan verbeteren.

De studie uitgevoerd door Benyahia, Yu en hun collega's werpen licht op de kwestie van catastrofaal vergeten, in het bijzonder dat wat gebeurt wanneer meerdere modellen opeenvolgend worden getraind. Na het wiskundig modelleren van dit probleem, de onderzoekers introduceerden een oplossing die het kon overwinnen, of in ieder geval de impact ervan drastisch verminderen.

"Bij het vergeten van meerdere modellen, ons leidende principe was om te denken in formules en niet alleen door simpele intuïtie of heuristieken, " zeiden Benyahia en Yu. "We zijn er sterk van overtuigd dat dit 'denken in formules' onderzoekers tot grote ontdekkingen kan leiden. Daarom voor verder onderzoek we willen deze benadering toepassen op andere gebieden van machine learning. In aanvulling, we zijn van plan ons verlies aan te passen aan recente ultramoderne autoML-methoden om de effectiviteit ervan aan te tonen bij het oplossen van het door ons waargenomen probleem van gewichtsverdeling."

© 2019 Wetenschap X Netwerk