Het construeren van een neuraal netwerkmodel voor elke nieuwe dataset is de ultieme nachtmerrie voor elke datawetenschapper. Wat als je de nauwkeurigheid van het neurale netwerk eerder zou kunnen voorspellen dankzij verzamelde ervaring en benadering? Dit was het doel van een recent project bij IBM Research en het resultaat is TAPAS of Train-less Accuracy Predictor for Architecture Search (klik voor demo). Zijn truc is dat hij kan inschatten, in fracties van een seconde, classificatieprestaties voor ongeziene invoergegevenssets, zonder training voor zowel beeld- als tekstclassificatie.

In tegenstelling tot eerder voorgestelde benaderingen, TAPAS is niet alleen gekalibreerd op de topologische netwerkinformatie, maar ook over de karakterisering van de moeilijkheidsgraad van de dataset, waardoor we de voorspelling opnieuw kunnen afstemmen zonder enige training.

Deze taak was bijzonder uitdagend vanwege de heterogeniteit van de datasets die werden gebruikt voor het trainen van neurale netwerken. Ze kunnen totaal verschillende klassen hebben, structuren, en maten, toe te voegen aan de complexiteit van het bedenken van een benadering. Toen mijn collega's en ik nadachten hoe we dit moesten aanpakken, we probeerden dit niet te zien als een probleem voor een computer, maar in plaats daarvan na te denken over hoe een mens de nauwkeurigheid zou voorspellen.

We begrepen dat als je een mens met enige kennis van deep learning zou vragen of een netwerk goed of slecht zou zijn, die persoon zou er natuurlijk een intuïtie over hebben. Bijvoorbeeld, we zouden erkennen dat twee soorten lagen niet samengaan, of dat na één type laag, er is altijd een andere die volgt en de nauwkeurigheid verbetert. Dus we hebben overwogen of het toevoegen van functies die op deze menselijke intuïties lijken, aan een computer zou kunnen helpen om het nog beter te doen. En we hadden gelijk.

We hebben TAPAS getest op twee datasets uitgevoerd in 400 seconden op een enkele GPU, en onze best ontdekte netwerken bereikten een nauwkeurigheid van 93,67% voor CIFAR-10 en 81,01% voor CIFAR-100, geverifieerd door training. Deze netwerken concurreren met andere automatisch ontdekte state-of-the-art netwerken, maar had slechts een klein deel van de tijd nodig voor oplossing en rekenhulpmiddelen. Onze voorspeller behaalt een prestatie van meer dan 100 netwerken per seconde op een enkele GPU, waardoor de mogelijkheid ontstaat om binnen enkele minuten een grootschalige architectuurzoekopdracht uit te voeren. Wij geloven dat dit de eerste tool is die voorspellingen kan doen op basis van ongeziene gegevens.

TAPAS is een van de AI-engines in de nieuwe baanbrekende mogelijkheid van IBM, NeuNetS genaamd, als onderdeel van AI OpenScale, die aangepaste neurale netwerken kan synthetiseren in zowel tekst- als beelddomeinen.

In NeuNetS, gebruikers zullen hun gegevens uploaden naar de IBM Cloud en vervolgens kan TAPAS de gegevens analyseren en beoordelen op een schaal van 0-1 in termen van complexiteit van de taak, 0 betekent moeilijk en 1 is eenvoudig. Vervolgens begint TAPAS kennis te verzamelen uit zijn referentiebibliotheek op zoek naar vergelijkbare datasets op basis van wat de gebruiker heeft geüpload. Op basis hiervan is dan TAPAS kan nauwkeurig voorspellen hoe een nieuw netwerk zal presteren op de nieuwe dataset, zeer vergelijkbaar met hoe een mens het zou bepalen.

De huidige vraag naar datawetenschapsvaardigheden is al groter dan het huidige aanbod, een echte barrière worden voor de adoptie van AI in de industrie en de samenleving. TAPAS is een fundamentele mijlpaal in de richting van de sloop van deze muur. IBM en het Zürich Research Laboratory werken eraan om AI-technologieën zo gebruiksvriendelijk, als een paar muisklikken. Hierdoor kunnen niet-deskundige gebruikers AI-modellen bouwen en implementeren in een fractie van de tijd die het vandaag kost, en zonder in te boeten aan nauwkeurigheid. Bovendien, deze tools zullen geleidelijk leren over het gebruik in gespecialiseerde domeinen en automatisch verbeteren in de loop van de tijd, wordt beter en beter.

Dit verhaal is opnieuw gepubliceerd met dank aan IBM Research. Lees hier het originele verhaal.