Onderzoekers van MIT en elders hebben een interactieve tool ontwikkeld die, Voor de eerste keer, laat gebruikers zien en controleren hoe geautomatiseerde machine learning-systemen werken. Het doel is om vertrouwen in deze systemen op te bouwen en manieren te vinden om ze te verbeteren.

Het ontwerpen van een machine learning-model voor een bepaalde taak, zoals beeldclassificatie, ziekte diagnoses, en aandelenmarktvoorspelling - is een moeilijke, tijdrovend proces. Experts kiezen eerst uit veel verschillende algoritmen om het model omheen te bouwen. Vervolgens, ze passen handmatig "hyperparameters" aan - die de algemene structuur van het model bepalen - voordat het model begint te trainen.

Recent ontwikkelde geautomatiseerde machine-learning (AutoML) systemen testen en wijzigen iteratief algoritmen en die hyperparameters, en selecteer de meest geschikte modellen. Maar de systemen werken als "zwarte dozen, " wat betekent dat hun selectietechnieken voor gebruikers verborgen zijn. gebruikers vertrouwen de resultaten mogelijk niet en kunnen het moeilijk vinden om de systemen aan te passen aan hun zoekbehoeften.

In een paper gepresenteerd op de ACM CHI Conference on Human Factors in Computing Systems, onderzoekers van het MIT, de Hong Kong Universiteit voor Wetenschap en Technologie (HKUST), en Zhejiang University beschrijven een tool die de analyse en controle van AutoML-methoden in handen geeft van gebruikers. ATMSeer genoemd, de tool neemt als invoer een AutoML-systeem, een gegevensset, en wat informatie over de taak van een gebruiker. Vervolgens, het visualiseert het zoekproces in een gebruiksvriendelijke interface, die uitgebreide informatie geeft over de prestaties van de modellen.

"We laten gebruikers kiezen en zien hoe de AutoML-systemen werken, " zegt co-auteur Kalyan Veeramachaneni, een hoofdonderzoeker in het MIT Laboratory for Information and Decision Systems (LIDS), die de groep Data to AI leidt. "Je zou gewoon het best presterende model kunnen kiezen, of je hebt misschien andere overwegingen of gebruikt domeinexpertise om het systeem te begeleiden bij het zoeken naar bepaalde modellen boven andere."

In casestudies met bètastudenten, die AutoML-beginners waren, de onderzoekers ontdekten dat ongeveer 85 procent van de deelnemers die ATMSeer gebruikten vertrouwen had in de modellen die door het systeem waren geselecteerd. Bijna alle deelnemers zeiden dat het gebruik van de tool hen comfortabel genoeg maakte om in de toekomst AutoML-systemen te gebruiken.

"We ontdekten dat mensen meer geneigd waren om AutoML te gebruiken als gevolg van het openen van die zwarte doos en het zien en controleren van hoe het systeem werkt, " zegt Micha Smith, een afgestudeerde student bij de afdeling Electrical Engineering and Computer Science (EECS) en een onderzoeker in LIDS.

"Datavisualisatie is een effectieve benadering voor een betere samenwerking tussen mens en machine. ATMSeer is een voorbeeld van dit idee, " zegt hoofdauteur Qianwen Wang van HKUST. "ATMSeer zal vooral beoefenaars van machine learning ten goede komen, ongeacht hun domein, [die] een bepaald niveau van expertise hebben. Het kan de pijn verlichten van het handmatig selecteren van algoritmen voor machine learning en het afstemmen van hyperparameters."

Bij Smit aansluiten, Veeramachaneni, en Wang op het papier zijn:Yao Ming, Qiaomu Shen, Dongyu Liu, en Huamin Qu, heel HKUST; en Zhihua Jin van de Zhejiang University.

Het model afstemmen

De kern van de nieuwe tool is een aangepast AutoML-systeem, genaamd "Auto-Tuned Modellen" (ATM), ontwikkeld door Veeramachaneni en andere onderzoekers in 2017. In tegenstelling tot traditionele AutoML-systemen, ATM catalogiseert alle zoekresultaten volledig terwijl het modellen probeert aan te passen aan gegevens.

ATM neemt als invoer elke dataset en een gecodeerde voorspellingstaak. Het systeem selecteert willekeurig een algoritmeklasse, zoals neurale netwerken, Beslissingsbomen, willekeurig bos, en logistische regressie - en de hyperparameters van het model, zoals de grootte van een beslisboom of het aantal neurale netwerklagen.

Vervolgens, het systeem voert het model uit tegen de dataset, stemt iteratief de hyperparameters af, en meet prestaties. Het gebruikt wat het heeft geleerd over de prestaties van dat model om een ​​ander model te selecteren, enzovoort. Uiteindelijk, het systeem voert verschillende best presterende modellen uit voor een taak.

De truc is dat elk model in wezen kan worden behandeld als één gegevenspunt met een paar variabelen:algoritme, hyperparameters, en prestaties. Voortbouwend op dat werk, de onderzoekers ontwierpen een systeem dat de gegevenspunten en variabelen op aangewezen grafieken en grafieken plot. Vanaf daar, ze ontwikkelden een aparte techniek waarmee ze die gegevens ook in realtime kunnen herconfigureren. "De truc is dat met deze hulpmiddelen alles wat je kunt visualiseren, u kunt ook wijzigen, "zegt Smit.

Vergelijkbare visualisatietools zijn afgestemd op het analyseren van slechts één specifiek machine learning-model, en laat beperkte aanpassing van de zoekruimte toe. "Daarom, ze bieden beperkte ondersteuning voor het AutoML-proces, waarin de configuraties van veel gezochte modellen moeten worden geanalyseerd, ", zegt Wang. "In tegenstelling, ATMSeer ondersteunt de analyse van machine learning-modellen die zijn gegenereerd met verschillende algoritmen."

Gebruikerscontrole en vertrouwen

De interface van ATMSeer bestaat uit drie delen. Een controlepaneel stelt gebruikers in staat om datasets en een AutoML-systeem te uploaden, en start of pauzeer het zoekproces. Daaronder bevindt zich een overzichtspaneel met basisstatistieken, zoals het aantal doorzochte algoritmen en hyperparameters, en een 'leaderboard' van best presterende modellen in aflopende volgorde. "Dit is misschien het uitzicht waarin je het meest geïnteresseerd bent als je geen expert bent die in de kleinste details duikt, ' zegt Veeramachaneni.

ATMSeer bevat een "AutoML Profiler, " met panelen met diepgaande informatie over de algoritmen en hyperparameters, die allemaal kunnen worden aangepast. Eén paneel geeft alle algoritmeklassen weer als histogrammen:een staafdiagram dat de verdeling van de prestatiescores van het algoritme weergeeft, op een schaal van 0 tot 10, afhankelijk van hun hyperparameters. Een apart paneel toont spreidingsdiagrammen die de afwegingen in prestaties voor verschillende hyperparameters en algoritmeklassen visualiseren.

Casestudy's met experts op het gebied van machine learning, die geen AutoML-ervaring hadden, onthulde dat gebruikerscontrole de prestaties en efficiëntie van AutoML-selectie helpt verbeteren. Gebruikersonderzoeken met 13 afgestudeerde studenten in verschillende wetenschappelijke gebieden, zoals biologie en financiën, waren ook onthullend. De resultaten geven drie belangrijke factoren aan:het aantal doorzochte algoritmen, systeemlooptijd, en het vinden van het best presterende model - bepaald hoe gebruikers hun AutoML-zoekopdrachten hebben aangepast. Die informatie kan worden gebruikt om de systemen op gebruikers af te stemmen, zeggen de onderzoekers.

"We beginnen net het begin te zien van de verschillende manieren waarop mensen deze systemen gebruiken en selecties maken, " zegt Veeramachaneni. "Dat komt omdat nu deze informatie allemaal op één plek staat, en mensen kunnen zien wat er achter de schermen gebeurt en hebben de macht om het te controleren."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.