Onderzoekers van de Washington State University maken de allereerste "IQ-test" voor kunstmatige intelligentie (AI)-systemen die systemen zouden scoren op hoe goed ze leren en zich aanpassen aan nieuwe, onbekende omgevingen.

Diane Kok, Regentenhoogleraar en Huie-Rogers leerstoelhoogleraar, en Larry Houder, hoogleraar aan de School voor Elektrotechniek en Informatica, ontving een subsidie ​​van iets meer dan $ 1 miljoen van het Defense Advanced Research Projects Agency (DARPA) om een ​​raamwerk te creëren om de "intelligentie" van AI-systemen te testen.

"Eerder, onderzoek naar het meten van intelligentie in AI-systemen was voornamelijk theoretisch, Holder zei. "Ze hebben de prestaties in de echte wereld niet gemeten in romans, voorheen ongeziene omgevingen en hield geen rekening met de complexiteit van de taken."

Holder en Cook zullen een test ontwerpen die AI-systemen beoordeelt op basis van de moeilijkheidsgraad van de problemen die ze kunnen oplossen. Het creëren van methoden om problemen op hun moeilijkheidsgraad te rangschikken, zal een van de belangrijkste onderdelen van het onderzoek zijn.

"De score houdt ook rekening met de nauwkeurigheid van de systemen, juistheid, tijd en hoeveelheid gegevens die ze nodig hebben om goed te presteren, ' zei Houder.

Een van de grootste uitdagingen voor AI-onderzoekers is het creëren van machines die kunnen leren in een onbekende omgeving zoals een mens dat kan. Veel recente ontwikkelingen op het gebied van machine learning en AI zijn in beperkte, gespecialiseerde taken zoals het detecteren van gezichten en het voorspellen van honkbalwedstrijdresultaten.

Het creëren van machines die intelligent kunnen leren en handelen in nieuwe omgevingen is nog steeds de heilige graal van AI-onderzoek.

"We zijn gericht op het testen en verbeteren van systemen die algemener kunnen zijn, zoals een robotassistent die u kan helpen bij veel van uw dagelijkse taken, " hij zei.

Een van de gedragingen waar Holder en Cook naar zullen kijken, is hoe goed de machines die ze testen het geleerde van de ene taak kunnen overdragen en toepassen op een nieuwe, onzichtbare taak.

"Bijvoorbeeld, misschien wil je dammen leren voordat je gaat schaken, omdat je je kennis gemakkelijk van de ene naar de andere kunt overdragen, ' zei Houder.

Een niet-gegradueerde student die zomeronderzoek deed met Holder hielp hem bij het bedenken van een evaluatieomgeving die zou worden gebruikt om AI-systemen te testen voor taken zoals het spelen van videogames, het oplossen van SAT-testproblemen en het oplossen van de Rubiks kubus.

Cook is ook directeur van het Center of Advanced Studies in Adaptive Systems (CASAS) aan de WSU, dat zich richt op het creëren van slimme huizen met robotassistenten die voor ouderen zorgen, onder andere projecten. Deze robots kunnen worden ingezet om de veiligheid, Gezondheid, mobiliteit en het sociale leven van ouderen.

Holder onderhoudt momenteel een website die de AIQ-uitdaging en het leaderboard host. Als onderdeel van de subsidie Holder hoopt de publiek beschikbare software-interface uit te breiden, die door iedereen kan worden gebruikt om hun AI-systeem te testen en tegelijkertijd meer gegevens aan de onderzoekers te verstrekken.