science >> Wetenschap >  >> anders

Hoe variabiliteit het leren en generalisatie bepaalt

Een voorbeeld van technieken voor visuele gegevensvergroting die worden gebruikt bij machine learning, waarin het belangrijkste principe van variabiliteitseffecten wordt vastgelegd:blootstelling aan variatie langs niet-discriminerende dimensies (d.w.z. door te roteren, de kleur te veranderen of het doelbeeld gedeeltelijk te maskeren) verbetert de neurale netwerken ' vermogen om te generaliseren (in dit geval - om een ​​vos te identificeren), maar ten koste van het vertragen van het initiële leren. Mensen vertonen een soortgelijk effect:meer variabele invoer is moeilijker te leren, maar vergroot uiteindelijk ons ​​vermogen om de kennis die we hebben geleerd te generaliseren naar nieuwe contexten. Variabiliteit helpt namelijk om te benadrukken welke kenmerken van de categorie daadwerkelijk relevant zijn en welke niet. Krediet:Limor Raviv

Variabiliteit is van cruciaal belang voor het aanleren van nieuwe vaardigheden. Overweeg om te leren hoe te dienen in tennis. Moet je altijd oefenen met serveren vanaf exact dezelfde locatie op het veld, gericht op precies dezelfde plek? Hoewel oefenen in meer variabele omstandigheden in het begin langzamer zal zijn, zal het je uiteindelijk waarschijnlijk een betere tennisser maken. Dit komt omdat variabiliteit leidt tot een betere generalisatie van het geleerde.

Chihuahua's en Duitse Doggen

Dit principe is te vinden in veel domeinen, waaronder spraakperceptie, grammatica en het leren van woorden en categorieën. Baby's zullen bijvoorbeeld moeite hebben om de categorie 'hond' te leren als ze alleen worden blootgesteld aan chihuahua's, in plaats van aan veel verschillende soorten honden (chihuahua's, poedels en Duitse doggen).

"Er zijn meer dan 10 verschillende namen voor dit basisprincipe", zegt MPI's Limor Raviv, de senior onderzoeker van de studie gepubliceerd in Trends in Cognitive Sciences . "Leren van minder variabele input is vaak snel, maar kan niet worden gegeneraliseerd naar nieuwe stimuli. Maar deze belangrijke inzichten zijn niet verenigd in een enkel theoretisch kader, waardoor het grotere geheel is verduisterd."

Om de belangrijkste patronen te identificeren en de onderliggende principes van variabiliteitseffecten te begrijpen, hebben Raviv en haar collega's meer dan 150 studies over variabiliteit en generalisatie op verschillende gebieden beoordeeld, waaronder informatica, taalkunde, categorisering, motorisch leren, visuele waarneming en formeel onderwijs.

Dhr. Miyagi

De onderzoekers ontdekten dat er in alle onderzoeken ten minste vier verschillende soorten variabiliteit zijn, zoals de grootte van de set (bijvoorbeeld het aantal verschillende voorbeelden of locaties op de tennisbaan) en planning (bijvoorbeeld oefenschema's met verschillende bestellingen of vertragingen) . "Deze vier soorten variabiliteit zijn nooit rechtstreeks vergeleken, wat betekent dat we momenteel niet weten welke het meest effectief is om te leren", zegt Raviv.

De impact van variabiliteit hangt af van of het relevant is voor de taak of niet (de kleur van de tennisbaan is waarschijnlijk niet relevant voor het dienen van de praktijk). Maar volgens het "Mr. Miyagi-principe" (geïnspireerd door de klassieke film "The Karate Kid" uit 1984) kan het oefenen van schijnbaar niet-gerelateerde vaardigheden (zoals auto's waxen) juist ten goede komen aan het leren van andere vaardigheden (zoals vechtsporten).

Een voorbeeld van het effect van blootstelling aan meer of minder variabiliteit bij het leren herkennen hoe de letter ‘A’ eruitziet. Initiële trainingsitems worden weergegeven in de middencirkel van elk paneel, en het kleurverloop symboliseert generalisatieprestaties:grotere nauwkeurigheid en/of zekerheid in onze generalisatie wordt weergegeven door geeltinten, terwijl lagere nauwkeurigheid en/of zekerheid in onze generalisatie wordt weergegeven door tinten blauw. Minder variabiliteit tijdens de initiële training (Panel A) kan ertoe leiden dat leerlingen conservatievere hypothesen vormen over hoe de letter 'A' eruit kan zien, wat resulteert in een nauwere generalisatie naar minder frequente gevallen van de letter 'A'. Variabelere voorbeelden tijdens de initiële training (Panel B) zullen resulteren in bredere hypothesen/categorisatie, en zullen leerlingen in staat stellen om verschillende instanties van de letter 'A' die later worden aangetroffen nauwkeuriger en/of zekerder te classificeren. Krediet:Limor Raviv

Concurrerende theorieën

Maar waarom heeft variabiliteit invloed op leren en generalisatie? One theory is that more variable input can highlight which aspects of a task are relevant and which are not (color is useful for distinguishing between lemons and limes, but not for distinguishing between cars and trucks).

Another theory is that greater variability leads to broader generalizations. This is because variability will represent the real world better, including atypical examples (such as Chihuahuas).

A third reason has to do with the way memory works:when training is variable, learners are forced to actively reconstruct their memories.

Face recognition

"Understanding the impact of variability is important for literally every aspect of our daily life. Beyond affecting the way we learn language, motor skills, and categories, it even has an impact on our social lives," explains Raviv. "For example, face recognition is affected by whether people grew up in a small community (fewer than 1,000 people) or in larger community (more than 30,000 people). Exposure to fewer faces during childhood is associated with diminished face memory."

"We hope this work will spark people's curiosity and generate more work on the topic," concludes Raviv. "Our paper raises a lot of open questions. For example:Is the relationship between variability and learning broadly similar across species, or are there species-specific adaptations? Can we find similar effects of variability beyond the brain, for instance in the immune system?"