In een van de grootste educatieve veldexperimenten ooit uitgevoerd, een team onder leiding van een onderzoeker van Cornell ontdekte dat veelbelovende interventies om studenten te helpen bij het voltooien van online cursussen niet op grote schaal effectief waren - wat suggereert dat gerichte oplossingen nodig zijn om studenten in verschillende omstandigheden of locaties te helpen.

Onderzoekers volgden 250, 000 studenten uit bijna elk land in 250 massale open online cursussen (MOOC's) gedurende 2 1/2 jaar in de studie, "Opschalen van gedragswetenschappelijke interventies in online onderwijs, " gepubliceerd op 15 juni in de Proceedings van de National Academy of Sciences .

"Gedragsinterventies zijn geen wondermiddel, " zei Rene Kizilcec, assistent-professor informatica en co-hoofdauteur.

"Eerdere studies toonden aan dat korte, lichte interventies aan het begin van een paar geselecteerde cursussen kunnen de persistentie en voltooiingspercentages verhogen, ", zei hij. "Maar wanneer opgeschaald naar meer dan 250 verschillende cursussen en een kwart miljoen studenten, de interventie-effecten waren een orde van grootte kleiner."

De studie werd mede geleid door Justin Reich van het Massachusetts Institute of Technology en Michael Yeomans van Imperial College London. Het onderzoek is uitgevoerd op de edX- en Open edX-platforms, en edX is bezig met het beschikbaar stellen van de gegevens aan institutionele onderzoekers om de onderwijswetenschap op grote schaal te bevorderen.

De 250 cursussen die de onderzoekers bestudeerden, kwamen van Harvard University, MIT en Stanford University.

Het niet voltooien van online cursussen is een bekend en al lang bestaand obstakel voor virtueel leren, vooral onder achtergestelde gemeenschappen en in ontwikkelingslanden, waar online onderwijs een belangrijke weg kan zijn naar sociale vooruitgang. De bevindingen zijn relevanter geworden omdat er tijdens de COVID-19-pandemie zoveel onderwijs over de hele wereld online plaatsvindt.

"Mijn advies aan instructeurs is om de specifieke uitdagingen in hun leeromgeving te begrijpen en aan te pakken, "Kizilcec zei. "Als studenten problemen hebben met hun internetverbinding, je kunt ze niet helpen ze te overwinnen met een zelfregulerende interventie. Maar als studenten op tijd naar bed moeten om wakker te zijn voor een ochtendcollege, of ze moeten vooruit plannen wanneer ze aan hun huiswerk moeten gaan werken om het klaar te hebben om in te leveren, dan kan een korte zelfreguleringsinterventie studenten juist helpen deze obstakels te overwinnen."

Vorig, kleinschaliger onderzoek, uitgevoerd door Kizilcec en zijn co-auteurs evenals andere geleerden, ontdekte dat interventies om doelen te stellen, zoals het schrijven van een lijst met intenties aan het begin van de les, de voltooiingspercentages van de cursussen van studenten verbeterden.

In dit onderzoek, de onderzoekers onderzochten de effecten van vier interventies:

• plannen maken, waar studenten worden gevraagd om gedetailleerde plannen te ontwikkelen voor wanneer, waar, en hoe ze cursussen voltooien;
• een gerelateerde activiteit waarin leerlingen nadenken over de voordelen en belemmeringen om hun doel te bereiken, en vooruit plannen over hoe te reageren op uitdagingen;
• sociale aansprakelijkheid, waar ze iemand kiezen om hen verantwoordelijk te houden voor hun voortgang in de cursus, en plan wanneer en wat je ze gaat vertellen; en
• waarde-relevantie, waar ze schrijven over hoe het voltooien van de cursus hun belangrijkste waarden weerspiegelt en versterkt.

Voor de eerste drie interventies met vooruit plannen, de onderzoekers ontdekten dat de aanpak effectief was in het vergroten van de betrokkenheid tijdens de eerste paar weken van de cursus, maar de impact nam af naarmate de cursus vorderde. De waarde-relevantie-interventie was effectief in ontwikkelingslanden waar de resultaten van studenten significant slechter waren dan in andere landen, maar alleen in cursussen met een globale prestatiekloof; bij andere cursussen, het had zelfs een negatief effect in ontwikkelingslanden.

De onderzoekers testten of ze konden voorspellen in welke vakken een prestatiekloof zou optreden, om te beslissen waar de interventie moet worden toegevoegd, maar vond het uiterst moeilijk te voorspellen.

"Niet weten of het studenten in een bepaalde cursus zal helpen of schaden, is een groot probleem, " hij zei.

De onderzoekers probeerden machine learning te gebruiken om te voorspellen welke interventies welke studenten zouden kunnen helpen, maar ontdekte dat het algoritme niet beter was dan het toewijzen van dezelfde interventie aan alle studenten.

"Het zet vraagtekens bij het potentieel van AI om gepersonaliseerde interventies te bieden aan worstelende studenten, "Zei Kizilcec. "Benaderingen die zich richten op het begrijpen van wat het beste werkt in individuele omgevingen en het vervolgens afstemmen van interventies op die omgevingen, kunnen effectiever zijn."

De onderzoekers zeiden dat hun bevindingen suggereren dat toekomstige studies moeten worden ontworpen om de verschillen tussen studenten te overwegen en te onthullen, naast studies die de algemene effecten beoordelen.