Wetenschap
Onderzoekers ontdekken dat studenten met een achternaam die later in alfabetische volgorde staan, lagere cijfers krijgen
Het kennen van je ABC is essentieel voor academisch succes, maar het hebben van een achternaam die begint met A, B of C kan ook helpen bij het behalen van het cijfer.
Uit een analyse door onderzoekers van de Universiteit van Michigan van meer dan 30 miljoen beoordelingsgegevens van de U-M blijkt dat studenten met alfabetisch lager gerangschikte namen lagere cijfers krijgen. Dit komt door vooroordelen bij het beoordelen van de volgorde en de standaardvolgorde van de inzendingen van studenten in Canvas, het meest gebruikte online leerbeheersysteem, dat is gebaseerd op de alfabetische rangschikking van hun achternamen.
Bovendien, zo merken ze, krijgen leerlingen met een alfabetische achterstand opmerkingen die opmerkelijk negatiever en minder beleefd zijn, en een lagere beoordelingskwaliteit vertonen, gemeten aan de hand van klachten van leerlingen na afloop.
"We hebben veel tijd besteed aan het nadenken over hoe we de beoordeling eerlijk en accuraat konden maken, maar zelfs voor mij was het echt verrassend", zegt Jun Li, universitair hoofddocent technologie en operaties aan de Ross School of Business van de U-M, die mede- schreef het onderzoek samen met promovendi Jiaxin Pei van de U-M's School of Information en Helen (Zhihan) Wang van Ross.
"Het kwam pas bij ons op toen we naar de gegevens keken en beseften dat de volgorde een verschil maakt."
De onderzoekers verzamelden beschikbare historische gegevens van alle programma's, studenten en opdrachten op Canvas vanaf het semester herfst 2014 tot het semester zomer 2022. Ze hebben de Canvas-gegevens aangevuld met universiteitsregistrargegevens, die gedetailleerde informatie bevatten over de achtergronden, demografische gegevens en leertrajecten van studenten aan de universiteit.
Hoewel de gegevens afkomstig zijn van de U-M, zeggen de onderzoekers dat de bevindingen kunnen worden gegeneraliseerd naar instellingen en cursussen. Ze worden gedreven door een veelvoorkomend ontwerpprobleem van leermanagementsystemen:de standaardinstelling waarbij de opdrachten van leerlingen alfabetisch op hun naam worden gerangschikt.
Hun onderzoek bracht een duidelijk patroon aan het licht van een afname van de beoordelingskwaliteit naarmate beoordelaars meer opdrachten beoordelen. Volgens Wang kregen studenten wier achternaam begint met A, B, C, D of E een 0,3 punt hoger cijfer op 100 mogelijke punten dan wanneer ze willekeurig werden beoordeeld. Op dezelfde manier kregen leerlingen met achternamen die later in het alfabet staan een 0,3 punt lager cijfer, waardoor er een verschil van 0,6 punten ontstond.
Wang merkt voor een kleine groep beoordelaars (ongeveer 5%) op dat het cijferverschil van Z naar A omslaat zoals verwacht:A-E-studenten zijn slechter af, terwijl W-Z-studenten hogere cijfers krijgen in vergelijking met wat ze zouden krijgen als ze willekeurig zouden worden beoordeeld. Dergelijke observaties bevestigen hun hypothese dat het de volgorde van beoordeling is die tot het aanvankelijke verschil in cijfers leidt.
Een verschil van 0,6 punten lijkt misschien klein, maar een dergelijk verschil heeft wel degelijk invloed gehad op de gemiddelden van de studiepunten van studenten, wat een negatieve invloed heeft op de kansen in hun respectievelijke loopbaantrajecten.
"Onze conclusie is dat dit misschien iets is dat onbewust door de beoordelaars is gebeurd en dat feitelijk een echte sociale impact heeft," zei Wang.
Pei zegt dat het idee voor het onderzoek ontstond tijdens een gesprek dat hij had met Wang waarin ze spraken over hun onderzoek:zij studeert onderwijstechnologie en hij studeert kunstmatige intelligentie. Hij merkte op dat een fundamentele taak van machinaal leren het labelen van gegevens is, ook een sequentiële taak die lang en vervelend kan zijn, maar wel een die willekeurig is.
Het zette hen aan het denken over onderwijssystemen als Canvas en leidde tot een aantal pilotstudies om te kijken of er verschillen bestonden tussen de cijfers op basis van de hoeveelheid tijd die aan het beoordelen werd besteed.
"We vermoeden dat vermoeidheid een van de belangrijkste factoren is die dit effect veroorzaakt, omdat als je ergens voor een langere periode aan werkt, je moe wordt en dan je aandacht begint te verliezen en je cognitieve vaardigheden afnemen. laten vallen," zei Pei.
De onderzoekers merken op dat de mogelijkheid bestaat om de opdrachten in willekeurige volgorde te beoordelen, en sommige docenten doen dat ook, maar alfabetische volgorde is de standaardmodus in Canvas en andere online leerbeheersystemen. Een eenvoudige oplossing zou zijn om van willekeurige volgorde de standaardinstelling te maken.
Ze suggereren ook dat academische instellingen meer beoordelaars zouden kunnen inhuren voor grotere klassen, de werklast over meer mensen zouden kunnen verdelen of hen zouden kunnen opleiden om zich bewust te zijn van de vooroordelen tijdens het beoordelen en deze te verminderen.
Li, Wang en Pei hebben hun onderzoek op conferenties gedeeld en het werd positief ontvangen; velen zijn onder de indruk van hun werk, ook al bevestigt het de vermoedens die velen koesteren. Eén reactie valt Li in het bijzonder op:ongetwijfeld een rimpel uit het informatietijdperk over het excuus 'de hond heeft mijn huiswerk opgegeten'.
"Een studente stuurde ons daarna een e-mail met het verzoek het papier met hem te delen", zei ze. "Hij vertelde dat zijn achternaam begon met een W. Hij gaat zijn ouders vertellen dat het niet aan hem ligt, maar aan zijn achternaam."
Het onderzoek wordt momenteel beoordeeld door het tijdschrift Management Science en momenteel beschikbaar als werkdocument.