Deze week sturen veel Australische universiteiten academici de resultaten van de studentenevaluatie-enquêtes van het eerste semester.

Voor sommigen zal dit een verontrustende en onaangename tijd zijn. De opmerkingen die universiteitsstudenten anoniem maken in hun onderwijsevaluaties kunnen academici angstig, bedroefd en gedemoraliseerd maken.

En met een goede reden. Zoals uit een enquête van 2021 onder Australische academici en hun ervaringen met feedback van studenten bleek:"Er werden vaak persoonlijk destructieve, lasterlijke, beledigende en kwetsende opmerkingen gerapporteerd."

Kwetsende of beledigende opmerkingen kunnen permanent worden geregistreerd als een maatstaf voor prestaties. Deze gegevens kunnen van invloed zijn op sollicitaties voor promotie of voor veilig voortgezet werk.

De auteurs van de 2021-enquête, geleid door Richard Lakeman van de Southern Cross University, behoorden tot degenen die opriepen tot het schrappen van anonieme online-enquêtes. Sommige academici, verbrand door hun ervaring met studentenfeedback, zeggen dat ze niet langer evaluatierapporten van studenten openen of gebruiken. Ze zeiden dat het risico op schade groter was dan de voordelen.

In de Netflix-show The Chair, een gedenkwaardige scène, ziet het personage professor Joan Hambling haar studentenevaluaties verbranden. Er is duidelijk een andere oplossing nodig.

Feedback van studenten kan nog steeds waardevol zijn voor het verhogen van de onderwijsnormen en het is belangrijk dat studenten hun zegje kunnen doen.

We hebben een screeningsysteem ontwikkeld dat gebruikmaakt van machine learning (waarbij software zijn gedrag verandert door te 'leren' van gebruikersinvoer) waarmee studenten over hun ervaringen kunnen praten en academici kunnen worden beschermd tegen onaanvaardbare opmerkingen.

Waarom een ​​nieuwe aanpak nodig is

Universitaire gedragscodes herinneren studenten aan hun algemene verplichting om zich te onthouden van beledigend of discriminerend gedrag, maar niet specifiek met betrekking tot studentevaluaties.

In plaats daarvan vertrouwen universiteiten op zelfregulering of op anderen om incidenten te melden. Sommige instellingen gebruiken godslasteringblokkers om opmerkingen te screenen. Zelfs dan slagen deze er vaak niet in om nieuwe termen van misbruik in online spraak te detecteren.

Dus bij het opzetten van ons screeningsysteem wilden we:

• het welzijn van medewerkers en studenten bevorderen
• verbeter de betrouwbaarheid en validiteit van feedback van studenten
• het vertrouwen in de integriteit van enquêteresultaten verbeteren

We hebben een methode ontwikkeld met behulp van machine learning en een woordenboek met termen om te screenen op onaanvaardbare opmerkingen van studenten. Het woordenboek is gemaakt door QUT op basis van historisch geïdentificeerde onaanvaardbare opmerkingen en met voorafgaand onderzoek naar beledigende en discriminerende termen.

Onze 'Screenomatic'-oplossing

Er is niet veel gepubliceerd werk over het opsporen van onaanvaardbare of beledigende opmerkingen in enquêtes voor studentenevaluaties. Daarom heeft ons team eerder onderzoek naar het opsporen van vrouwonvriendelijke tweets aangepast. Dit werkte omdat de opmerkingen van studenten waar we naar keken vaak even lang waren als de limiet van 280 tekens van een tweet.

Onze aanpak, die we 'Screenomatic' noemen, beoordeelde in 2021 automatisch meer dan 100.000 opmerkingen van studenten en identificeerde de opmerkingen die misbruik leken te zijn. Getrainde evaluatiemedewerkers beoordeelden handmatig ongeveer 7.000 gemarkeerde opmerkingen en werkten het machine-learningmodel na elk semester bij. Elke update verbetert de nauwkeurigheid van automatische detectie.

Uiteindelijk werden 100 reacties verwijderd voordat de resultaten werden vrijgegeven aan docenten en supervisors. Het universitaire beleid maakt het mogelijk om opmerkingen opnieuw te identificeren in geval van mogelijk wangedrag. Het centrale evaluatieteam nam contact op met deze studenten en herinnerde hen aan hun verplichtingen onder de gedragscode.

Het Screenomatic-model kan zowel docenten als studenten helpen beschermen. Medewerkers worden beschermd tegen misbruik, en studenten die risico lopen - die opmerkingen maken die aangeven dat ze hulp nodig hebben in de geestelijke gezondheidszorg, beschuldigingen van pesten of intimidatie bevatten, of die personeel of andere studenten bedreigen - kunnen ondersteuning krijgen. Universiteiten kunnen gegevens delen om het model te trainen en valuta te onderhouden.

Belangrijk is dat het proces universiteiten in staat stelt moreel te handelen om de stemmen van studenten te benutten en tegelijkertijd het welzijn van mensen te beschermen.

Nuttige feedback, geen misbruik

Het aantal docenten dat beledigende feedback ontvangt, is mogelijk relatief klein. Het is echter nog steeds onaanvaardbaar dat universiteiten hun personeel blijven blootstellen aan beledigende opmerkingen in het volle besef van hun potentiële impact.

Met de uitspraak van het Hooggerechtshof van vorig jaar over aansprakelijkheid voor lasterlijke berichten en pogingen om de online veiligheid te verbeteren, groeit het besef dat mensen geen anonieme, schadelijke berichten mogen plaatsen.

De kosten van het screenen van reacties zijn immers niets vergeleken met de kosten voor individuen (inclusief gevolgen voor de geestelijke gezondheid of carrière). En dat is het negeren van de mogelijke kosten van rechtszaken en juridische schade.

Aan het eind van de dag worden de anonieme reacties gelezen door echte mensen. Als een tweet als reactie op de bevindingen van Lakeman:

Het Screenomatic-model gaat een heel eind in de richting van het mogelijk maken van de "tonnen nuttige feedback" om het beoogde doel te dienen, terwijl het ervoor zorgt dat mensen niet worden geschaad in het proces. + Verder verkennen

Problematische anonieme feedback van studenten over docenten

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.