De respons bij online evaluaties

Is uw cursusevaluatie onlangs 'met zijn tijd meegegaan' - ofwel, verloopt die voortaan online, zonder papierwerk? Dan is er een reële kans dat de respons plotseling gekelderd is. Waarom vullen de studenten uw online enquêtes niet in? Wat kunt u doen om het weer als vanouds te krijgen, wellicht zelfs beter?

Deze tekst beoogt docenten en andere onderwijskwaliteitszorgers te helpen bij het verkrijgen van een goede respons bij online cursusevaluaties.

Klik op de rode dingetjes Hulp bij de bestudering van deze pagina. en wees voorzichtig met printen.

    
Onderwijsadvieselement 23
2009
update: 2014
status: vitrine
info: Naar de statusinfo van dit onderwijsadvieselement

Inhoud

1. Aankondigen, uitnodigen, herinneren

2. Online aanreiken van de enquête

3. Verplicht of beloond evalueren

4. Belanghebbend evalueren

5. Vanzelfsprekend evalueren

6. Persoonlijk evalueren

7. Ernaar handelen en dat terugkoppelen

streepje

0. Het probleem

Veel instellingen evalueren hun onderwijs onder meer door de studenten vragenlijsten te laten invullen. Dit gebeurde vroeger veelal door hun een papieren vragenlijst voor te leggen bij het afsluitende tentamen. Wanneer de studenten het tentamen inleverden werd hun ook om de vragenlijst gevraagd. Dit leverde een hoge respons op een duidelijk moment.

Inmiddels stappen instellingen over op online evaluaties. Deze zijn veelal niet in tijd en plaats gekoppeld aan tentamens. De studenten wordt op andere manieren gevraagd de vragenlijst in te vullen. De respons is soms veel lager dan in de oude situatie, maar niet altijd.

Er zijn veel factoren die deze respons beïnvloeden. Deze tekst noemt enkele belangrijke. Uw reacties naar een plaats verderop in deze pagina worden zeer op prijs gesteld.

 

Communicatie rond online enquête

streepje

naar inhoud
1. Aankondigen, uitnodigen, herinneren

In het algemeen geldt: gebruik niet slechts één communicatiemiddel en laat de communicatie niet door slechts één persoon uitvoeren.

Overweeg:

  • Wie nodigen de studenten uit?
    De docent, de opleidingsdirecteur, de kwaliteitszorgmedewerker, of misschien een vertegenwoordiger van de studenten.
  • Via welke media worden de studenten uitgenodigd?
    Mondeling in de collegezaal, mondeling in de tentamenzaal, via een brief, een mailtje, een announcement in Blackboard, een forumbericht of een tekst rond een Blackboardlink.
  • Hoe vaak worden de studenten uitgenodigd?
    U kunt bijvoorbeeld een vooraankondiging doen, nog vóórdat de enquête gaat draaien.
  • Hoe is de tekst geformuleerd?
    De uitnodiging moet in elk geval zorgvuldig opgesteld zijn. Zorg dat de toon overeenstemt met de rol van degene die de uitnodiging verzendt. Leg een concepttekst voor aan een paar studenten.
  • Wat is de inhoud van de uitnodiging?
    Vraagt u, dwingt u, hoopt u, biedt u de gelegenheid, of biedt u de kans? Zie hierover de paragrafen 3 t/m 6.

streepje

naar inhoud
2. Online aanreiken van de enquête

Doorgaans krijgen studenten een mail waarin hun wordt gevraagd de enquête in te vullen. De meeste enquêtesystemen plaatsen in zo'n mail een unieke hyperlink, waardoor het enquêtesysteem kan bijhouden wie de enquête wel of niet heeft ingevuld. Daardoor kan het systeem na enkele dagen een herinnering verzenden aan de non-respondenten.

Sommige enquêtesystemen kunnen vanuit een teleleerplatform (zoals Blackboard) respondenten 'ontvangen'. De studenten zien een hyperlink in een Blackboardcourse; klikken ze erop, dan wordt de enquête geopend. Deze constructie heeft logistieke voordelen indien Blackboard als centraal deel van de digitale leeromgeving fungeert, zoals op de RU het geval is. 

In beide gevallen is er een korte tekst die aan het klikken op de hyperlink voorafgaat. 

  • Stem inhoud en toon af op die van de aankondiging en uitnodiging (1.)
  • Stem inhoud en toon af op die van de voorlooptekst en bedanktekst van de enquête zelf.
  • Geef aan waarom de studenten de enquête zouden invullen
  • Geef aan hoe u omgaat met privacy en eventuele anonimiteit
  • Geef aan wat er met de resultaten gebeurt.
streepje
Dit zijn twee fundamenteel verschillende constructies.
In de eerste (pull) moet het enquêtesysteem alle respondenten tevoren kennen.
In de tweede (push) krijgt het systeem ze van Blackboard op het moment dat de student op de link klikt.

streepje

naar inhoud
3. Verplicht of beloond evalueren

U kunt uw studenten verplichten de enquête in te vullen. Striktgenomen kan dat alleen indien daarover met de studenten iets afgesproken is bij hun inschrijving. 

Twee voorbeelden:

  • IOWO geeft alleen een deelnamecertificaat aan IOWO-cursisten die aan de evaluatie hebben deelgenomen (bijvoorbeeld in de BKO-trainingen).
  • Een opleiding op de RU geeft alleen de tentamencijfers vrij aan studenten die de online evaluatie hebben ingevuld. Daarbij behoort de verzekering dat de tentamenbeoordeling zelf geheel los staat van de deelnamecontrole. 

U kunt bovendien uw studenten belonen voor het invullen van de enquête. U kunt iets onder de deelnemers verloten of zelfs alle deelnemers iets uitbetalen. Het laatste gebeurt wel bij pilotprojecten waarin de studenten tot op zekere hoogte proefkonijn zijn - en waarbij de enquêtes lang zijn. Een beloning kan ook ideëel van aard zijn: per deelname schenkt uw project iets aan een goed doel. 

Het belonen van studenten voor evaluatiewerk past bij een commerciële visie op onderwijs (de supermarktmetafoor). Men ziet de studenten als berekenende consumenten en de onderwijsinstelling als leverancier. De studenten betalen voor uw diensten, dus als u diensten van hen verlangt, moet u ook betalen.

Een gevaar bij belonen en verplichten is, dat u er minder van op aan kunt dat de deelnemers hun werkelijke oordeel invullen. Wellicht nemen sommigen de enquête niet meer serieus en vullen razendsnel wat in zonder überhaupt de vraag te lezen. Geërgerde deelnemers vullen opzettelijk extreem negatieve beoordelingen in. In de praktijk valt dit moeilijk te detecteren, nog lastiger te traceren en al helemaal niet te bewijzen. 

Consument kieskeurig in de supermarkt (Eva Huisman, 2007)

streepje

naar inhoud
4. Belanghebbend evalueren

Ook de student-als-consument kan het belangrijk vinden om serieus aan onderwijsevaluatie bij te dragen. De studenten zien zichzelf dan als belanghebbenden. Door duidelijk hun mening en hun oordeel te geven hebben ze invloed op de kwaliteit van het onderwijs. Dat komt niet alleen diegenen ten goede die na hen het onderwijs volgen, maar het werkt ook door in het onderwijs dat ze zelf nog zullen volgen.

Deze benadering kan alleen werken indien het evalueren werkelijk leidt tot verandering en indien alle studenten dat ook waarnemen. Hier blijkt nog al eens een verschil in perceptie tussen de studentenvertegenwoordigers (die onderwijsevaluatie van groot belang achten) en de 'gewone' studenten (die er het nut maar moeilijk van inzien).  

Er zijn minstens drie aspecten om aan te pakken:

  • zorg dat er ook werkelijk wat gebeurt met de mening van de studenten;
  • laat aan de studenten weten wat er mee gebeurt en wat er mee gebeurd is;
  • doe dit in overleg met de studentenvertegenwoordigers.

 

streepje

naar inhoud
5. Vanzelfsprekend evalueren

U en uw studenten kunnen het ook vanzelfsprekend vinden dat ze de enquête invullen. Dit past in een visie waarin docenten en studenten gezamenlijk verantwoordelijkheid dragen voor het ontwikkelen van de wetenschap, en dus ook voor het leren en het onderwijs. Het verbeteren van het onderwijs door bij te dragen aan de evaluatie is daar een onderdeel van. 

Een dergelijke visie komt niet een-twee-drie tot stand, en al helemaal niet bij gelegenheid van een poging om de respons op evaluaties te verhogen. Er zijn niettemin opleidingen op de RU waar deze werkplaatsmetafoor door docenten en studenten gehanteerd wordt in de opzet, uitvoering en beoordeling van het onderwijs. De studenten nemen vanzelfsprekend deel aan de evaluaties - al is een herinnering heus nog wel nodig. 

Academische gemeenschap bouwt verder aan de wetenschap (Eva Huisman, 2007)

streepje

naar inhoud
6. Persoonlijk evalueren

Vanouds geldt dat schriftelijke onderwijsevaluaties anoniem moeten zijn: alleen dan kunnen de studenten zich vrij uitspreken zonder voor repercussies te hoeven vrezen. Online evaluatiesystemen bevatten constructies die ervoor moeten zorgen dat de gegevens alleen 'onthoofd' beschikbaar komen. 

Evaluaties op naam kunnen echter aanzienlijk meer informatie opleveren. 

  • De studenten schrijven persoonlijker en zorgvuldiger omdat ze nu meer 'in gesprek' zijn met de docenten die wat van hen willen weten.
  • De gegevens kunnen voor analyse gekoppeld worden aan tentamenresultaten en andere voortgangsgegevens. 

Het zal duidelijk zijn, dat dit evalueren-op-naam zeer zorgvuldig doordacht moet worden.

  • Breng in kaart wie wanneer wat met welke gegevens doet. Een duidelijk voorbeeld is: de docenten die de studenten beoordelen, behoren op het moment van beoordeling niet te zien of de beoordeelde al een evaluatie geschreven heeft en wat die geschreven heeft.
  • Bespreek dit bijtijds met de studenten en stel zonodig de procedure bij.
  • Zorg dat alle studenten uiteindelijk weten hoe het gaat en wat de beweegredenen zijn om zo te werk te gaan.
  • Zorg voor een extra procedure die het mogelijk maakt dat studenten 'hogerop' en/of toch anoniem hun opmerkingen kunnen aangeven. 
streepje

 

Schriftelijke evaluaties hebben niet vanzelfsprekend de vorm van een enquête.  U kunt ook werken met een evaluatieforum, waarbij U het aan de studenten overlaat of ze wel of niet anoniem schrijven. 

Een voordeel van een evaluatieforum is dat studenten ook op elkaars commentaar kunnen reageren, en dat de docent nog nadere vragen kan stellen terwijl het forum openstaat.

Men kan een formele, anonieme online enquête goed combineren met een meer informeel evaluatieforum.

Evaluatie van onderwijs kan gecombineerd worden met evaluatie van leren (zelfreflectie). De studenten schrijven een kort essay en leveren dat in als één van de eindopdrachten. Deze werkwijze levert goede resultaten bij enkele cursussen van de opleidingen Informatica en Informatiekunde aan de RU.

streepje

naar inhoud
7. Er naar handelen en dat terugkoppelen

Voor studenten is het niet stimulerend als ze het gevoel hebben dat hun evaluatie in een la verdwijnt. 

  • Geef bij de uitnodiging of evaluatieopdracht al aan wat er met de gegevens gebeurt.
  • Koppel de uitkomsten van de evaluatie zelf zo snel mogelijk terug.
  • Zorg dat de verzamelde gegevens daadwerkelijk gebruikt worden ter verbetering van het onderwijs.
  • Laat aan de studenten zien op welke aspecten van het onderwijs de evaluatie effect zal hebben of al heeft gehad.

 

streepje

naar inhoud
Meer over ITS-ESurvey, gekoppeld aan Blackboard

ITS-ESurveyOver IOWO ESurvey is een door IOWO/ITS ontwikkeld systeem dat deel uitmaakt van het dienstenpakket van ITS-evaluatieservice. ITS kan er zeer elegante 'slimme' enquêtes mee realiseren, geheel naar wens van de opdrachtgever.

 

streepje

   

  

 
Over dit onderwijsadvieselement 23

Deze pagina is ontwikkeld door Willibrord Huisman naar aanleiding van veel voorkomende vragen aan IOWO's docentadviespuntOver gesprekken met adviseurs van IOWO.
Ze is bedoeld voor kwaliteitszorgmedewerkers, docenten, opleidingsdirecteuren, en opleidingscommissieleden.
Tekeningen: Eva Huisman, 2007

Inmiddels is IOWO opgeheven, waarbij de afdeling Evaluatieservice het werk heeft voortgezet binnen ITS; zie www.evaluatieservice.com

Dit element is in 2014 ontdaan van verouderde technische adviezen.
Status:Toelichting over de status van deze onderwijsadvieselementen vitrine 
naar inhoud

   

  

naar inhoud
Context & colofon

U ziet een 'onderwijsadvieselement' dat ik in mijn onderwijsadviespraktijk gebruik of gebruikt heb.
Deze elementen zijn veelal achtergrondmateriaal bij workshops, cursussen en advieswerk; bovendien worden ze gebruikt voor zelfstudie, bijvoorbeeld in het kader van de BKO.
De meeste heb ik ontwikkeld bij IOWO, dat inmiddels opgeheven is. Ik werk ze af en toe bij, of ik laat ze juist historisch intact; let op het jaartal en de status.
Onregelmatig maak ik ook nieuwe.
De index geeft u een overzicht van de onderwerpen en statussen.
Ik stel uw reacties zeer op prijs.

 

Willibrord Huisman, 2002 - 2021

 

www.willibrordhuisman.nl/onderwijsadvies
www.ru.nl/docenten (Radboud Universiteit, Teaching and Learning Centre)
Naar de index van de onderwijsadvieselementen (nieuw venster)© Willibrord Huisman: niet kopiëren, graag naar verwijzen. Toelichting over verwijzing opnemen
 
NB: Als u dit kunt lezen, heeft u vermoedelijk een afdruk in handen. Deze onderwijsadvieselementen zijn evenwel ontworpen voor interactief gebruik, met als gevolg dat essentiële informatie niet afgedrukt wordt; zo ziet u van een reeks afbeeldingen alleen de eerste. Neem gerust contact met mij op voor anderssoortige presentaties van deze materie.