Is uw cursusevaluatie onlangs 'met zijn tijd meegegaan' - ofwel,
verloopt die
voortaan online,
zonder papierwerk? Dan is er een reële kans dat de respons
plotseling gekelderd is. Waarom vullen de studenten uw online enquêtes
niet in? Wat kunt u doen om het weer als vanouds te krijgen, wellicht zelfs
beter?
Deze tekst beoogt docenten en andere onderwijskwaliteitszorgers te
helpen bij het verkrijgen van een goede respons bij online cursusevaluaties.
Klik op de rode dingetjes
en wees voorzichtig met printen.
Veel instellingen evalueren hun onderwijs onder meer
door de studenten vragenlijsten te laten invullen. Dit gebeurde vroeger
veelal door hun een papieren vragenlijst voor te leggen bij het
afsluitende tentamen. Wanneer de studenten het tentamen inleverden werd
hun ook om de vragenlijst gevraagd. Dit leverde een hoge respons op een
duidelijk moment.
Inmiddels stappen instellingen over op online
evaluaties. Deze zijn veelal niet in tijd en plaats gekoppeld aan
tentamens. De studenten wordt op andere manieren gevraagd de vragenlijst
in te vullen. De respons is soms veel lager dan in de oude situatie,
maar niet altijd.
Er zijn veel factoren die deze respons beïnvloeden. Deze
tekst noemt enkele belangrijke. Uw reacties
worden zeer op prijs gesteld.
1. Aankondigen, uitnodigen, herinneren
In het algemeen geldt: gebruik niet slechts één communicatiemiddel en
laat de communicatie niet door slechts één persoon uitvoeren.
Overweeg:
Wie nodigen de studenten uit?
De docent, de opleidingsdirecteur, de kwaliteitszorgmedewerker, of
misschien een vertegenwoordiger van de studenten.
Via welke media worden de studenten uitgenodigd?
Mondeling in de collegezaal, mondeling in de tentamenzaal, via een brief,
een mailtje, een announcement in Blackboard, een forumbericht of
een tekst
rond een Blackboardlink.
Hoe vaak worden de studenten uitgenodigd?
U kunt bijvoorbeeld een vooraankondiging doen, nog vóórdat de enquête
gaat draaien.
Hoe is de tekst geformuleerd?
De uitnodiging moet in elk geval zorgvuldig opgesteld zijn. Zorg dat de
toon overeenstemt met de rol van degene die de uitnodiging verzendt. Leg
een concepttekst voor aan een paar studenten.
Wat is de inhoud van de uitnodiging?
Vraagt u, dwingt u, hoopt u, biedt u de gelegenheid, of biedt u de kans?
Zie hierover de paragrafen 3 t/m 6.
2. Online aanreiken van de enquête
Doorgaans krijgen studenten een mail waarin hun wordt gevraagd de
enquête in te vullen. De meeste enquêtesystemen plaatsen in zo'n mail een
unieke hyperlink, waardoor het enquêtesysteem kan bijhouden wie de enquête wel of
niet heeft ingevuld. Daardoor kan het systeem na enkele dagen een herinnering
verzenden aan de non-respondenten.
Sommige enquêtesystemen kunnen vanuit een teleleerplatform (zoals
Blackboard) respondenten 'ontvangen'.
De studenten zien een hyperlink in een Blackboardcourse; klikken ze erop,
dan wordt de enquête geopend. Deze
constructie heeft logistieke voordelen indien Blackboard als centraal deel van de
digitale leeromgeving fungeert, zoals op de RU het geval is.
In beide gevallen is er een korte tekst die aan het klikken op de
hyperlink voorafgaat.
Stem inhoud en toon af op die van de aankondiging en uitnodiging (1.)
Stem inhoud en toon af op die van de voorlooptekst en bedanktekst van
de enquête zelf.
Geef aan waarom de studenten de enquête zouden invullen
Geef aan hoe u omgaat met privacy en eventuele anonimiteit
Geef aan wat er met de resultaten gebeurt.
Dit zijn twee fundamenteel verschillende constructies.
In de
eerste (pull) moet het
enquêtesysteem alle respondenten tevoren kennen.
In de tweede (push) krijgt
het systeem ze van Blackboard op het moment dat de student op de link
klikt.
3. Verplicht of beloond evalueren
U kunt uw studenten verplichten de enquête in te vullen.
Striktgenomen kan dat alleen indien daarover met de studenten iets
afgesproken is bij hun inschrijving.
Twee voorbeelden:
IOWO geeft alleen een deelnamecertificaat aan IOWO-cursisten die aan
de evaluatie hebben deelgenomen (bijvoorbeeld in de BKO-trainingen).
Een opleiding op de RU geeft alleen de tentamencijfers vrij aan
studenten die de online evaluatie hebben ingevuld. Daarbij behoort de
verzekering dat de tentamenbeoordeling zelf geheel los staat van de
deelnamecontrole.
U kunt bovendien uw studenten belonen voor het invullen van de
enquête. U kunt iets onder de deelnemers verloten of zelfs alle deelnemers
iets uitbetalen. Het laatste gebeurt wel bij pilotprojecten waarin de
studenten tot op zekere hoogte proefkonijn zijn - en waarbij de enquêtes
lang zijn. Een beloning kan ook ideëel van aard zijn: per deelname schenkt
uw project iets aan een goed doel.
Het belonen van studenten voor evaluatiewerk past bij een commerciële
visie op onderwijs (de supermarktmetafoor). Men ziet de studenten als
berekenende consumenten en de onderwijsinstelling als leverancier. De
studenten betalen voor uw diensten, dus als u diensten van hen verlangt,
moet u ook betalen.
Een gevaar bij belonen en verplichten is, dat u er minder van op aan kunt
dat de deelnemers hun werkelijke oordeel invullen. Wellicht nemen sommigen
de enquête niet meer serieus en vullen razendsnel wat in zonder überhaupt
de vraag te lezen. Geërgerde deelnemers vullen opzettelijk extreem
negatieve beoordelingen in. In de praktijk valt dit moeilijk te detecteren,
nog lastiger te traceren en al helemaal niet te bewijzen.
4. Belanghebbend evalueren
Ook de student-als-consument kan het belangrijk vinden om serieus aan
onderwijsevaluatie bij te dragen. De studenten zien zichzelf dan als belanghebbenden.
Door duidelijk hun mening en hun oordeel te geven hebben ze invloed op de
kwaliteit van het onderwijs. Dat komt niet alleen diegenen ten goede die na
hen het onderwijs volgen, maar het werkt ook door in het onderwijs dat ze
zelf nog zullen volgen.
Deze benadering kan alleen werken indien het evalueren werkelijk leidt
tot verandering en indien alle studenten dat ook waarnemen. Hier
blijkt nog al eens een verschil in perceptie tussen de
studentenvertegenwoordigers (die onderwijsevaluatie van groot belang achten)
en de 'gewone' studenten (die er het nut maar moeilijk van
inzien).
Er zijn minstens drie aspecten om aan te pakken:
zorg dat er ook werkelijk wat gebeurt met de mening van de studenten;
laat aan de studenten weten wat er mee gebeurt en wat er mee gebeurd
is;
doe dit in overleg met de studentenvertegenwoordigers.
5. Vanzelfsprekend evalueren
U en uw studenten kunnen het ook vanzelfsprekend vinden dat ze de
enquête invullen. Dit past in een visie waarin docenten en studenten
gezamenlijk verantwoordelijkheid dragen voor het ontwikkelen van de
wetenschap, en dus ook voor het leren en het onderwijs. Het verbeteren van
het onderwijs door bij te dragen aan de evaluatie is daar een onderdeel
van.
Een dergelijke visie komt niet een-twee-drie tot stand, en al helemaal
niet bij gelegenheid van een poging om de respons op evaluaties te verhogen.
Er zijn niettemin opleidingen op de RU waar deze werkplaatsmetafoor
door docenten en studenten gehanteerd wordt in de opzet, uitvoering en
beoordeling van het onderwijs. De studenten nemen vanzelfsprekend deel aan
de evaluaties - al is een herinnering heus nog wel nodig.
6. Persoonlijk evalueren
Vanouds geldt dat schriftelijke onderwijsevaluaties anoniem moeten zijn:
alleen dan kunnen de studenten zich vrij uitspreken zonder voor repercussies
te hoeven vrezen. Online evaluatiesystemen bevatten constructies die ervoor
moeten zorgen dat de gegevens alleen 'onthoofd' beschikbaar komen.
Evaluaties op naam kunnen echter aanzienlijk meer informatie
opleveren.
De studenten schrijven persoonlijker en zorgvuldiger omdat ze nu meer
'in gesprek' zijn met de docenten die wat van hen willen weten.
De gegevens kunnen voor analyse gekoppeld worden aan
tentamenresultaten en andere voortgangsgegevens.
Het zal duidelijk zijn, dat dit evalueren-op-naam zeer zorgvuldig
doordacht moet worden.
Breng in kaart wie wanneer wat met welke gegevens doet. Een duidelijk
voorbeeld is: de docenten die de studenten beoordelen, behoren op het
moment van beoordeling niet te zien of de beoordeelde al een evaluatie geschreven heeft
en wat die geschreven heeft.
Bespreek dit bijtijds met de studenten en stel zonodig de procedure
bij.
Zorg dat alle studenten uiteindelijk weten hoe het gaat en wat de
beweegredenen zijn om zo te werk te gaan.
Zorg voor een extra procedure die het mogelijk maakt dat studenten
'hogerop' en/of toch anoniem hun opmerkingen kunnen aangeven.
Schriftelijke evaluaties hebben niet vanzelfsprekend de vorm van
een enquête.
U kunt ook werken met een evaluatieforum, waarbij U het aan de
studenten overlaat of ze wel of niet anoniem
schrijven.
Een voordeel van een evaluatieforum is dat studenten ook op elkaars
commentaar kunnen reageren, en dat de docent nog nadere vragen kan
stellen terwijl het forum openstaat.
Men kan een formele, anonieme online enquête goed combineren met
een meer informeel evaluatieforum.
Evaluatie van onderwijs kan gecombineerd worden met evaluatie
van leren (zelfreflectie). De studenten schrijven een kort essay
en leveren dat in als één van de eindopdrachten. Deze werkwijze
levert goede resultaten bij enkele cursussen van de opleidingen
Informatica en Informatiekunde aan de RU.
7. Er naar handelen en dat terugkoppelen
Voor studenten is het niet stimulerend als ze het gevoel hebben dat hun
evaluatie in een la verdwijnt.
Geef bij de uitnodiging of evaluatieopdracht al aan wat er met de
gegevens gebeurt.
Koppel de uitkomsten van de evaluatie zelf zo snel mogelijk terug.
Zorg dat de verzamelde gegevens daadwerkelijk gebruikt worden ter
verbetering van het onderwijs.
Laat aan de studenten zien op welke aspecten van het onderwijs de
evaluatie effect zal hebben of al heeft gehad.
Meer over ITS-ESurvey, gekoppeld aan Blackboard
ITS-ESurvey is een door IOWO/ITS ontwikkeld systeem dat deel uitmaakt van
het dienstenpakket van ITS-evaluatieservice. ITS kan er zeer elegante
'slimme' enquêtes mee realiseren, geheel naar wens van de opdrachtgever.
Over dit onderwijsadvieselement 23
Deze pagina is ontwikkeld door Willibrord Huisman naar
aanleiding van veel voorkomende
vragen aan IOWO's docentadviespunt.
Ze is bedoeld voor kwaliteitszorgmedewerkers,
docenten, opleidingsdirecteuren, en opleidingscommissieleden.
Tekeningen: Eva Huisman, 2007
Inmiddels is IOWO opgeheven, waarbij de afdeling
Evaluatieservice het werk heeft voortgezet binnen ITS; zie
www.evaluatieservice.com
Dit element is in 2014 ontdaan van verouderde
technische adviezen.
Status: vitrine
Context
& colofon
U ziet een 'onderwijsadvieselement' dat ik in
mijn onderwijsadviespraktijk gebruik of
gebruikt heb.
Deze elementen zijn veelal achtergrondmateriaal bij workshops, cursussen
en advieswerk; bovendien worden ze gebruikt voor zelfstudie,
bijvoorbeeld in het kader van de BKO.
De meeste heb ik ontwikkeld bij
IOWO, dat
inmiddels opgeheven is. Ik werk ze af en toe bij, of ik laat ze juist historisch
intact; let op het jaartal en de status.
Onregelmatig maak ik ook nieuwe.
De index geeft u een overzicht van de
onderwerpen en statussen.
NB: Als u dit kunt lezen, heeft u vermoedelijk een afdruk in handen.
Deze onderwijsadvieselementen zijn evenwel ontworpen voor interactief gebruik, met als gevolg dat
essentiële informatie niet afgedrukt wordt; zo ziet u van een reeks afbeeldingen alleen de eerste.
Neem gerust contact met mij op voor anderssoortige presentaties van deze materie.
