Objectief toetsen bestaat niet, betrouwbaar wel /reageer

Objectief toetsen bestaat niet, betrouwbaar wel

De Universiteit Maastricht (UM) heeft als onderwijsuniversiteit een naam hoog te houden op het gebied van onderwijsinnovatie. Niet voor niets behoort het onderwijsinstituut van de voormalige Faculteit der Geneeskunde wereldwijd tot de topinstituten op het gebied van onderzoek naar onderwijs en toetsing. Lambert Schuwirth draagt met zijn onderzoek naar innovatieve toetsingsvormen bij aan de voortrekkersrol van de UM. Hij wil een instrumentarium ontwikkelen dat docenten in staat stelt om adequaat te beoordelen of iemand een goede arts kan worden.

Lambert Schuwirth

Prof. dr. Lambert Schuwirth is verbonden aan de capaciteitsgroep Onderwijsontwikkeling en Onderwijsresearch van de Faculteit Health, Medicine and Life Sciences. Per 1 maart 2007 is hij bij deze afdeling als professor benoemd op de leerstoel ‘onderwijs en onderzoek op het gebied van innovatieve toetsvormen’.

Formele toetsingsinstituten

Die instrumenten zijn er volgens Schuwirth nog niet, omdat het denken over toetsing te veel gedomineerd wordt door formele toetsingsinstituten. Deze vatten een toets voornamelijk op als een meting van een stabiele eigenschap. ‘Het is een zienswijze die is geënt op de testpsychologie, waarbij ervan uit wordt gegaan dat datgene wat je moet toetsen zoals kennis en vaardigheden stabiele eigenschappen zijn - net zoals bijvoorbeeld intelligentie - en dat die alleen goed kunnen worden gemeten en in cijfers kunnen worden uitgedrukt. Een IQ-test is een voorbeeld van een meting die gebaseerd is op deze manier van denken.’

Ontoereikende benadering

Deze benadering, het psychometrische model, blijkt echter steeds vaker ontoereikend. ‘Om te beginnen verklaart dit model verschillen in scores bij opeenvolgende vergelijkbare testen voornamelijk door ze als ruis te zien (er wordt immers aangenomen dat een stabiele eigenschap gemeten wordt). Daarmee wordt veel variatie in scores nogal eens onterecht als ruis afgedaan. Een ander probleem is dat er binnen dit model onvoldoende rekening wordt gehouden met het feit dat diverse aspecten van medische competentie zich niet apart ontwikkelen en dus niet apart meetbaar zijn. We moeten er echter juist rekening mee houden hóé deze zich tot elkaar verhouden. Nu tellen we eenvoudigweg de studiepunten bij elkaar op van alle onderdelen waarop studenten getoetst worden. Dat is eigenlijk absurd! Op die manier kun je niet goed bepalen of iemand een goede arts kan worden.’

Vruchteloze zoektocht

De grootste misvatting is volgens Schuwirth dat toetsen objectief zouden moeten zijn en dat de informatie uit een toets daarvoor tot een cijfer gereduceerd moet worden. Dit geloof in objectiviteit heeft tot een vruchteloze zoektocht naar de ultieme toets geleid. ‘De oordelen die we vellen, wat we vinden dat een goede arts moet weten en kunnen, die zijn altijd subjectief en toetsing is dat dus ook.’ Dat wil niet zeggen dat toetsen en oordelen van docenten niet betrouwbaar kunnen zijn. Integendeel, ze moeten dat zelfs zijn. ‘Om toetsen of oordelen betrouwbaar te laten zijn, moet veeleer veel informatie verzameld worden. Steekproefneming is belangrijker dan objectivering. Als vele experts onafhankelijk van elkaar tot hetzelfde subjectieve oordeel komen, dan is dat oordeel niet objectief, maar wel betrouwbaar.’

Veel informatie gaat nu verloren

De tragiek van deze misvattingen is dat bij de manier van toetsing die op het moment gangbaar is, veel informatie verloren gaat: informatie over de precieze zwaktes en sterktes van individuele studenten. Het identificeren van deze zwaktes en sterktes is noodzakelijk voor een goede begeleiding van de studenten. Schuwirth pleit daarom voor een informatierijke manier van toetsen. Voor het ontwikkelen van een uitgebalanceerd toetsingsprogramma en niet van een enkele ultieme toets. ‘We moeten niet álles in een score willen uitdrukken, maar een manier van toetsen ontwikkelen die een docent de informatie verschaft om aan te kunnen geven wat een geneeskundestudent nog moet leren én om te kunnen beoordelen of iemand een goede arts kan worden. We moeten meer gaan kwalificeren en individualiseren. Dat kan betekenen dat twee studenten die dezelfde scores hebben gehaald, verschillende feedback krijgen. Bij de ontwikkeling van dit toetsingsprogramma is het bovendien belangrijk dat we rekening houden met het feit dat zaken als kennis en vaardigheden niet stabiel zijn.’

Ontwerpcriteria en nieuwe modellen

Om dit te kunnen bereiken, moet Schuwirth ontwerpcriteria ontwikkelen die de kwaliteit van het toetsingsprogramma waarborgen. Daarnaast moeten er, als aanvulling op bestaande modellen, nieuwe statistische en wetenschappelijke modellen komen, waarmee de betrouwbaarheid en geldigheid van toetsing kan worden bepaald. Deze ontwikkelingen kunnen grote implicaties hebben voor het denken binnen andere onderwijsinstellingen, naast de Faculteit Health, Medicine and Life Sciences. Binnen andere opleidingen is men zich namelijk eveneens bewust van de beperkingen van het eenzijdig inzetten van het psychometrische model. Op de voormalige geneeskundefaculteit is het effect nu al merkbaar. Binnenkort gaat daar een vierjarige opleiding van start waarbij toetsen in klassieke zin verleden tijd is.

Reageren via Facebook

Reacties

Over Femke Kools

Femke Kools heeft de opleiding journalistiek gevolgd en werkt nu bij de communicatie-afdeling van de Universiteit Maastricht. Daar schrijft ze onder andere verhalen voor het e-Research Magazine. Hiermee laat de Universiteit Maastricht zien wat ze op onderzoeksgebied doet rond de zes themas geld, samenleving, geest, cultuur, technologie en lichaam. Daarnaast heeft Femke haar eigen tekstbureau: FemKools