Cijfers hebben nauwelijks waarde in de testpsychologie /7 reacties

Cijfers hebben nauwelijks waarde in de testpsychologie

Begin februari hebben weer zo’n 160 000 groepacht-ers zitten zweten op de Eindtoets Basisonderwijs, beter bekend als de Citotoets. Ruim 80% van de basisscholen doet mee. Weggegooid geld vindt dr. Ewald Vervaet, natuurkundige en psycholoog. Er wordt een hoop geld verspild aan zijns inziens totaal ondeugdelijke beoordelingssystemen als Citotoetsen, IQ- en persoonlijkheidstests maar ook aan positivistische instituten als het Centraal Planbureau.

Kleed van cijfers

Psychologen hullen zich in het natuurwetenschappelijke kleed van de cijfers, waaraan de maatschappij een grote waarde hecht, maar dat, volgens Vervaet, niet meer of minder is dan het naakte kleed van de sprookjeskeizer. Voor de gevestigde psychologenorde is de natuurkundige psycholoog slechts een lastige vlieg.
Onlangs besloot de KNAW niet in te gaan op het verzoek van Vervaet een openbare discussie te organiseren over de zin van de zogeheten positivistische psychologie. En het Nederlands Instituut van Psychologen slaat dicht zodra de naam Vervaet valt.

“Ik wil hier niets mee te maken hebben”, zegt Arne Evers, verbonden aan de Universiteit van Amsterdam en coördinator testbeoordelingen van de aan het NIP verbonden Commissie TestAangegelegenheden Nederland (COTAN). “Dit is oude koek en zonde van mijn tijd. Ik kan mijn tijd wel beter gebruiken en U waarschijnlijk ook.”

Er is voor een journalist waarschijnlijk geen mooiere aansporing om door te wroeten dan zo’n reactie. Als Evers al 25 jaar geleden geconfronteerd is met de kritiek van Vervaet, dan zou je verwachten dat hij moeiteloos een stuk tevoorschijn tovert waarin hij de kritiek van Ewald Vervaet op de positivistische psychologie (een stroming in de psychologie die met scores werkt) rigoureus onderuit haalt. Niets daarvan. Na het mailtje reageert Evers niet meer. Ook de voorzitter van de COTAN, prof.dr. Klaas Sijtsma, brandt zich niet aan een repliek. “De COTAN wenst U veel succes met Uw artikel”, laat COTAN-medewerker Rinske Frima namens de voorzitter weten.

Gelukkigste mens

“Kijk” zegt Vervaet en wijst op een paginagroot artikel in het luchtige NRC-katern Leven &cetera: “Gelukkig nieuwjaar! Maar gelukkig volgens wie?” In dat artikel worden drie staatjes opgevoerd met de ranglijst van gelukkigste naties. Op twee lijstjes, waaronder die van geluksprofessor Ruut Veenhoven, figureert Denemarken bovenaan en Zwitserland als tweede, maar op het derde prijkt het stillezuidzee land Vanuatu bovenaan, gevolgd door Colombia en Costa Rica. “Het klinkt mooi, zo’n exotisch eiland laat Leven &cetera de geluksprofessor zeggen, “maar als je op dat eiland niks te doen hebt wordt je ook daar depressief.” Hoeveel punten ken je toe aan zalig niets doen en hoeveel aan zakelijk succes? Welke theorie ligt er aan je puntentoedeling ten grondslag. Dat is nou precies de kern van het probleem en vandaar die verschillende lijstjes. Niet dat ze niet leuk zijn, maar je hebt er niet zo veel aan.

Oude koek

Deze reacties zijn kenmerkend: oude koek en achterhaald. Maar wat is er achterhaald aan de kritiek van Vervaet dat in de positivistische psychologie of, enger, psychometrie, ten onrechte (want op geen enkele wetenschappelijke theorie gebaseerd) testantwoorden omzet in puntenschalen? Die scores worden vervolgens dan ook nog eens door de buitenwereld voor absoluut versleten, een bejegening die de psychometrische wereld allesbehalve ontmoedigt.

De Citotoets heeft begin februari bij zo’n 160 000 kinderen en hun ouders weer voor een hoop stress en zweetdruppels gezorgd, want van de uitslag van die toets hangt, zo denken vele ouders, de toekomstige opleidingscarrière van hun kind af. Dat laatste valt nog wel mee (het schooladvies telt voor vele middelbare scholen zwaarder), maar dat lijkt niet door te dringen. Er gaan stemmen op de Eindtoets Basisonderwijs voor alle basisscholen verplicht te stellen en onlangs kwam, onder meer, Mark Rutte met het voorstel om kleuters ook al te testen. Dan zou je een handzaam systeem hebben om de kwaliteit van een basisschool mee te kunnen beoordelen, denken politici.

“Met vragen stellen”, zegt Vervaet, “is niks mis. Het probleem is voor een deel dat het bij de Citotoets, bijvoorbeeld, gaat om meerkeuzevragen en daar toets je nauwelijks kennis mee. Maar wat veel belangrijker is, is dat aan de antwoorden punten worden toegekend die op geen enkele theoretische basis berusten. De grote vraag die je je moet stellen bij de positivistische en psychometrische benadering is of die leidt tot meer kennis. Geeft een persoonlijkheidstest of een iq-test meer inzicht? Ik beweer dat dat niet zo is en dat dat nooit het geval zal zijn omdat het gebruik hierbij van puntenschalen nergens op gebaseerd is, door geen enkele theorie wordt ondersteund. Dat wil niet zeggen dat psychologie onzin is, maar doordat een groot deel van de psychologie in Nederland zich baseert op de positivistische beginselen houdt dat de ontwikkeling van de èchte psychologie tegen. Wetenschap is een spel van het opperen van verklaringen, waarna die verklaringen dan vervolgens worden getoetst, de zogeheten abductie. Dat gebeurt niet in de positivistische psychologie”.

Is het gebruik van wiskunde in de psychologie dan volslagen onzin? Vervaet: “Je kunt natuurlijk wel formaliseren, maar de psychologie is nog niet zover om te formaliseren zoals in de natuurwetenschappen met succes is gedaan. En ik waag het te betwijfelen of de psychologie ooit zo ver komt.”
Als je die redenering doortrekt, dan zou je ook nooit proefwerken of examens kunnen afnemen. Vervaet: “Dat kan best, zolang je je er maar van bewust bent dat die cijfers symbolen zijn en je er niet mee gaat rekenen. Een 10 staat voor uitmuntend en een 5 voor onvoldoende. Niet meer en niet minder.”

Belangen

‘Met vragen stellen is niks mis. Het probleem is voor een deel dat het bij de Citotoets, bijvoorbeeld, gaat om meerkeuzevragen en daar toets je nauwelijks kennis mee. Maar wat veel belangrijker is, is dat aan de antwoorden punten worden toegekend die op geen enkele theoretische basis berusten.

Vervaets kritiek lijkt op het eerste gezicht alleszins zinnig. Je kunt natuurlijk leuk met cijfers stoeien, maar wat voor een betekenis hebben die als niet duidelijk is wat de relatie van de cijfers is met de dingen die je wilt meten? Al heel lang doet het grapje opgeld dat een iq-test meet wat een iq-test meet, maar ondertussen, en daar zit het grote probleem, worden er wel allerlei belangwekkende consequenties verbonden aan de uitslag van iq-tests.
Dr. Peter Tellegen, zelf ontwikkelaar van tests en docent aan de Rijksuniversiteit Groningen, vindt ook dat het cijferfetisjisme veel te ver is doorgeslagen. “Vervaet heeft volslagen gelijk als hij zegt dat deze zaken te veel worden verabsoluteerd. Het is raar dat psychologen allerlei dingetjes in formules zetten. Natuurlijk kun je op basis van tests wel iets zeggen over de geteste, maar nu zijn er hele series toelatingscommissies bezig richtlijnen vast te stellen met grenswaarden die eigenlijk nergens op zijn gebaseerd, maar die wel gigantische gevolgen hebben voor duizenden mensen. En dat wordt dan ook nog eens door de Tweede Kamer geslikt ook. Ik heb wel meegemaakt dat een leerling geweigerd werd omdat zijn IQ een punt te hoog was voor toelating tot praktijkonderwijs. En dat terwijl uit onderzoek bekend is dat tussen twee opeenvolgende iq-tests voor een zelfde kind grote verschillen kunnen zitten: bij 30% meer dan 10 punten en bij 5% zelfs meer dan 20 punten; een verschilt tussen vmbo-advies en vwo-advies.”

Tellegen stelt dat dat alles te maken heeft met belangen. “Dat testen is een hele industrie op zich geworden waar honderden miljoenen per jaar in omgaan en waar veel psychologen werk in vinden.”
De Groninger docent denkt ook dat het die belangen zijn die maken dat het Nederlands Instituut van Psychologen zich allesbehalve kritisch opstelt tegenover de ‘testindustrie’. “Met deze zaken is nauwelijks of geen kennis ontwikkeld en als je, bijvoorbeeld, naar de de handleidingen van tests over de laatste vijftig jaar kijkt dan kun je je afvragen of die zo veel beter geworden zijn.”
Overal worden echter uitslagen van tests gebruikt en de neiging is alleen maar naar meer. Tegenwoordig vinden universiteiten de uitslagen van eindexamens niet meer voldoende en willen zelf gaan testen aan de poort (op zoek naar ontstellend talent).

Overigens lijkt dat testen aan de poort wegens onbruikbaarheid een doodgeboren kind, maar betekent dat ook dat de wereld zich buiten de testindustrie bewust is van de relativiteit van de uitkomsten van tests? De onderwijsinspectie gebruikt de uitslagen van de Citotoets mede bij het beoordelen van de kwaliteit van een school. Als de inspectie de vraag wordt voorgelegd hoe deugdelijk dat kwaliteitsmeetinstrument is verwijst zij naar de COTAN. “Zoals gemeld worden de toetsen gevalideerd door de Commissie Test Aangelegenheden Nederland van het Nederlands Instituut voor Psychologen”, meldt de perswoordvoerder van de OnderwijsInspectie na enig aandringen. Maar dat is kennelijk een misverstand, want de COTAN zegt zelf, bij monde van Rinske Frima. “U heeft de verkeerde indruk dat de COTAN tests valideert, maar dat doen de testconstructeurs zelf. WIj zijn zoiets als de Consumentenbond die bekijkt of die testconstructeurs dat wel goed gedaan hebben. Voor vragen over de validiteit van de Citotoets moet U bij het CITO zijn.”

Zweten

Net als voorgaande jaren heeft 85 procent van de basisscholen op 6, 7 en 8 februari 2007 de Citotoets afgenomen. Op ruim 6.300 scholen maakten ongeveer 157.000 groepacht-ers de toets, die officieel Eindtoets Basisonderwijs heet.
De Citotoets is een hulpmiddel voor leerkracht, ouder en kind bij het maken van de keuze voor een passend brugklastype. De toets voorziet in een onafhankelijk advies naast het advies van de basisschool en de wens van ouders en leerling. De meeste Nederlandse basisscholen gebruiken hiervoor de Citotoets, maar het staat basisscholen vrij een andere toets te gebruiken.
De Citotoets bestaat uit 200 meerkeuzevragen op het gebied van de basisvaardigheden Taal, Rekenen-Wiskunde en Studievaardigheden. Bijna 90% van de deelnemende scholen maakt ook het facultatieve onderdeel WereldoriÙntatie, dat uit 90 opgaven bestaat. Voorbereiden heeft geen zin, stelt Cito, maar er worden door ouders heel wat euro’s besteed om groepacht-ers Cito-klaar te stomen.

Nauwkeurigheid

De overheid en het publiek hebben een heilig geloof in de uitkomsten van de tests maar de testers testen zichzelf? Dat klinkt nogal bizar. We hebben het niet alleen over IQ-tests en Citotoetsen, maar ook over doorrekeningen van het CPB van, bijvoorbeeld, partijprogramma’s of de uitkomsten van Kieswijzers (Vervaet: “Die zou je moeten verbieden”.).
Anton Béguin, psychometricus bij Cito, vindt dat helemaal niet zo vreemd: “Er zijn goede methodes om de betrouwbaarheid van de uitkomst mee te bepalen.”
O ja? “Je kunt bijvoorbeeld de toets in tweeën knippen en kijken hoe die twee delen met elkaar correleren. Als de uitkomsten goed met elkaar correleren dan is de betrouwbaarheid van de test groot. We worden ook door de COTAN beoordeeld om te kijken of de toets ook meet wat de toets moet meten, namelijk de einddoelen van het basisonderwijs.”

Het spijt me, maar dat is toch niet erg overtuigend, te meer daar de COTAN weer terugwijst. Kijkt Cito ook naar wat er met de leerlingen gebeurt als ze met een bepaald advies hun schoolloopbaan voortzetten? Volgens Béguin is het volgen van grote groepen leerlingen niet gedaan omdat dat grote, zoals hij dat noemt, logistieke problemen met zich mee brengt. Kinderen veranderen nog wel eens van school en dat zou dergelijke studies ernstig bemoeilijken. “Er zijn wel cohortstudies gedaan bij kinderen die op de zelfde school bleven, maar het is de vraag of je daar conclusies aan kan verbinden.”

Dat testen is een hele industrie op zich geworden waar honderden miljoenen per jaar in omgaan en waar veel psychologen werk in vindenEr wordt wel een toelatings- en doorstroomonderzoek gedaan om te zien waar de leerlingen met welke score terecht zijn gekomen, maar dat zegt natuurlijk weinig over het uiteindelijke schoolsucces. Bovendien is de spreiding bij een bepaalde toetsscore over de verschillende schooltypes aanzienlijk. Een gemiddelde score van 530-536 (500 is het minimum, bij 200 vragen) kiest nog 3% voor de basisberoepsgerichte leerweg van het vmbo terwijl zelfs 10% voor havo/vwo kiest.
Ook prof.dr. Willem van Hoorn, hoogleraar in ruste van de Universiteit van Amsterdam, moest tijdens een door Vervaets eigen stichting Histos georganiseerd ‘opwarmdebat’ over het positivisme (in afwachting van een debat onder hoede van de KNAW) toegeven dat het ‘weloverwogen advies’ van de basisschool de beste voorspeller is voor het succes in het vervolgonderwijs. Hij relativeerde die opmerking meteen door er aan toe te voegen dat de lengte van het kind, de ziektegeschiedenis en het inkomen van de ouders in dit verband ook zeer goede voorspellers zijn. Van Hoorn stelde dat intern onderzoek van Cito zou hebben uitgewezen dat de voorspellende waarde van de uitslag van de toets na het derde jaar sterk afneemt. Dat zou echter ook gelden voor het schooladvies en de uitslag van de NDT-IQ-test. Gelukkig maar, voegde hij daar aan toe. Cito zegt overigens dat zo’n onderzoek nooit is gedaan.

Toch vindt Van Hoorn het een verstandig besluit om een Cito- of andere toets te gebruiken om te bepalen of leerlingen naar het praktijkonderwijs of een ander onderdeel van het VMBO horen te gaan. Van Hoorn en dr. Matthijs Koornstra, in 2005 gepromoveerd op Changing Choices: Psychological Relativity Theory, gingen tijden die discussie beiden niet in op de kern van Vervaets kritiek op de ‘vercijfering’ van de testantwoorden.
Positivisme is volgens hen wetenschappelijk in orde. Ze willen niet zeggen dat er onder het hoofd van het positivisme geen onzin wordt verkocht, maar volgens Koornstra diskwalificeren die quasi-metingen het positivisme op zich niet. Koornstra stelt dat meettheoretische en/of wiskundig verantwoorde positivistische psychologie wel degelijke tot kennisvermeerderende theorievorming heeft geleid in,onder meer, de testpsychologie, psychofysica en psycholinguistiek.
Volgens Van Hoorn moge het zo zijn dat een IQ-test meet wat een IQ-test meet, dat laat volgens hem onverlet dat die test inzicht geeft in zaken als ruimtelijk inzicht, werkgeheugen, redeneervermogen en nauwkeurigheid. Dat kan alleen met een goede valide test worden gemeten en, vervolgt hij in de samenvatting van zijn bijdrage, “dat is zinvol zo lang de maatschappij belang hecht aan de uitslag van psychologische testen”. Dat klinkt toch meer als u-vraagt-en-wij-draaien dan als een serieus wetenschappelijk argument.

KNAW

Vervaet, die via het schrijven van boeken en het geven van cursussen zijn (psychologische) hoofd boven water probeert te houden, snakt naar een deugdelijke academische discussie onder de vlag van de Koninklijke Nederlandse Akademie van Wetenschappen. Die komt er niet, zo heeft de Akademie Vervaet eind januari laten weten. De Akademie ziet geen aanleiding tot een dergelijke discussie. Dat zou de ‘discipline’ zelf moeten organiseren, vindt het bestuur van de Akademie.
Vervaets verzoek lijkt toch heel valide en gezien de fundamentele kritiek op de uitoefening van psychologische wetenschap (volgens Vervaet is is het psychologisch onderzoek in Nederland voor meer dan 90% gebaseerd op positivistische beginselen; volgens Van Hoorn slechts 5%).

Tellegen, die een eind in de kritiek van Vervaet kan meegaan, is het met de Akademie eens dat de KNAW niet de plaats is om een dergelijke discussie te voeren. “Wel zou er een openbare discussie moeten komen over de sterk overschatte waarde die aan de uitkomst van dit soort tests worden gehecht.”
Dat is aardig, maar daarmee wordt de fundamentele discussie over de kritiek op een belangrijke stroming in het psychologisch onderzoek niet gehouden waar die thuishoort: op het podium van de wetenschap. Vervaets verhaal is dat de psychologische wetenschap in Nederland grotendeels gebouwd is positivistisch drijfzand en dat die bezigheid uit wetenschappelijk oogpunt zelfs zou moeten worden gestaakt. Mét de activiteiten van het Centraal Planbureau en de kieswijzer. En dat is toch iets anders dan een publieke discussie over de waarde van de uitslagen van tests en toetsen. Voorlopig zullen de kindertjes van groep acht op de basisschool begin februari wel blijven zweten boven hun 200 meerkeuzevragen, ook al heeft de Onderwijsraad daar onlangs vraagtekens bij gezet

Reageren via Facebook

Over Arno Schrauwers

Taal heeft altijd mijn grote belangstelling gehad, maar ik heb, vanwege een "verkeerde" schoolopleiding, scheikunde gestudeerd. Ik zag me niet in de grote, boze chemie werken en ben toen uit overtuiging wetenschapsjournalist geworden. Wetenschap is te belangrijk om aan wetenschappers over te laten. En spannend genoeg. Het is helaas niet alles goud wat er blinkt...