WP5: Evaluaties

Net zoals de werkpakketten 3 en 4 in belangrijke mate voortbouwen op de uitkomsten en ervaringen van de NKBW en NKBW2 projecten, beoogt dit werkpakket de lijn van de "monitor en onderzoek" activiteiten, al opgestart in het allereerst SURF WebSpijkeren I project, en voortgezet in WebSpijkeren II, NKBW, en NKBW2, te vervolgen. En daar waar mogelijk uit te breiden: omdat in het NKBW2-project een begin is gemaakt met zelf ontworpen, landelijke exit/instaptoetsen, en deze activiteit in het ONBETWIST-project vervolgd zullen worden, kan aan de monitoring-werkzaamheden een belangrijke dimensie toegevoegd worden: die van de analyse van wiskundekennis in de tijd op basis feitelijke beheersing in een toets. Dit ter onderscheid van de monitor die tijdens de NKBW-projecten is opgesteld, en welke was gebaseerd op IOWO data van studentenpercepties van aansluitingsproblemen op het gebied van de wiskunde, bij gebrek aan gegevens uit een landelijk gestandaardiseerde instaptoets.

Het nieuwe ONBETWIST-project zal, samen met de net afgeronde NKBW-projecten, een schat van gegevens opleveren, die een verscheidenheid van evaluatieve analyses mogelijk zullen maken. Daarom zal naast het evaluatiewerkpakket binnen het ONBETWIST-project, ook een separate aanvraag ingediend worden voor een pijler 2-project.

Voor de afbakening van de activiteiten voor de twee projecten is vooral van belang welke rol de specifieke evaluaties spelen voor de activiteiten in de andere werkpakketten. Zo zal, als voorbeeld, in beide projecten kwaliteitsanalyse van toetsen en toetsitems worden opgenomen. Bij die analyses zal binnen het ONBETWIST-project de focus liggen op validiteitsaspecten, die immers op een directe wijze met het proces van het construeren van toetsvragen te maken hebben. Zo kwam een cruciale validiteitseis voor de NKBW-toetsen voort uit de doelstelling van convergentie: zowel VO als HO zouden zich moeten vinden in de af te spreken toetsstandaarden. Ook in het ONBETWIST-project zal die doelstelling onverminderd gelden, hetgeen de analyse van validiteitsaspecten tot een onlosmakelijk onderdeel van het project maakt. Analyse van betrouwbaarheidsaspecten staat echter op meer afstand van het proces van toetsvervaardiging, en kan ook pas plaatsvinden na verloop van tijd, wanneer voldoende grote groepen studenten een toets of toetsvraag hebben gemaakt. Om die reden is het goed mogelijk dat type toetskwaliteitsonderzoek 'op afstand' in een pijler 2-project te plaatsen.

Een soortgelijk onderscheid is te maken naar verschillende typen van effectonderzoek. Voor de uitvoering van content implementaties (werkpakket 5 van dit project) is het van groot belang dat de directe resultaten van de onderwijsprojecten snel beschikbaar komen, en onmiddellijk teruggekoppeld kunnen worden. Denk daarbij aan "Resultaten van aansluitonderwijs" analyses zoals opgenomen in de eindrapportages van de NKBW en NKBW2 projecten. Dit type effectonderzoek zal dus opgenomen worden binnen dit werkpakket 6. Anderzijds is in het kader van het NKBW2 project een allereerst begin gemaakt met een meer formele effectanalyse volgens de regels van evidence-based onderzoek: zie paragraaf 5.6 van de NKBW2 eindrapportage. Zulk onderzoek is slechts mogelijk bij beschikbaarheid van data van aansluitonderwijs over een langere periode. Gedurende de uitvoering van het ONBETWIST-project zal dat bij verschillende instellingen het geval zijn, zodat dit type effectonderzoek breder uitgevoerd kan worden. En dan bij uitstek binnen het pijler 2- project, omdat het wederom op wat grotere afstand van de onderwijsimplementaties zelf staat. Op basis van bovenstaande overwegingen zullen de volgende evaluatie-activiteiten binnen dit werkpakket worden uitgevoerd: