Wat is programmatisch beoordelen?

4 december 2017
  • Waarom programmatisch beoordelen?
  • Wat is programmatisch beoordelen?
  • Hoe beoordeel je programmatisch?
  • Wie kan helpen?
  • Verder lezen?

Waarom programmatisch beoordelen?

In het hbo worden studenten opgeleid tot start-bekwame professionals. Om te kunnen bepalen of een student start-bekwaam is, dient de student hier bewijs voor te leveren in het uitoefenen van beroepstaken in authentieke contexten. Veel curricula stimuleren studenten echter om hun credits bij elkaar te sprokkelen om zo hun diploma te behalen. Uit landelijke evaluaties blijkt dat studenten het aantal toets-momenten waaraan credits zijn verbonden te hoog vinden. Het hoge aantal toetsen leidt ertoe dat studenten vooral leren voor een toets en geen meerwaarde zien in het leren van de feedback op de toets. Die feedback is meestal niet bruikbaar voor een volgende toets. Studenten ervaren toetsen daarom als een hordenloop, waarbij bovendien de samenhang tussen de toets-momenten ontbreekt. Ook docenten richten zich veelal op het ontwikkelen van een toets die past bij hun onderwijsmodule en dat levert weinig samenhang op in het geheel van toetsen. Hoognodig dus dat we niet op module- maar op curriculumniveau naar beoordelen gaan kijken. Programmatisch beoordelen – dat wil zeggen beoordelen op een samenhangende manier – is hiervoor uitermate geschikt. Door programmatisch naar toetsen te kijken, wordt het effect van beoordelen als leervorm gemaximaliseerd. Daarmee beogend dat beslissingen over de voortgang van de student dan doeltreffender genomen kunnen worden, waarmee uiteindelijk het studiesucces van de student is gediend.

Wat is programmatisch beoordelen?

Globaal gezien houdt programmatisch beoordelen in dat er een voortdurende wisselwerking wordt gecreëerd tussen leeractiviteiten, feedback, ondersteuning en formatieve beoordelingen. Daarmee kan een student een realistisch beeld opbouwen over wat hij kan en wat hij zich alsnog eigen dient te maken. Binnen programmatisch beoordelen wordt er slechts op een beperkt aantal momenten een doorslaggevende beoordeling uitgesproken.

Schematisch ziet programmatisch beoordelen er als volgt uit:

 

Figuur 1. Model voor programmatisch beoordelen (van der Vleuten et al., 2012)

Training activities zijn de onderwijsactiviteiten, bestaande uit leertaken (learning tasks) en bijeffecten van het leren (learning artifacts). Formatieve beoordelingsmomenten zijn er voortdurend (single assessment data-point); deze momenten dragen maximaal bij aan het leren van de student en resulteren in informatierijke feedback voor de student. Een enkele keer, als beheersing van iets belangrijks aangetoond moet worden (bijvoorbeeld het reanimeren van een persoon), kan een enkel beoordelingsmoment doorslaggevend zijn (single certification data-point). Ondersteunende activiteiten (supporting activities) zijn er in de vorm van reflecteren op de feedback en het formuleren van leerdoelen om het zelfsturend leren te bevorderen (learner reflection and planning) en in de vorm van supervisie / intervisie door sociale interactie met de coach en met medestudenten (social interaction around reflection). Na een bepaalde periode volgt een tussentijdse beoordeling door een beoordelingscommissie, gebaseerd op alle voorafgaande verzamelde informatie over de student. Hierdoor worden de sterke punten en beperkingen van de student duidelijk, wat door de student gebruikt kan worden om het verdere leren te plannen. Een doorslaggevende beoordeling over bijvoorbeeld toelating tot een volgende fase van de opleiding wordt pas gedaan na een aantal tussentijdse beoordelingen. Deze doorslaggevende beoordelingen worden onderbouwd en gebaseerd op de rijke informatie uit de verschillende datapunten. Het resultaat zal voor de student niet als een verrassing mogen komen. Deze uiteindelijke beslissingen worden genomen door een team van assessoren, omdat er voor de student veel van af hangt.

Voor programmatisch beoordelen is kennis van afzonderlijke beoordelingsmethoden niet meer afdoende, want iedere beoordeling dient te worden bezien in het toetsprogramma als geheel. De beoordelingen dienen op een logische wijze samen te hangen in het licht van doorslaggevende beoordelingen. Het ontwerpen en implementeren van programmatisch beoordelen vereist daarom teamwerk; het is onwenselijk toetsen een individuele verantwoordelijkheid te laten blijven.

De voordelen van programmatisch beoordelen zijn binnen het wetenschappelijk onderwijs onderzocht. Er bleek dat studenten meer aandacht hebben voor het leren van toetsen als de student de einddoelstellingen in beeld heeft, hier gericht feedback op krijgt en de student deze feedback kan gebruiken om zich verder te ontwikkelen. Er wordt met programmatisch beoordelen een beter totaalbeeld van de student gevormd en de student blijkt te worden geholpen in het bereiken van de einddoelstellingen van zijn opleiding

Hoe organiseer je programmatisch beoordelen?

Hiertoe dienen de volgende principes voor de opbouw van een curriculum te worden gehanteerd:

  • Het aantal summatieve beoordelingsmomenten wordt beperkt in een curriculum; deze momenten zijn alleen bedoeld om doorslaggevende beslissingen over een student te nemen (bijvoorbeeld het behalen van de propedeuse, het toegang verlenen tot een afstudeerstage, het verlenen van een diploma).
  • Alle andere beoordelingsmomenten hebben een formatieve functie; deze toetsen hebben als doel de student verder te helpen in zijn leren richting de te behalen eindkwalificaties. Uitgangspunt is: zolang als een student nog aan het leren is, moet hij niet beoordeeld worden.
  • Om deze formatieve functie te borgen, dient de student rijke feedback te ontvangen die hem helpt de volgende vragen te beantwoorden: Waar wil ik naar toe (feed up)? Waar sta ik (feedback)? Wat heb ik nodig om mijn doelen te bereiken (feed forward)?
  • Doorslaggevende beslissingen worden genomen na een zorgvuldige afweging van alle informatie uit eerdere formatieve beoordelingsmomenten, met aandacht voor het reflecterend vermogen van de student op eerdere beoordelingen.
  • Beoordelingsmethoden worden doelgericht geselecteerd, op basis van hun positieve bijdrage aan het leren van de student. Hierdoor komt er meer nadruk te liggen op het optimaliseren van de samenhang tussen de methoden die gebruikt worden in het toetsprogramma en minder op de kwaliteit van een toets als een op zichzelf staand instrument.
  • Doorslaggevende beoordelingen worden genomen door meerdere beoordelaars samen om de betrouwbaarheid te verhogen. Hoe zwaarder de beslissing, hoe meer er geïnvesteerd dient te worden in de kwaliteit van de beoordeling en dus ook in de kwaliteit van en het aantal beoordelaars.

Om programmatisch beoordelen in te voeren is expertise op het gebied van toets-ontwerp niet afdoende. Expertiseontwikkeling in het ontwerpen van een coherent toetsprogramma blijkt net zo hard nodig. Daarvoor is meer onderzoek nodig.

Wie kan helpen?

Xandra Janssen-Brandt, senior docent faculteit Gezondheidszorg, heeft zich verdiept in programmatisch beoordelen en kan ondersteuning bieden bij het ontwerpen van een toets-programma volgens de principes van programmatisch beoordelen.

Opleidingsteams binnen en buiten de faculteit Gezondheidszorg die interesse hebben in het ontwikkelen van een programmatisch toets-programma kunnen contact opnemen via xandra.janssen@zuyd.nl.

Verder lezen?

Heeneman S, Oudkerk Pool A, Schuwirth LWT, van der Vleuten CPM, Driessen EW. The impact of programmatic assessment on student learning: theory versus practice. Medical Education. 2015;49:487-498.

Heeneman interviewde geneeskundestudenten aan een Nederlandse universiteit om te onderzoeken welke elementen de studenten als ondersteunend of belemmerend voor hun leren ervaren, en welke factoren invloed hebben op de actieve constructie van het leren van studenten. Hieruit bleek onder andere dat programmatisch beoordelen een belangrijke trigger is om te leren en dat reflecteren door de studenten gewaardeerd wordt om verder te kunnen leren. De conclusie is dat programmatisch beoordelen de actieve participatie van studenten in hun eigen leerproces ondersteunt.

Van der Vleuten CPM, Schuwirth LWT, Driessen EW, Dijkstra J, Tigelaar D, Baartman LKJ, et al. A model for programmatic assessment fit for purpose. Medical Teacher. 2012;34:205-14.

In dit artikel beschrijven van der Vleuten et al. een model voor programmatisch beoordelen, waarin beoordelen om te leren en beoordelen van het leren geïntegreerd zijn. Dit model is gebaseerd op een aantal toetsprincipes, die voortkomen uit empirisch onderzoek. Nadat deze principes zijn beschreven, wordt het model voor programmatisch beoordelen (zie hierboven) uitgelegd.

Van der Vleuten CPM, Schuwirth LWT, Driessen EW, Govaerts MJB, Heeneman S. Twelve Tips for programmatic assessment. Medical Teacher. 2015;37:641-646.

In dit artikel worden via 12 tips aanbevelingen beschreven om programmatisch beoordelen als een integrale benadering voor het ontwerpen van een toets-programma vorm te geven om zo de leerfunctie, beslissingsfunctie en kwaliteitsborgingsfunctie van het curriculum in zijn geheel tot recht te laten komen. Deze tips voor de invoering van programmatisch beoordelen zijn gebaseerd op de beschikbare literatuur en op eigen ervaringen.

Schuwirth LWT, van der Vleuten CPM. Programmatic assessment: from assessment of learning to assessment for learning. Medical Teacher. 2011; 33(6):478-485.

Dit artikel beschrijft de ontwikkeling van toetsen van het leren naar toetsen om te leren. Er wordt verwoord waar we nu staan en waar we naar toe willen, waarom het belangrijk is om via programmatisch beoordelen de relaties tussen de toetsen duidelijk te maken (voor elke competentie zijn meerdere beoordelingsmethoden nodig en iedere beoordelingsmethode toetst meerdere competenties). Verder onderzoek naar de training van examinatoren is nodig hoe op basis van alle verzamelde informatie een holistisch eindoordeel over de student gegeven kan worden.

2 reacties op “Wat is programmatisch beoordelen?”

  1. Veronica Bruijns schreef:

    beste lezer,
    voor de Score website van de HvA (www.score.hva.nl) zou ik de informatie onder het kopje Hoe organiseer je programmatisch beoordelen? integraal over willen nemen van jullie site, uiteraard met bronvermelding. Is dat accoord

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *