De toekomst van examineren: game-based assessment

Hoe ziet examineren er in de toekomst uit? Aranka Bijl, wetenschappelijk onderzoeker bij eX:plain, onderzoekt innovatieve toetsmethoden zoals game-based assessment. In dit artikel bespreken we haar onderzoek naar het meten van vaardigheden via spelomgevingen. Ontdek hoe deze methoden niet alleen de validiteit en betrouwbaarheid van examens kunnen verbeteren, maar ook de ervaring van kandidaten kunnen verrijken. Lees verder om te zien hoe eX:plain voorop blijft lopen in de wereld van het toetsen van kennis en welke impact dit zal hebben op de toekomst van examineren.

In eX:plain’s strategische pijler ‘Toekomst van examineren’ staat de vraag, ‘Hoe ziet examineren er in de toekomst uit?’, centraal. Door onderzoek te doen naar en te investeren in innovatieve toetsmethoden kan eX:plain niet alleen de validiteit en betrouwbaarheid van onze examens verbeteren, maar ook de ervaring van de kandidaten aanzienlijk verrijken.

Aranka Bijl, Wetenschappelijk onderzoeker bij eX:plain, werkt vijf jaar bij eX:plain en heeft een achtergrond in psychologie, met een specialisatie in methodologie en statistiek. Ze raakte geïnteresseerd in de toetsingswereld via haar werk aan fraudeanalyse in psychologische tests:

"Wat me fascineert, is hoe je authentiek gedrag kunt observeren in een spelomgeving," vertelt Aranka. “Mijn promotieonderzoek richt zich op het ontwikkelen van dergelijke spelomgevingen om vaardigheden te meten die relevant zijn voor de praktijk."

Aranka Bijl

Wetenschappelijk onderzoeker bij eX:plain

Game-based assessment

Aranka’s promotieonderzoek richt zich op game-based assessment, een innovatieve methode om vaardigheden te meten via spelomgevingen:

“Het doel is om een omgeving te creëren waarin kandidaten echt gedrag vertonen dat in de praktijk toepasbaar is,” legt ze uit. “We begonnen met een literatuurstudie naar bestaande spellen en de validiteitsproblemen in huidige praktijkexamens. Vervolgens ontwikkelden we een authentieke omgeving voor het maken van een surveillanceplan voor boa’s (buitengewoon opsporingsambtenaren).

We wilden een situatie nabootsen waarin kandidaten een surveillanceplan moesten maken, net zoals ze dat in hun dagelijkse werk zouden doen,” legt Aranka uit. “We creëerden daarom een soort desktop-omgeving die de kandidaten begeleidde door een werkdag, te beginnen met het lezen van e-mails, tickets en een briefing, en vervolgens het maken van een plan op basis van die informatie.

Maar we waren natuurlijk ook benieuwd naar het effect van minder authentieke en meer spelachtige omgevingen op de meting. We ontwikkelden daarom ook een omgeving waarin kandidaten een excursie moesten plannen (al minder authentiek) en een volledig abstracte omgeving, namelijk een moordspel. Deze variatie was cruciaal om te onderzoeken hoe goed de onderliggende vaardigheden in verschillende contexten werden gemeten.”

Meten van vaardigheden in een game-omgeving

“We gebruikten zowel papieren als digitale prototypes om de effectiviteit van de omgeving te valideren,” vertelt Aranka. “Het doel was om te zien hoe verschillende groepen, zoals eerstejaars en laatstejaars studenten van de HTV-opleiding en professionals uit het werkveld, presteerden in de game-omgeving en of de omgeving daadwerkelijk de vaardigheden heeft gemeten die in de praktijk vereist zijn.

We hebben onderzocht welke systemen en processen de kandidaten in de praktijk gebruiken en hoe we deze zo authentiek mogelijk konden nabootsen in onze spelomgeving. Daarvoor hebben we een informatiegestuurd, probleemoplossend model gebruikt om de vaardigheden te meten. We keken naar stappen zoals het zoeken en scannen van informatie, het verwerken en combineren van deze informatie, en uiteindelijk het maken van een plan. Deze stappen werden eerst getest met papieren prototypes en later met digitale versies om te zien hoe goed de kandidaten presteerden.”

Uitdagingen

Een van de grootste uitdagingen van het onderzoek is het valideren van de abstracte spelomgeving en het overtuigen van de kandidaten dat deze omgeving een accurate meting van hun vaardigheden biedt:

“Veel kandidaten hebben moeite om de abstracte, niet-authentieke omgeving serieus te nemen omdat deze zo verschillend is van hun dagelijkse werk. Ook reageren verschillende leeftijdsgroepen anders op de omgevingen. We zien een voorzichtig optimistisch beeld van de validiteit van de spelomgeving, maar de verschillen in prestaties tussen groepen met verschillende ervaringsniveaus zijn in dit experiment niet groot genoeg om sterke conclusies te trekken. Maar de voorlopige resultaten zijn veelbelovend, er is gewoon nog veel analyse nodig om te begrijpen hoe we deze methoden het beste kunnen inzetten.

Toepassing in de praktijk

“De ontwikkeling en implementatie van game-based assessment kunnen de manier waarop eX:plain examens en toetsen benadert revolutioneren,” aldus Aranka. “Als we deze methoden volledig kunnen valideren en implementeren, kunnen we een meer authentieke en stressvrije toetsomgeving creëren. We kunnen namelijk gedragsmatige inzichten krijgen zonder expliciete toetsvragen te stellen. Dit zou een meer natuurlijke en continue manier van toetsen kunnen zijn die de daadwerkelijke vaardigheden van kandidaten naar voren brengt.

Door algemene vaardigheden te meten, kunnen deze spellen niet alleen worden gebruikt voor specifieke functies zoals die van boa’s, maar ook voor andere beroepen. Dit maakt het mogelijk om mensen beter te begeleiden naar functies waar hun vaardigheden het beste tot hun recht komen.”

Benieuwd naar de mogelijkheden van de inzet van game-based assessment in jouw bedrijf of branche? Neem dan contact op met Janneke van Santen, Sectormanager Veiligheid, Gezondheid & Milieu bij eX:plain via j.vsanten@explain.nl of 06 34 74 66 59. Zij vertelt je graag alles over onze werkwijze en aanpak voor het borgen van vakmanschap.