Wat er nu wordt gemeten
Open een willekeurig leerplatform en het eerste dat je ziet is een voltooiingspercentage. Groen boven de negentig, oranje eronder. Daar wordt op gestuurd, daarover wordt gerapporteerd, en dat cijfer gaat mee naar de directie.
Voltooiing meet of iemand door het materiaal heen is geklikt. Verder gaat het niet. Iemand die de module opende, in een ander tabblad ging werken en aan het eind vier meerkeuzevragen goed gokte, staat op groen.
Dat maakt het cijfer niet waardeloos. Het maakt het een aanwezigheidsregistratie, en die moet je niet verwarren met een meting van bekwaamheid.
Vier cijfers die wel iets zeggen
Foutpatronen per vraag, over de hele groep. Dit is het waardevolste getal in je hele platform en het wordt vrijwel nooit bekeken. Als tachtig procent dezelfde vraag fout heeft, ligt het niet aan tachtig procent van je mensen.
Tijd per onderdeel, afgezet tegen de verwachting. Een module waar iedereen twee keer zo lang over doet als bedoeld, is te moeilijk of onduidelijk. Een module waar iedereen doorheen vliegt, wordt niet gelezen.
Herhaald falen op hetzelfde onderdeel. Eén keer fout is ruis. Drie keer fout op hetzelfde thema, verspreid over weken, is een signaal dat de kennis niet zit.
Verval over tijd. Meet dezelfde kennis een maand en een half jaar na de training. Dat is de enige meting die iets zegt over of er daadwerkelijk iets is blijven hangen, en het is met een korte toets goedkoop te doen.
Wat xAPI toevoegt
SCORM, de standaard waar de meeste e-learning op draait, rapporteert een handvol dingen: gestart, afgerond, score, tijd. Dat is genoeg voor een aanwezigheidsregistratie en te weinig voor de vier cijfers hierboven.
xAPI legt losse gebeurtenissen vast. Welke keuze iemand maakte in een scenario, waar hij terugsprong, hoe lang hij twijfelde, welke stap hij oversloeg. Dat maakt gedrag zichtbaar in plaats van alleen de uitkomst, en het werkt ook buiten het leerplatform: een handeling in VR, een gescande instructie bij een machine, een oefening op de werkvloer.
De keerzijde is dat xAPI je gegevens geeft en geen antwoorden. Zonder vooraf bedachte vraag levert het een berg data op waar niemand iets mee doet. Bepaal dus eerst wat je wilt weten, en richt daarna de meting in. Andersom werkt het niet.
De omkering die niemand maakt
Hier zit de opbrengst die vrijwel altijd blijft liggen.
Leerdata worden gelezen als een oordeel over deelnemers: wie is geslaagd, wie moet nog. Dezelfde data zijn een meting van je eigen materiaal, en in die richting zijn ze aanzienlijk bruikbaarder.
Een vraag die massaal fout gaat, wijst op een module die het onderwerp slecht uitlegt, of op een procedure die zelf onduidelijk is. Een onderdeel waar iedereen op vastloopt, is meestal een ontwerpfout. Een module die niemand afmaakt, is te lang.
Wie er zo naar kijkt, krijgt er een onderhoudsinstrument bij. Niet: welke mensen scoren laag. Maar: welke drie modules kosten ons het meest aan onbegrip, en wat repareren we het eerst?
Privacy en de ondernemingsraad
Zodra je meer meet dan voltooiing, gaat dit over persoonsgegevens en over gedrag van medewerkers. Dat is geen reden om het niet te doen, en wel een reden om het vooraf te regelen.
Drie afspraken volstaan meestal. Bepaal welke gegevens op persoonsniveau zichtbaar zijn en welke alleen geaggregeerd, en houd dat laatste zo ruim mogelijk. Leg vast hoe lang je bewaart. En spreek af waar de gegevens niet voor worden gebruikt, met name in beoordelingen, want zodra mensen vermoeden dat een oefentoets meetelt, verandert hun gedrag en is de meting waardeloos.
Die afspraak is niet alleen juridisch netjes. Het is de voorwaarde waaronder de cijfers blijven kloppen.
Hoe meten past in het geheel van een opleidingsprogramma, lees je in de gids over een bedrijfsacademie opzetten of vernieuwen. Wat een platform hiervoor moet kunnen, staat bij learning management.