Iedereen kent ze: verplichte e-learnings over privacy, veiligheid of gedrag. Je klikt door wat schermen, bekijkt een filmpje, beantwoordt een paar meerkeuzevragen en haalt je certificaat. Klaar! Maar heb je ook iets geleerd? En belangrijker: ga je er iets anders door doen? In deze aflevering van No More Boring Learning duiken Jeanne en Jan-Peter in de wetenschap achter e-learning. Want hoewel je online talloze onderzoeken vindt die aantonen dat e-learning effectief is, blijken die vaak helemaal niet te gaan over die zelfstandige module die je in je eentje achter je laptop doorloopt. Wat weten we eigenlijk over het rendement van dat soort e-learning? En wat maakt het verschil tussen een digitale informatiebrochure en een leerervaring die wél iets oplevert? Wat je ontdekt in deze aflevering: Waarom veel onderzoek naar e-learning een heel ander soort online leren onderzoekt dan de verplichte module die we allemaal kennen Waarom het medium minder belangrijk is dan de manier waarop je mensen laat leren Waarom informatie consumeren nauwelijks leidt tot blijvende gedragsverandering Hoe actief ophalen, oefenen, feedback en herhaling het leerrendement vergroten Waarom je moet meten wat mensen leren, in plaats van hoeveel mensen hun e-learning afronden En er is een belangrijk verschil tussen kennis overdragen en gedrag veranderen. Voor dat laatste is een losse e-learning meestal niet genoeg. Jeanne en Jan-Peter laten zien waar e-learning wél waarde kan toevoegen en wanneer je als L&D-er beter kritisch kunt weigeren. Want een afgeronde e-learning is nog geen bewijs dat iemand iets geleerd heeft. Lees hier het blog over deze podcast: https://www.brainbakery.com/brainsnacks/werkt-e-learning-wat-de-zeldzame-e-learning-die-wel-werkt-anders-doet Support the show Wij praten veel, maar luisteren nóg liever. Heb je een vraag, opmerking of briljant idee? Klik en spreek een berichtje voor ons in via Speakpipe! Mee lezen? Kijk op https://www.brainbakery.com/brainsnack/no-more-boring-learning
Audio and video play straight from the show's own hosting. PodSubs stores and serves no media.
Transcript
From the show. Tap a time to play from there.
SPEAKER_00Welkom bij een nieuwe boek voor jouw missie No More Boring Learning. Dit is de Brain Bakery Podcast. We zijn blij dat je weer bij ons bent en aangesloten bent bij de missie. Jaan en ik het je van harte welkom.
SPEAKER_01Lekker Jan Peter.
SPEAKER_00Wij hebben een tijd geleden hebben wij via LinkedIn een oproep gedaan aan onze luisteraars. Waar ben je nog in geïnteresseerd? En wat leuk dat jullie zoveel hebben gereageerd. Want deze aflevering komt naar aanleiding van jullie reacties en vragen. En los daarvan, we kregen zoveel leuke vragen en interessante perspectieven binnen dat we daar wel een stuk of zeven of acht afleveringen van aan het maken zijn. Dus heel fijn. En blijf dat vooral altijd doen. We willen heel graag weten waar jullie in geïnteresseerd zijn, waarvan je denkt, oh, hier wil ik over leren.
SPEAKER_00En deze aflevering gaat over een onderwerp waar ik zelf ook heel geïnteresseerd in ben. Namelijk over e-learning. En dan vooral over het rendement van e-learning.
SPEAKER_01Werkt het nou eigenlijk?
SPEAKER_00Ja, want dat weten we allemaal, e-learning is natuurlijk heel veel aangevraagd, verkocht, gemaakt. En nu gaan we dus eens even erin duiken. Precies, is dat allemaal een beetje zinnig of niet?
SPEAKER_01Ja, want als je gaat googlen of e-learning effectief, dan krijg je tientallen onderzoeken die zeggen ja, maar als je die onderzoeken dan doorleest, dan blijkt dat ze vaak helemaal niet gaan over die verplichte module die je in je eentje achter de laptop doorloopt. Ze gaan vaak over online onderwijs, dus dat is live online. O blendetrajecten of virtuele klasjes. Dat is totaal iets anders. Dus voor deze aflevering wil ik het even, want dat bleek duidelijk uit het LinkedIn bericht. We hebben het LinkedIn bericht trouwens ook in de show notes staan.
SPEAKER_01Dan kun je daar even naar kijken. Ik wil het echt hebben over hoe effectief is nou een zelfstandige, asynchrone e-learning. Dus ik doe hem vandaag in mijn eentje achter mijn laptop, en een ander doet hem over drie weken en wij zijn niet aan het interacteren.
SPEAKER_00Die worden vrij vaak gemaakt en ingekocht. Vaak over onderwerpen zoals privacy, wetgeving en veiligheid en armen en dat soort dingen. Iedereen kent dit wel.
SPEAKER_01Absoluut. En ze worden soms ook helaas gemaakt over skills. En dan kun je dus in zo'n asynchrone e-learning leren over skills en gesprekstechnieken, wat natuurlijk te betwijfelen is of dat werkt.
SPEAKER_00Ik ben heel benieuwd.
SPEAKER_01Je rolt een verplichte module uit, iedereen klikt zich er doorheen, haalt het certificaat en er verandert natuurlijk helemaal niks. Je hebt namelijk gemeten dat er voltoo is. Je hebt niet gemeten dat er geleerd is. Want na deze aflevering ga je weten dat de meeste e-learnings nauwelijks werken. En wat een zeldzame e-learning die wel werkt, dan anders doet. Laten we even kijken naar een studie uit het Amerikaanse ministerie van Onderwijs in 2009. En die zei inderdaad, gemiddeld presteren mensen in online condities iets beter dan in klassikale condities.
SPEAKER_01Maar even door blijven lezen. Van ruim duizend studies bleven er naar strenge selectie maar 51 bruikbare studies over. En het voordeel zat vooral als er blended condities waren waarbij online en klassikaal werd gecombineerd. De onderzoekers waarschuwden er zelfs bij dat die blended varianten vaak extra leertijd. Dus je hebt langer om te leren en extra onderwijselementen hadden, die de controlegroep, die dus alleen online aan het studeren was, niet kreeg.
SPEAKER_01Dus hun conclusie was het positieve effect dat ergens meetbaar leek en je snapt dat er belanghebbenden zijn die het belangrijk vinden als jij in de e-learning business zit, dan ben je op zoek natuurlijk naar dat het werkt. Maar hun conclusie was dat het positieve effect mag niet aan het medium worden toegeschreven. En het meest veelzende was, er waren bijna geen goede studies die een zuivere zelfstandige e-learning vergeleken met klassicaal. Dus het slechte nieuws is, we weten het niet.
SPEAKER_00Nee, want dit positieve effect uit de studie komt dus vooral voort uit die langere periode een rijker leerlandschap. Precies. We weten het niet.
SPEAKER_01Ja, we weten het niet. Maar we gaan nog wel even door. De man die dit al in 83 is, want e-learnings zijn al heel oud, dat vergeten we soms. Is Richard Clark. Hij schreef een beroemde zin die nog steeds verkeerd wordt begrepen. En die zegt: media zijn slechts voertuigen die instructie afleveren, maar ze beïnvloeden net zo min het leren als de vrachtwagen die je boodschappen bezorgt, de voeding of de kwaliteit van je voeding bezorgt. Met andere woorden, vragen of een e-learning effectief is, is eigenlijk als vragen of de bezorgwagen voedzaam is.
SPEAKER_01Niet de wagen doet ertoe. Maar wat erin zit? En Clark stelde zelfs voor om te stoppen met onderzoek naar dat media met elkaar vergelijkt, dat deed hij dus in 83, omdat de methode steeds verward werd met het medium.
SPEAKER_00Ja, dit is eigenlijk heel logisch als je erover nadenkt. De vraag is e-learning effectief? Is training effectief? Het ligt eraan wat je doet in de training.
SPEAKER_01Is voeding effectief? Ja, maar de maten, de hoeveelheid cholesterol, je eigen lichaamssamenstelling en het doel van waarom jij die voeding tot je neemt, hebben nogal veel invloed. Dus een mooi experiment dat dit later netjes liet zien, is van Song en Meyer uit 2013. Ze gaven de mensen dezelfde les, maar varieerden twee dingen los van elkaar. Het medium of op een mobiel of in een computerlab. En de methode een één doorlopende les of een les opgeknipt in segmenten met kopjes. Het resultaat?
SPEAKER_01De methode beïnvloeden het leren. De gesegmenteerde les leverde een betere toetscore op. En het medium beïnvloeden alleen de motivatie. Dus de mensen vonden de mobiele versie leuker. Maar dat leuker had geen invloed op hun mate van leren. Dus ze leren er niet meer van. Elke zeiden ze nou, dit is wel heel fijn. Dat zeggen dan deelnemers, de vorm waarin je het schiet, raakt hoe leuk mensen het vinden. Het onderwerp raakt of ze iets leren.
SPEAKER_00Zou je dan nog, dat is natuurlijk daar niet onderzocht, anders had je het verteld. Je zou natuurlijk nog wel kunnen denken, als mensen het leuk vinden, is de kans dat ze hem afmaken of volgen, groter.
SPEAKER_01Dat komt niet uit deze studie, maar dat zou je kunnen denken. Je zou kunnen denken, het fijne gevoel zorgt, ik ga nog even verder. We weten wel uit onderzoek dat op het moment dat jij een progressietracker hebt, met welke habit je ook maar bijhoudt, als die af en toe tegen je zegt: Shana, je bent nu al 378 dagen met Duolingo in de weer. Dat doet iets met je dopamine. En dat zorgt ervoor dat je denkt, nou, dan kan ik er nog wel een dagje bij doen. Dus de progressietracking en dat soort dingen, die kunnen natuurlijk heel goed in een e-omgeving. Wat laat de wetenschap dan wel zien?
SPEAKER_01Informatie aanbieden alleen heeft een heel beperkt effect. Dat is statement nummer 1. Een e-learning die vooral bestaat uit tekst, animaties en filmpjes, die je consumeert, leidt meestal wel tot meer kennis direct na afloop, maar het effect op de lange termijn en op gedrag, met name op gedrag, is heel erg klein. Dus het consumeren in een e-omgeving is niet leren.
SPEAKER_00Dit is wel, als we het dan hebben over inderdaad die wat, ik noem dat klassiekere e-learnings, die je aan het begin ook beschreef, dat is wel ongeveer altijd wat er gebeurt.
SPEAKER_01Ja, en dan zie je tegenwoordig wel dat er hele leuke filmpjes zijn die je consumeert. Maar en dat je er blijer van wordt en dat je dus vol houdt en dat je misschien ook wel denkt, oh dan in deze grote bibliotheek staan er nog drie, ik doe er ook nog drie. Maar het effect op de lange termijn is heel erg klein.
SPEAKER_00Eigenlijk verwaardesbaar. Ik kijk jou in de ogen.
SPEAKER_01Ja, dat klopt. Nummer twee. Actieve verwerking maakt het verschil. Dus zodra een e-learning mensen iets laat voorspellen, wat denk je dat er nu gebeurt. Laat oefenen. Hoe zou je dit nou aanpakken, fouten laten maken die goed gecorrigeerd worden, feedback krijgen en kennis ophalen uit hun brein. Dan nemen de retentie en de transfer duidelijk toe. Dus het bewijs hiervoor is echt prachtig. Reudiger en Karpikken lieten in 2006 studenten korte teksten lezen.
SPEAKER_01De ene groep mocht de tekst nog een keer bestuderen, dat deden ze online. En de andere groep moest hem zonder hulp uit het hoofd navertellen. Dus je moest dat inspreken in het systeem. Dat systeem deed overigens niets met die opname. Maar vervolgens ging je vijf minuten later toetsen, dan won herlezen. Vijf minuten later. Maar toets je daarna twee dagen of een week, dan onthield de ophaalgroep veel en veel meer. Dus wat je heel veel ziet, is dat je natuurlijk, je leest het stukje tekst online en direct krijg je de vragen.
SPEAKER_00Leuk. Dat lukt dan wel?
SPEAKER_01Terwijl als je ze het zelf laat intypen of inspreken, zodat ze het een soort uit hun eigen hoofd moeten terughalen, die retrieval. Dan onthield die ophaalgroep veel meer. En het mooiste en het lastigste. De herlezers dachten. Nee, maar ik heb het nu drie keer gelezen. Ik ga het beter doen. Het voelde vertrouwder, dus voelden het als leren. Maar het ophalen uit je brein, dat duurt het echte werk. En dat voelt dus minder leuk.
SPEAKER_00Dus daar zit bij e-learnings echt een enorme mogelijkheid voor impact van.
SPEAKER_01Dus als je in de e-learning wereld zit, ga dan in ieder geval die ik moet het uit mijn eigen hoofd terughalen en even samenvatten, ga dat doen als dat er niet in zit. Op de korte termijn kun je dus naar je opdrachtgever zeggen of naar je collega's zeggen van hé, jij weet meer, kijk, maar dat is de vergeetcurve die langzaam daalt in het eerste uur.
SPEAKER_00Ja, dan inderdaad, dan zeg je, kijk, 88% is geslaagd voor de eindtoets van die e-learning, maar daarna wordt er inderdaad meer gemeten een week later.
SPEAKER_01Zonder herhaling, dat is nummer drie, valt het effect weg. Nou, dat is natuurlijk die vergeetcurve verslaan. Die eenmalige e-learning is bijna altijd minder effectief dan een e-learning die later terugkomt met ophalen, reminders, korte microlearning, dat weten we al lang, versla de vergeetcurve door het vaker te laten terugkomen. Dus belangrijk, de meeste e-learning is eigenlijk helemaal geen leren. Het is eigenlijk een digitale documentatie met filmpjes en na afloop een quiz.
SPEAKER_00En dan na afloop heb je die informatie, omdat die net op een aantrekkelijke manier erin is gepropt. Die weet je dan, maar een paar dagen later weet je al niks meer. En wat je al een paar keer hebt gezegd, het doet vooral helemaal niks in gedragsverandering.
SPEAKER_01Hetzelfde is, je zet een pdf op een website, je voeg er tien meerkeuzevragen aan toe. Is het lezen van die pdf dan ineens leren geworden? Door de quiz onthaal je wel meer, maar meer keuze doet minder. Dus dat betekent als je kijkt naar, ik heb geprobeerd, en die staat ook op de website, een soort effectiviteitsmatrix te maken voor als je dan e-learning doet, wat is dan goed, wat niet. Dus dan gaan we naar de lage effectiviteit. Dat is veel tekst.
SPEAKER_01Dat is lange video's, dat is vooral uitleg. Dat is de quiz aan het einde. Dat is het halen van het certificaat en daarop letten. En het is eenmalig. Dan weet je, don't waste your time, don't pay any money. Als je een LD'er bent met enige beroepseer, maak hem niet. Zeg gewoon ik weiger. Tel ons op, misschien hebben wij een baan voor je, maar weiger dit. Hoge activiteit is veel ophalen. Dus dat is retrieval. Het zelf terug moeten vertellen. Dat is korte segmenten.
SPEAKER_01Dat is zorgen dat mensen veel keuzes moeten maken. Bijvoorbeeld, je hebt al die filmpjes tegenwoordig. Met AI maak je ze ook zo een filmpje van iemand die iets zegt. En dan laat je het kiezen. Wat zou je nu willen dat hij daarna deed. En daar de impact van laten zien. En ga eens even terug. Dus zelf keuzes laten maken, oefenen tijdens het leren, feedback krijgen. Dus dat kun je in AI prima laten doen. En natuurlijk meerdere keren herhaalt over tijd. Dan gaat de motivatie omhoog en dan heb je meer impact.
SPEAKER_00Wat ik veel zie, een e-learning inhoudelijke vraag, wat ik veel zie in e-learnings, is dan bijvoorbeeld over omgaan met privacy. Dan is er een soort scenario, dan zie je mensen praten, en dan komt er de vraag. Je ziet nu deze collega dit aan die vragen, hoe zou jij hier nu op reageren? Dat is natuurlijk niet een feitencheck vraag. Dat is een soort, nou ja, inderdaad, een soort voorspeller van wat zou ik nu doen? Is dat dan zo'n daar had je het over? Als je de leren laat voorspellen, is dat dan dat?
SPEAKER_01Ja, nou als je zegt, hoe zou jij goed hoor? Hoe zou jij hierop reageren, ga je eigenlijk een beetje naar de sociaal wenselijkheid kant duwen. Dus dan kan je bijna beter doen. Je zou nu dit kunnen zeggen of dat. Speel dat scenario's uit als je dit doet en speel dat scenario's uit dat je dat doet. Want dan laat je ze meer een keuze maken. En hoe zou jij. Dan gaan mensen meestal proberen te raden wat het goede antwoord is, en dus niet een keuze maken. Maar het is al wel beter dan A of B.
SPEAKER_00Ja, die zie ik veel terug. Maar dat is dus ook nog maar een beperkte effectiviteit.
SPEAKER_01E-learning scoort verschillend voor verschillende leerdoelen. Dus laten we ook nog even kijken naar de leerdoelen. Voor kennisoverdracht kan een goede zelfstandige e-learning prima effectief zijn. Voor vaardigheden wordt het natuurlijk veel lastiger. Cognitieve vaardigheden zoals besluitvorming of een diagnose maken, die kun je met scenario's wel oefenen. Maar bijna altijd is dat een interpersoonlijke en een ook deels motorische vaardigheid waarbij je mensen aan moet kijken, waarbij je bepaalde bewegingen moet maken. En dan is oefenen met een ander bijna altijd noodzakelijk.
SPEAKER_01Denk aan de gelijkenis met de praktijk. Als ik het in het echt met een mens moet doen van vlees en bloed die allerlei emoties heeft en misschien met z'n verkeerde been uit bed is gestapt. Dan krijg je dat bijna niet in een interactie met een online iemand. Werk je uitsluitend met Teams en zie je nooit een human being live, dan zou het misschien nog wel kunnen. Maar dan moet je daar ook allerlei omstandigheden in doen als een poes die door het beeld loopt. Want je moet daarop reageren. En vaak is het heel clean. En ben je dus niet in de real world aan het oefenen.
SPEAKER_00Want dat gebeurt nu ook veel, dat er natuurlijk AI-agents ingeschakeld worden waar je dan op kan oefenen in gespreksvaardigheden. Maar dat is dus wat je hier zegt. Dat is maar ook een hele beperkte.
SPEAKER_01Ja, zeker als het gaat om, je wilt echt een gedragsverandering. Gedragsverandering is een losse e-learning, echt zelden voldoende. Want gedrag wordt zo onwijs bepaald door de werkomgeving, de feedback, de sociale normen, de herhaling. Met eigenlijk iedereen die jij wilt beïnvloeden. Ik wil iemand beïnvloeden, dan kan het of heel belangrijk zijn of het kan niet zo belangrijk zijn. Ik kan of een goede leuke voorgeschiedenis hebben met deze persoon, of een slechte voorgeschiedenis, of geen voorgeschiedenis. Er zijn zoveel variabelen die er dan aan de hand zijn.
SPEAKER_01Dus dat maakt het best lastig om dat te doen. De beste die ik daarin zie, is dat je zelf een soort mag kiezen wie de AI is. En dat je zelf even een bio mag schrijven van die AI. En dat je dan daarop mag oefenen. We kennen elkaar al zes maanden. We gaan heel goed samen door een deur. Alleen hierover hebben wij. En dat zie je natuurlijk als je met een acteur werkt, dat de deelnemer vaak instructie mag geven aan de acteur. Dit is de omstandigheid waardoor het oefenen veel dichter bij de realiteit komt.
SPEAKER_00Ja, daar kan in de toekomst de technologie misschien echt nog wel zo goed worden dat dat wel impact maakt.
SPEAKER_01Dus de vraag is niet: werkt e-learning? De vraag is waarvoor wil je hem inzetten? En een e-learning kan iemand iets laten weten. Soms kan die iemand iets leren, maar zelden zorgt hij ervoor in zijn eentje dat een ander ook zich echt anders gaat gedragen.
SPEAKER_00En als je dan een e-learning inzet als onderdeel van een blended traject, dan kan het heel goed helpen. Maar dat zit vooral in het langere traject en het rijke leerlandschap, waar dan e-learning een onderdeel van precies.
SPEAKER_01En als je dan e-learning maakt, bouw dan die actieve verwerking in. En de herhaling. En meet het leren, niet het afmaken van het doorklikprogramma.
SPEAKER_00Nee. Dan ben je wel echt dan is het wel echt 1980 roep je terug hoor. Dat kan je niet meer. Wil je dit allemaal nalezen en dus ook de effectiviteitsmatrix waar je aan het over had, kijk bij de Brain Snacks op onze website. Heerlijk dat je weer luisterde. En tot de volgende. No more boring learning. Dit was de Brain Bakery Podcast. Wil je meer weten? Kijk dan op brainbakery.com of volg ons op onze socials.
Als trainer ben je dol op dat moment waarop het kwartje valt. En om dat te laten gebeuren, moeten mensen soms eerst fouten maken. Maar er zit een belangrijk verschil tussen een oefening waarin mensen eerlijk kunnen...
70/20/10: waar komt dat model eigenlijk vandaan? 70% leren op de werkvloer, 20% van anderen en 10% via formeel leren. Je komt het model overal tegen in de wereld van L&D. Maar heb je je weleens afgevraagd waar die...
275. Woede: de brandstof die we leren blussen Adem in. Tel tot tien. Blijf rustig. We leren mensen al jaren om hun woede vooral in te slikken. Maar wat als we daarmee juist de brandstof blussen die nodig is om iets te...
Een luisteraar wees ons erop: jullie maken al zo lang deze podcast en hebben nog nooit een aflevering gemaakt over de Five Moments of Need. Een schande! Dus bij deze. En we nemen meteen zowel de fan als de scepticus...
Hoeveel tijd verspil jij aan het oplossen van problemen die iemand anders allang heeft opgelost? Hoe krijg je leidinggevenden mee? Hoe organiseer je werkplekleren? Hoe maak je impact zichtbaar? Vrijwel iedere L&D'er...