Op 9 oktober 2014 organiseerden Avans+ en ROI Navigator het symposium ‘De waarde van leren; duurzaam presteren!'. Voor de dik 140 deelnemers vormde Style Inn in Maarssen een prachtig decor voor deze bijeenkomst. Een terugblik op de keynote presentatie en twee van de parallelsessies.
Phillips Learning Analytics tm
Dagvoorzitter Rick de Rijk nodigt ons bij de start van het symposium uit om na te denken welke waarde het symposium voor ons zou moeten hebben. Daarna introduceert hij keynote Jack Phillips, wereldwijd expert op het gebied van rendement van leren. Aan de hand van Phillips Learning Analytics tm legt Jack Phillips uit welke verschillende soorten data je kunt gebruiken voor het bepalen van de waarde van leren. Op het laagste niveau gaat het over voorkeuren. Dit is – zo stelt Phillips – echt iets anders dan een happy sheet over de accommodatie. Praktijkrelevantie is hierbij vooral belangrijk (‘Ben je van plan de inhoud van de training te gaan gebruiken?’). Volgens Phillips zou je alle leeractiviteiten op dit niveau moeten evalueren (100%). Het tweede niveau is het verwerven van kennis en vaardigheden. Vanuit het perspectief van een organisatie wellicht niet de kritische informatie, maar je kunt er vanuit leerperspectief niet omheen (‘als er niet geleerd wordt, moet je daar snel iets aan doen, want alles start met leren’). 60-80% van de leeractiviteiten zou je op dit tweede niveau moeten evalueren (denk aan simulatie, rollenspel, toetsen etc.).
Het derde niveau gaat over de toepassing van het geleerde. Op de vraag in hoeverre wij als publiek dit meten blijft het erg stil. Slechts enkelen hebben hier ervaring mee. In het algemeen geldt volgens Phillips dat je ongeveer 30% van je leerinspanningen op dit niveau zou moeten evalueren. Daarvoor heb je echt geen dikke pakketten met vragenlijsten nodig. Houd het eenvoudig is zijn pleidooi en focus op gebruik en frequentie. Besteed vooral aandacht aan disablers (‘Wat weerhoud je om de kennis en vaardigheden in de praktijk te gebruiken? ’) en enablers (‘wat heeft je gestimuleerd om ze te gebruiken?’)
Het vierde niveau gaat over productiviteit. Op welke organisatie KPIs heeft het leren effect? Onderzoek onder CEOs geeft aan dat deze data maar heel weinig beschikbaar is. Dus: wat we het meest meten (niveau 1) is het minst belangrijk voor de CEO. Wat we het minste meten is het meest belangrijk (niveau 4: business improvements). Betekent niet dat je nu gelijk alle programma’s op dit niveau moet evalueren. Phillips geeft aan dat dit voor ongeveer 10% van de leerinspanningen zou moeten gelden. Vergeet hierbij niet het effect van het leren te isoleren van andere effecten.
Het ultieme niveau is de ROI van leren en ontwikkelen. Hier gaat het om de verhouding tussen de kosten en de opbrengsten. Het goede nieuws voor dit meetniveau is dat veel informatie al beschikbaar is in de organisatie (dus ga op zoek naar degene die deze informatie heeft). En toon daarmee aan dat investeren in leren loont!
Welk percentage van je budget spendeer je aan evaluatie? Nu gemiddeld 1%, maar Phillips pleit voor een hoger percentage. Hoe realiseer je dat? Door aan te tonen dat evalueren nut heeft. Laat zien dat als het geleerde wordt toegepast, gedrag en prestatie verandert. Maak die verandering zichtbaar door indicatoren te benoemen. Daarmee geef je tevens ontwikkelaars handvaten om leren en ontwikkelen meer doelgericht te maken. Voor meer informatie hierover verwijst Phillips naar het whitepaper ‘How to set objectives’.
Hoe doe je zo’n ROI-studie? Jack Phillips gaat kort in op het proces en belooft dat iedereen de ‘10 easy steps’ mee naar huis krijgt. Daarmee is zijn keynote afgelopen en is het tijd voor de presentatie van een aantal casussen.
Analyse van de opleidingsvraag loont
Evelyn van Asselt van NS presenteert maar liefst twee casussen. De eerste casus gaat over het Power-programma. Power is een training in klantcontactvaardigheden voor non-food medewerkers van NS (denk bijvoorbeeld aan de Rituals-winkels op de stations). Het effect van deze training werd nooit in business resultaten (KPI’s) aangetoond, terwijl de training wel jaarlijks wordt gegeven vanuit het vertrouwen dat dit effect er is. Evelyn gebruikte het V-model om het gewenste effect van de training (een betere klantbenadering, en daarmee hogere klantwaardering en hogere omzet) te vertalen naar gedrag dat daarop van invloed is (human performance indicators). Door dit gedrag bij potentiële deelnemers in kaart te brengen kan veel beter bepaald worden wie deze training nodig heeft en wie niet. En dat levert een belangrijke kostenbesparing op.
De tweede casus gaat over een programma voor het bevorderen van het veiligheidsgevoel van medewerkers. Vanuit de business werd gevraagd om een ‘Veiligheidsavond’, want ‘die worden hoog gewaardeerd’. Maar toen learning & development met behulp van het V-model een aantal betrokkenen interviewde, bleek dat maar een klein deel van het probleem een leerprobleem is (o.a. kennis en vaardigheden over hoe om te gaan met agressieve klanten) en dat een groot deel van de oplossing uit een ander deel van de business moet komen (bijvoorbeeld duidelijke informatie vanuit beveiliging over het inschakelen van hulp, hoe werkt dat, waarom werkt dat zo?). Hieruit blijkt volgens Evelyn maar weer hoe belangrijk de rol is van learning & development als business partner – niet als supplier!
Zorgvuldig met centen
Nick van Sante deelt een casus over een management development programma van Sligro. Als centraal aangestuurd en zeer operationeel familiebedrijf had Sligro nauwelijks ervaring met leiderschapsontwikkeling. Maar marktontwikkelingen maakten wel dat er behoefte was aan het binnenhalen van nieuwe kennis en het aanbieden van een aantrekkelijk programma voor hoger opgeleiden. Samen met Avans+ werd een programma aangeboden voor 20 hoger opgeleiden. Daarbij werd de inhoud nadrukkelijk losgekoppeld van ‘hoe we het gewend zijn te doen in de organisatie’. Tegelijk werd de CEO nauw betrokken bij de aanpak. Voor leidinggevenden best lastig, want hoe ga je om met meer autonome medewerkers? Hoe faciliteer je die? Wat laat je los aan regie, wat niet? Het resultaat van het programma is discipline-overstijgende mobiliteit (bijvoorbeeld van groente naar non-food). Dat lijkt wellicht niet bijzonder, maar is dat wel binnen Sligro. Het is ook zeer wenselijk in verband met optimaal gebruik van kennis binnen de organisatie. Daarnaast is er ook externe mobiliteit geweest. Dat is misschien jammer, maar ook logisch. Verder heeft het traject geleid heeft tot nieuwe leiderschapsbijeenkomsten, themabijeenkomsten, loopbaanmogelijkheden en externe samenwerking. Wat heeft dat opgeleverd in cijfers? Onbekend! Maar wel de overtuiging dat kosten en opbrengsten tegen elkaar opwegen. Al is het maar omdat de deelnemers in de business allerlei initiatieven opgestart hebben die direct impact hebben op de business.
Q&A
Dan is het tijd voor de afsluitende sessie met Jack Phillips. Via twitter zijn er verschillende vragen voor hem binnengekomen.
Q: Wat is de grootste valkuil bij dit traject?
A: Wachten tot je de vraag krijgt om de waarde van leerinspanningen aan te tonen. Wees deze vraag voor en start nu!
Q: Wat is het verschil tussen de benadering van Kirkpatrick en die van Phillips?
A: De eerste twee niveaus zijn gelijk. Op niveau 3 heeft Kirkpatrick het over ‘behavior’ en gaat ons model over ‘application’. Op niveau 4 zit ook een accentverschil: Kirkpatrick spreekt over ‘results’ en in ons model gaat het over ‘impact’. Niveau 5 (ROI) bestaat niet in het Kirkpatrick model (daar is niveau 4 en 5 één niveau). Volgens het Phillipsmodel kun je echter een positief resultaat en een negatieve ROI hebben. Daarnaast werkt het Phillipsmodel met een standaard en een 10-stappenplan. Dat zit niet in het Kirkpatrickmodel.
Q: Wat zouden de belangrijkste stappen zijn in een (nieuw) boek over ’10 easy steps for analysis’?
A: In ieder geval een pleidooi voor het gebruiken van eenvoudige statistieken, het betrekken van veel mensen (veel data) en het meenemen van niet-financiële waarden (‘intanglibles’) op een goede manier. En veel aandacht voor het communiceren van de resultaten naar de juiste doelgroepen.
Q: Wat is de meest speciale ROI die je ooit bent tegengekomen?
A: Natuurlijk zijn er voorbeelden van programma’s met nul waarde, en programma’s met een extreem hoge ROI. Maar veel specialer voor ons is onze betrokkenheid bij programma’s van de Verenigde Naties, waar ROI gaat over het terugdringen van bijvoorbeeld malaria en kindersterfte. Dan krijgt effectief werken ineens een heel ander perspectief.
Q: Wat is je advies om als eerste op te pakken?
A: Kijk waar je nu staat (gebruik hiervoor eventueel de checklist. Link naar checklist toevoegen; ik heb deze vraag uitstaan bij Jack) en bouw het stap voor stap uit. Maak kleine stapjes en laat je inspireren door de vele case studies die beschikbaar zijn.
Er zijn nog vragen genoeg, maar het is nu toch echt tijd voor de borrel en onder het genot van een hapje en een drankje praten we nog gezellig na met prachtig uitzicht over het water.
Jolanda Botke is zelfstandig adviseur met passie voor leren. Ze ondersteunt organisaties bij het vormgeven van leren en ontwikkelen, is gecertificeerd ROI consultant en doet promotieonderzoek aan de VU. Op zoek naar een opleiding op het gebied van HR? Bekijk hier het aanbod van Avans+.
