woensdag 30 december 2015

Beter presteren: begrip demonstreren?

In juni 2015 rondde Marije van Braak haar bacheloropleiding Onderwijskunde af met haar bachelorthesis. Op de jaarlijkse congresdag waarin onderwijskundestudenten hun bacheloronderzoek presenteren, werd haar thesis uitgeroepen tot de beste bachelorthesis door de jury. Ze diende vervolgens haar thesis in voor deelname aan de Student Research Conference. Op deze conferentie kunnen studenten uit Nederland en Vlaanderen hun bacheloronderzoek presenteren. Slechts 60 studenten worden toegelaten tot deze conferentie. Ook Marije mocht haar onderzoek presenteren op deze conferentie. Daarnaast werd haar thesis genomineerd voor de Peter G. Swanbornprijs. Desgevraagd heeft Marije een samenvatting van haar onderzoek geschreven voor op dit blog.


Beter presteren: begrip demonstreren?
Een goede leraar is iemand die iets uit je haalt in plaats van iets in je stopt. – N. D. Walsh

Onderwijsontwikkelingen en onderwijshervormingen doen altijd veel stof opwaaien: verhitte discussies onder politici, leerkrachten, directies, ouders en wetenschappers lijken rond de invoering van deze ontwikkelingen en hervormingen soms aan de orde van de dag te zijn. Ditzelfde geldt ook voor één van de meest recente onderwijsontwikkelingen: de Wet Passend Onderwijs (ingevoerd op 1 augustus 2014). Sinds de invoering van deze wet is passend onderwijs de norm in ons Nederlandse onderwijssysteem.

Passend onderwijs, aangepast aan het individu, wordt ook wel adaptief onderwijs genoemd. Adaptief onderwijs is onderwijs waarin rekening wordt gehouden met de grote diversiteit aan leerlingen door het curriculum en de instructie passend te maken bij (onder andere) interesses en leerprofielen (Tomlinson et al., 2013). De laatste vorm van passend onderwijs, het ‘passend maken’ van instructie, blijft soms wat onderbelicht. Uit een meta-onderzoek van John Hattie blijkt echter dat het passend maken van instructie (een vorm van micro differentiatie) een veelbelovende positieve invloed heeft op leeruitkomsten.
            “Werk aan de winkel voor docenten”, zou men kunnen denken. Maar let op: de rol van leerlingen in het uitvoeren van aangepaste instructie is minstens net zo cruciaal. Leerlingen beïnvloeden namelijk de docentinstructie op veel verschillende manieren: op een meer directe manier door het stellen van vragen en het geven van antwoorden, en op een meer indirecte manier via leerlingkenmerken als prestatieniveau, motivatie en betrokkenheid. Een voorbeeld: Leerkrachten ontwikkelingen specifieke ideeën over de prestatieniveaus van leerlingen, die zij als een eerste stap gebruiken bij het aanpassen van instructie aan die leerlingen. Een wiskundeleerkracht zal aan een leerling die altijd hoog scoort voor wiskunde (waarschijnlijk) een andere uitleg geven dan aan een leerling waarvan hij weet dat hij zwak is in zijn vak.
            Hoe groot de rol van de leerling is in het passend maken van instructie, blijkt ook uit hoe belangrijk het is voor de leerkracht wat een leerling zegt of vraagt tijdens de instructie. Als een leerling een probleem heeft met som 24 (om weer even wiskunde als voorbeeld te nemen), kan deze leerling zeggen: “Ik snap som 24 niet!”. Dit geeft de docent weinig informatie over wat nu precies het probleem is van deze leerling. Informatie over het precieze probleem van de leerling krijgt de docent wel als de leerling zou zeggen: “Ik begrijp niet waarom hoek A 67° is in deze driehoek, als je die hoeken optelt is het toch geen 180°!” (gesteld, bijvoorbeeld, dat ‘deze driehoek’ slaat op een driehoek in het boek waarin twee hoeken al gegeven zijn). In het eerste geval zegt de leerling alleen dat hij/zij iets niet snapt (een zogenaamde claim of understanding), terwijl de docent uit de tweede leerlinguitspraak ook kan afleiden wat wel (alle hoeken van een driehoek samen zijn 180°) en niet wordt gesnapt (de berekening, de docent zou kunnen bedenken dat hier verkeerde hoeken zijn opgeteld of dat er sprake is van een afrondingsfout). In de laatste situatie is er sprake van een demonstration of understanding.

            Zoals blijkt uit de gegeven leerlinguitspraken, zijn begripsdemonstraties informatiever voor een docent dan begripsclaims. Een informatievere uitspraak geeft een docent meer ‘handvaten’ voor het passend maken van de instructie. Leerlingen zouden hun docent mogelijk dus helpen met het afstemmen van instructie door relatief veel begripsdemonstraties te gebruiken in hun vragen en antwoorden in interacties met de docent. De vraag die hierbij rijst is: zijn alle leerlingen wel even goed in staat om hun begrip te ‘demonstreren’ in plaats van het te ‘claimen’? En gerelateerd hieraan: zijn alle docenten wel even goed in staat om hun leerlingen te helpen hun begrip te ‘demonstreren’ in plaats van te ‘claimen’ (bijvoorbeeld door te vragen: “Kun je me uitleggen waarom…?”  in plaats van “Snap je het nu?”)? Het zou kunnen zijn dat leerlingen die een lager prestatieniveau hebben, en daarmee minder inzicht in en overzicht over de stof hebben, minder goed zijn in het demonstreren van begrip dan leerlingen die hoger presteren.
De suggestie dat prestatieniveau samen zou hangen met vormen van begripsuiting (en vormen van het ontlokken van deze uitingen, zie het schema hieronder) vormde de aanleiding voor een recent scriptieonderzoek (Van Braak, 2015).

 In dit onderzoek zijn 153 leerling-leerkracht interacties geanalyseerd aan de hand van een bestaand codeerschema voor docentuitspraken (ontwikkeld door Van de Pol, Volman, Oort en Beishuizen) en een codeerschema voor leerlinguitspraken, ontwikkeld op basis van een deel van de genoemde interacties. Alle interacties waren opgenomen tijdens wiskundelessen op vier middelbare scholen in Nederland (vier verschillende klassen in totaal). De leerlingen die deelnamen aan de interacties zaten tijdens de opnames in de eerste klas van het VMBO-T; het prestatieniveau van deze leerlingen is gemeten met behulp van hun gemiddelde cijfer voor het vak wiskunde, een veelgebruikte maat voor prestatie. Zowel de gemiddelde cijfers als de interacties waren onderdeel van een grotere dataset.

De belangrijkste bevinding uit het onderzoek is de afwezigheid van een verband tussen het prestatieniveau van leerlingen en de vorm(en) van begripsuiting die zij gebruiken. Tegen de verwachting in, gebruiken leerlingen die hoger presteren niet meer begripsdemonstraties dan leerlingen die lager presteren. Dit verband bleek ook niet aanwezig nadat was gecontroleerd voor het type begripsuiting dat door de docent werd ontlokt.
            Opvallend genoeg was ongeveer 40 procent van alle leerlinguitspraken een demonstratie van begrip, terwijl het percentage van begripsclaims twee keer zo laag lag. Leerkrachten daarentegen, gebruikten maar in ongeveer 19 procent van de uitingen een vraag of uitspraak die een begripsdemonstratie ontlokte; 4 procent van hun uitingen was erop gericht een begripsclaim te ontlokken. Het overgrote deel van de docentuitingen was er helemaal niet op gericht iets te ontlokken bij de leerling, dit waren of (delen) van antwoorden, of uitleg in de vorm van ‘statements’ (bijvoorbeeld: “De hoeken van een driehoek zijn samen 180°. Als je een onbekende hoek wilt berekenen, trek je de twee bekende hoeken van 180° af.”).
            Het lijkt er dus op – hoewel een causale relatie tussen leerlinguitspraken en docentuitspraken door het gebruikte onderzoeksdesign niet aangetoond kan worden – dat begripsclaims van leerlingen vaker niet door docenten waren ontlokt dan begripsdemonstraties. Dit zou er op kunnen wijzen dat er inderdaad nog een duidelijke taak ligt voor leerkrachten: meer en gerichtere vragen stellen, om zo informatievere leerlinguitspraken (dat is: demonstraties) te ontlokken. Door informatievere uitingen van leerlingen te stimuleren, zouden leerkrachten meer informatie kunnen krijgen die hen helpt om de juiste ‘diagnose’ te stellen met betrekking tot het ‘probleem’ dat een leerling heeft.
           
Hoewel het onderzoek suggesties oplevert voor de onderwijspraktijk, is het belangrijk om op te merken dat de afwezigheid van een verband tussen prestatieniveau en begripsuiting (claim versus demonstratie) in dit onderzoek suggereert dat het demonstreren van begrip niet per se een positieve invloed heeft op leeruitkomsten (dat is: vakgemiddeldes). Mogelijk is deze bevinding echter een gevolg van de verschillen tussen cijfers bij verschillende leerkrachten. Terwijl leerlingen bij één docent in het onderzoek gemiddeld een 5,7 scoorden voor wiskunde, was dit bij een andere docent een 7,7. Dit grote verschil tussen docenten zou ertoe hebben kunnen geleid dat een ‘overall’ effect niet zichtbaar was in de data. Verder onderzoek dat rekening houdt met dit kenmerk van de data zou aanvullende waardevolle informatie kunnen opleveren over de relatie tussen het prestatieniveau van leerlingen en de manier waarop zij begrip uiten.
             

Bronnen
Hattie, J. (2009). Visible learning: A synthesis over 800 meta-analyses relating to achievement. New        York, NY: Routledge.
Tomlinson, C. A., Brighton, C., Hertberg, H., Callahan, C. M., Moon, T. R., Brimijoin, K., Conover,         L. A., & Reynolds, T. (2003). Differentiating instruction in response to student readiness,    interest, and learning profile in academically diverse classrooms: A review of literature.       Journal for the Education of the Gifted, 27, 119-145. doi:10.1177/016235320302700203
Van Braak, M. (2015). Is Demonstrating Understanding Rewarding? Student Academic Performance and Student Expression Mode in the Context of Micro Differentiation. Unpublished bachelorthesis, Utrecht University.
Van de Pol, J., Volman, M., Oort, F., & Beishuizen, J. (2014). Teacher scaffolding in small-group            work: An intervention study. Journal of the Learning Sciences, 23, 600-650. doi:10.1080/10508406.2013.805300

dinsdag 8 december 2015

Ik denktank dus ik ben

Of het nu platforms of denktanks zijn: aan goede intenties en veranderlust ontbreekt het niet als het om onderwijs gaat. Toegeven, ik ben geen groot liefhebber van dergelijke clubs. Ik houd van denken maar dat is heel wat anders dan samen denken. Je loopt al brainstormend in zo'n comité het gevaar dat alle ideeën die een beetje uit de band springen ("Voer overal Chineze les in!", "Voer een vierdaagse schoolweek in!") in de brei van compromissen het onderspit delven. Het platform Onderwijs2032 is daar misschien een voorbeeld van. Afgelopen jaar heeft een ander platform, de Nationale Denktank, haar werk verricht. Deze denktank heeft nu haar adviesrapport gepresenteerd, en mijn vraag vooraf was natuurlijk of hier hetzelfde voor zou gaan gelden. Dat hoeft helemaal niet zo te zijn, want de Denktank is geen stoffig platform; het is een club blanke twintigers die academisch geschoold, 'jong en getalenteerd', en afkomstig uit diverse disciplines is. Een tikje eenvormig ook, wellicht.  De slogan van de Nationale Denktank is: "creëert praktische oplossingen voor maatschappelijke problemen". Raar woord eigenlijk: 'creëren'. Je zou denken dat een denktank oplossingen bedenkt en niet creëert, anders had het wel de Nationale Creëertank geheten. Maar toch: praktische adviezen, daar kan het onderwijs er best wat van gebruiken.
     Op 7 december presenteerde de Denktank die adviezen in een document getiteld "Lees Wijzer" en ook tijdens een drukbezochte bijeenkomst. Veel media hadden er al aandacht aan besteed. Met de PR van de Denktank zit het wel snor, en visueel is het advies ook prachtig. Daarbij is het een goed leesbaar, in eenvoudige taal geschreven rapport. Elke gepresenteerde oplossing wordt bijvoorbeeld ingeleid met een kort verhaaltje over leraren als meneer Jansen en leerlingen als Khaled en Anna. De tekst moet tenslotte lees- en uitvoerbaar zijn voor iedereen. Mijn doel is om in deze blog de gepresenteerde adviezen (de 'tien oplossingen') samen te vatten en te voorzien van enig commentaar.

     De algemene vraag die de Denktank zichzelf stelde was: Hoe kan het leren in Nederland worden georganiseerd en gefaciliteerd, zodat het talent van de individuele leerling tot bloei komt en het leren beter aansluit bij de veranderende omgeving. Die vraag is niet heel anders dan die van het platform Onderwijs2032. Daarom is het leuk om de oplossingen van de Denktank te bekijken. Die zijn deels origineel, deels verfrissend, soms voor-de-hand-liggend, maar allemaal concreet en dat is heel wat. Minder aandacht voor visioenen en vergezichten, en meer voor apps en actiecomités. Aan sommige ideeën wordt zelfs al gewerkt. Het antwoord van de Denktank bestaat uit tien oplossingen, die ruwweg over vijf thema's te verdelen zijn. De thema's geven de reikwijdte van de oplossingen aan: van 'leren voor school' (baby's en peut
ers) tot 'leren buiten school', hoewel leren voor school natuurlijk ook leren buiten school is. Het thema 'balans in leerdoelen' lijkt sterk op 'effectiever leren op school'. Als vijfde thema met ook maar één bijbehorende oplossing lijkt het wat overbodig. De thema's zijn dus niet erg interessant, de oplossingen des te meer.

Oplossing 1. Baby Wijzer
Een campagne voor jonge ouders om hen ondersteuning en tips te geven bij de ontwikkeling van hun kind. Centraal staat een soort opvoed-schijf-van-5: aankijken, praten, spelen, rustig blijven, vasthouden. Een up-to-date versie van rust, reinheid en regelmaat dus. De redenering is dat veel ouders (60 procent) zich niet bewust zijn van het belang van deze periode voor de latere ontwikkeling. Of dat erg is weet ik niet, het gaat zonder die kennis al duizenden jaren heel redelijk tenslotte, maar enige bewustwording kan natuurlijk geen kwaad. Het risico is wel dat baby's vanaf nu horendol worden van al het gepraat tegen hen, want ouders moeten vooral zo veel mogelijk tegen hun kinderen praten. Er is ook een app 'BabystAPP' bedacht om te helpen bij de bewustwording. Dat kan geen kwaad want jonge ouders worden normaliter bedolven onder foldermateriaal en goedbedoelde adviezen. De kans dat BabystAPP ondersneeuwt in het adviesgeweld lijkt me dan ook niet onwaarschijnlijk.


Oplossing 2. OnzeLes
Deze oplossing kreeg de meeste aandacht in de media. Een app die leerlingen feedback op hun leerkracht laat geven (de Denktank zelf sprak in latere tweets ook over 'beoordelen' wat een veel meer beladen term is). Een prima idee natuurlijk, waarbij de opmerkelijkste bevinding is dat dat niet allang in alle scholen gebeurt. Je kunt je dan ook afvragen of een app de manier is om een cultuurverandering teweeg te brengen en of daarmee leraren 'over de dempel geholpen worden'. Dit is de eerste oplossing die specifiek meldt dat de motivatie van leerlingen stijgt als de app OnzeLes gebruikt wordt. Een mooie onderzoekshypothese is dat natuurlijk.

Oplossing 3. FlipFilm
De Denktank heeft 'flipping the classroom' ontdekt en constateert dat een belemmering daarbij het gebrek aan goede lesvideo's is. Een nieuw online platform ('flipfilm') is de oplossing.  De Denktank was zo slim om het internetdomein www.flipfilm.nl half november al te registreren voordat iemand anders ermee aan de haal kon gaan. De content wordt geleverd door enthousiaste docenten, en gebruikers kunnen met up- en downvotes hun voorkeuren aangeven. Alle video's worden onderworpen aan een 'betrouwbare kwaliteitsbeoordeling'. Hoe dit alles in de praktijk gaat werken is een open vraag. Het is eerder geprobeerd en het grootste probleem is om vulling te krijgen (precies waar het platform voor bedoeld is dus) en om de kwaliteit te bewaren. Een platform als www.leraar24.nl laat zien dat dat heel moeilijk is. Ook hier komt het motivatieargument weer voorbij, want video's kijken sluit aan bij de leerbehoefte van leerlingen (er staat 'leerstijl' maar daar lezen we maar snel overheen) en maakt leren leuker. Ik denk dat het plezier van thuis instructievideo's moeten kijken er op een gegeven moment toch wel een beetje afgaat.

Oplossing 4. EduBox
Elk kwartaal ontvangen scholen een grote doos met daarin lesmateriaal, spellen, en andere materialen (zelfs een leen-3D-printer is mogelijk). Het zijn innovatieve onderwijsmaterialen, en het doel is om die makkelijker op te laten pikken door scholen. Scholen nemen een abonnement op de EduBox. De vraag is of het hebben van een abonnement voldoende is om de in de box aanwezige materialen ook daadwerkelijk in de school in te zetten. Scholen ontvangen ongevraagd ook al heel veel materiaal, de kans bestaat dat de box in een hoek gezet wordt en daar wegkwijnt. Een andere vraag is wie de inhoud van de box bepaalt: commerciele partijen zullen in de rij staan om hun innovatie aan de man te brengen: iemand zal het kaf van het koren moeten scheiden.

Oplossing 5. Lerarenbrigade
Een interessante oplossing voor scholen met moeilijke klassen. Een team ervaren leraren ('bewezen goede omgang met moeilijke klassen en brede ervaring in het onderwijs') wordt ingevlogen en gaat drie jaar lang op de school werken. De vraag is natuurlijk hoe deze teams samengesteld worden. Voor de leraren in de brigade is meedoen een 'doorgroeimogelijkheid' maar of daar ook een (extra) beloning tegenover staat is niet duidelijk. De Denktank stelt als concreet doel dat op deze manier elk jaar zo'n 35 basisscholen worden geholpen. In 2014 waren er 6549 basisscholen, dus het gaat om een half procent. Het doel om in de breedte tot een eerlijker verdeeld schoolsysteem te komen is dus een kwestie van lange adem.

Oplossing 6. Make & Meet Challenge
Er zijn 'witte' en 'zwarte' scholen in Nederland. Dat gegeven kan de Denktank niet oplossen. In plaats daarvan is een verbindende activiteit bedacht, de 'make & meet challenge'. Het is een landelijke wedstrijd waarin teams gedurende negen maanden (bijna een heel schooljaar dus) werken aan... aan iets -- het kan gaan over bijvoorbeeld Lego, dans, of toneel. De wedstrijd wordt georganiseerd in samenwerking met bibliotheken, die ook werving en selectie van de deelnemers verzorgen. Het klinkt als een leuk plan, maar hoe de samenwerking tussen leerlingen met verschillende achtergronden bevorderd wordt lijkt me een hele uitdaging. De vraag is of het lukt om de teams daadwerkelijk 9 maanden aan een project te laten werken. Of zo'n wedstrijd helpt om 'vooroordelen tussen bevolkingsgroepen weg te nemen en vriendschap mogelijk te maken' vind ik ook niet geheel vanzelfsprekend. De doelstelling van de M&MC is overigens bescheiden: het gaat om zo'n 4000 leerlingen in totaal.

Oplossing 7. BrugklasBonus
Jos van Kemenade (1933-)
De Middenschool. Het onderwijstype waar Van Kemenade in de jaren 70 voor pleitte en dat er nooit kwam (de Basisvorming was een halfslachtige poging die op niets uitliep, iets dat Van Kemenade in 2007 betreurde). De Denktank stelt voor om 'brede brugklassen' de eerste twee jaar in het voortgezet onderwijs in te voeren, en dit te stimuleren door middel van een BrugklasBonus. Hoe diverser de instroom in de brugklas, gebaseerd op basisschooladviezen, hoe hoger de financiele bonus. Dat geld is bedoeld om hoogstaand en gedifferentieerd onderwijs te stimuleren. Het doel is om sociale ongelijkheid in te perken. Of het overheidsgeld op de juiste plek terecht komt is natuurlijk altijd de vraag, de historie laat zien dat dit niet altijd het geval is. Een plaatje in het rapport geeft weer dat een brede brugklas van twee jaar het middel is om vmbo-, havo- en vwo-leerlingen van elkaar te scheiden, en geeft daarmee een wel heel idealistische voorstelling van zaken.

Oplossing 8. Docentencoschap
Wil je lesgeven in de hogere klassen van het voortgezet onderwijs, dan heb je een eerstegraadsbevoegdheid nodig. Die kun je na een masteropleiding aan een lerarenopleiding behalen. Over dat leertraject wordt veel geklaagd. De opleiding zou te theoretisch zijn, niet aansluiten op de onderwijspraktijk (uitzonderingen daargelaten), en daarnaast betekent doorstuderen dat je een jaar langer dan anderen geld betaalt voor een opleiding terwijl anderen inmiddels een betaalde baan hebben. De Denktank komt met een 'herziening van de eerstegraadslerarenopleiding' die zij docentencoschap noemen. Dat werkt zo: na het behalen van de mastergraad volg je een zomerschool van een paar weken waarin je de basisvaardigheden van het onderwijs leert. Daarna start je in het nieuwe schooljaar meteen voor de klas. Daarbij word je gedurende twee jaar intensief begeleid en je werkt samen met andere beginnende docenten. Met elkaar vorm je zo een ontwikkelteam. Het voordeel: je leert het vak in de praktijk en ontvangt daarbij als docent ook gewoon loon. Of het de gemiddelde academicus als muziek in de oren klinkt moet blijken maar het zal zeker meer personen over de streep trekken om voor de klas te gaan staan. Of een stoomcursus didactiek daar voldoende voor is, daar kun je vragen bij stellen. Je kunt de twee jaar voor de klas zien als opleiding, maar is dit een verbetering van de huidige situatie? Wel is hiermee een ander probleem opgelost, want het aantal bevoegde leraren zal toenemen omdat de huidige opleiding vervalt. Na twee jaar werken ben je automatisch bevoegd. Deze oplossing werd vrij enthousiast ontvangen, met name omdat elke verandering aan de huidige lerarenopleiding beschouwd wordt als een verbetering.

Oplossing 9. Vrijheid van schoolbestuur
Van de tien oplossingen is dit de enige die om een concrete wetswijziging vraagt. Het voorstel is dat de leiding van een school de mogelijkheid krijgt om zich af te splitsen ('uit te treden') van een overkoepelend schoolbestuur. Een school kan dan besluiten om zich aan te sluiten bij een ander schoolbestuur. De macht die schoolleidingen hiermee krijgen maken dat zij een gelijkwaardiger gesprekspartner worden met overkoepelende schoolbesturen. De vraag is of het snel zover komt dat een school daadwerkelijk de stap neemt, de oplossing wordt dan ook vooral gepresenteerd als machts- en drukmiddel (onder de noemer 'gelijkwaardige dialoog'). Het is afwachten of politieke partijen dit voorstel willen steunen.

Oplossing 10. LerenderWijs
De laatste oplossing die de Denktank presenteert gaat over persoonsvorming en socialisatie, twee onderdelen die er in het huidige onderwijs wat bekaaid van af komen. Te veel aandacht zou uitgaan naar 'holle' kennisoverdracht. De oplossing is de meest politieke van de 10: er wordt een platform (of 'coalitie') opgericht dat bestaat uit 12 tot 15 maatschappelijke denkers (onder andere leraren en onderwijsonderzoekers). Het platform komt eens in de twee maanden samen en 'onderneemt actie'. Het doel is dat persoonsvorming en socialisatie integraal onderdeel gaan uitmaken van de lespraktijk en van het curriculum van de lerarenopleiding (het programma van de zomerschool wordt dus nóg voller). Hoe en of dit alles in de praktijk gaat werken vind ik lastig te bepalen. Komt zo'n platform met concrete plannen? Slaan die plannen aan bij scholen? Wie waarborgt de kwaliteit, en slaat de balans straks niet te ver door? Het zijn zomaar enkele vragen waar LerenderWijs haar tanden in kan zetten.

Na de tien oplossingen komt de Denkank nog met drie korte adviezen die meer als discussiepunt zijn geformuleerd: 1) vergroot sociale mobiliteit om ongelijke kansen in het onderwijs te verminderen, 2) verleng het vaderschapsverlof - ook al is dat niet lang geleden al uitgebreid naar 5 dagen, Nederland loopt hiermee ver achter op veel andere landen, 3) verkort de zomervakantie (om de 'zomerdip' die met name kinderen uit achterstandsgezinnen treft in te dammen).

Wat kunnen we concluderen? De Nationale Denktank heeft duidelijk haar best gedaan. Er is gepraat met allerlei deskundigen en er is goed geluisterd. De voorgestelde oplossingen zijn creatief, concreet en de gestelde doelen zijn bescheiden en (daardoor) grotendeels haalbaar. De voorgestelde oplossingen zijn misschien soms wat betuttelend (Baby Wijzer), onderwijskundig te 'makkelijk' (FlipFilm) of idealistisch (Make & Meet Challenge), maar ze zijn niet onhaalbaar of controversieel. Het platform Onderwijs2032 werd overladen met kritiek om enkele van haar voorstellen, daarvan is nu geen sprake. Integendeel, met name de suggesties over de lerarenopleidingen en schoolbesturen werden met veel instemming ontvangen. De kritische noten die ik her en der heb geplaatst gaan vooral over de uitwerking van de verschillende oplossingen, maar dat hoeft de bij elke oplossing betrokken partijen er zeker niet van te weerhouden er enthousiast mee aan de slag te gaan.

donderdag 1 oktober 2015

Het platform onderwijs 2032: hun eerste advies


Education is the passport to the future, for tomorrow belongs to those who prepare for it today.
Malcolm X.


Vandaag publiceerde het Platform Onderwijs2032 haar eerste concrete advies, of in ieder geval een voorstel tot een advies. De taak van het platform is zich te buigen over de toekomst van het Nederlandse onderwijs. Het jaar 2032 begint pas over 17 jaar, dus het is natuurlijk aardig om te horen wat er in de glazen bol (die het platform angstvallig verborgen houdt) te zien is. In een document van 10 pagina’s wordt dat duidelijk gemaakt. Eerlijk gezegd, het viel me wat tegen. Het onderwijs in 2032 is hetzelfde onderwijs als nu, maar met wat lichte accentverschuivingen. Er is dan ook weinig om boos, blij, verdrietig of teleurgesteld over te zijn. Twee voorstellen die het platform doet springen eruit: ten eerste het voorstel om kinderen vanaf groep 1 Engels te laten leren en ten tweede het schrappen van historische en natuurwetenschappelijke feitenkennis. Daar kun je van alles van vinden, maar opmerkelijk genoeg zijn de argumenten die het platform zelf geeft vrij summier.
    Neem Engels. Dat is een wereldtaal, ‘onmisbaar om toegang te krijgen tot de wereld’, maar zou het dat in 2032 ook nog zijn? Daarbij: Nederlanders hebben op het gebied van talenkennis een uitstekende reputatie in de wereld. Toeristen verbazen zich over het gemak waarmee Nederlanders hen in het Engels benaderen. Voor welk probleem is Engels vanaf groep 1 een oplossing? Als je al meer specifieke aandacht aan een taal zou willen besteden, dan zou ik zelf eerder denken aan Nederlands of aan Duits. Duitsland is met afstand onze belangrijkste handelspartner, en daarom had ik een 2032-visie op Duits veel interessanter (of spannender) gevonden dan wat er nu voorgesteld wordt. Ik ben wel benieuwd hoe er in de media gereageerd zou zijn als het platform voor meer aandacht voor ‘zwarte talen’ gepleit had, zoals Orhan Agirdag onlangs deed in de Volkskrant.
Het platform pleit voor het vaststellen van wat kinderen wel en niet op school moeten leren. Wat belangrijk is volgens het platform is ‘cultuurdragende’ kennis, maar ook kennis die voor de toekomst van belang wordt geacht: de kennis van 2042 dus. Het gevolg daarvan is volgens het platform dat ‘onderdelen kunnen worden geschrapt die in de huidige leermethodes vanzelf spreken’: topografische, historische, en natuurwetenschappelijke feitenkennis. Een dergelijke relativistische visie op kennis herken ik wel (in de onderwijskunde is dat een vorm van constructivisme), maar de redeneerlijn van het platform kan ik simpelweg niet volgen.
Jan Ligthart
 Er zijn meer onderwerpen die aan bod komen. Het platform pleit voor les in digitale vaardigheden en schetst daarmee een wel heel pessimistisch beeld van digitale technologie in 2032. Het platform pleit verder onder de noemer ‘vaardig, waardig en aardig’ voor onderwijs in thema’s. Het gaat om thema’s in drie domeinen. Waarom specifiek die drie (bijvoorbeeld ‘mens & maatschappij’) is onduidelijk. Het moet leiden tot onderwijs dat uitgaat van het vinden van ‘creatieve oplossingen voor bepaalde vraagstukken’. Dat zou leerlingen motiveren, gegeven dat leraren hen afdoende prikkelen. Het gaat om leren met het hoofd maar ook met de handen, een stelling die Jan Ligthart honderd jaar geleden ook uitdroeg en Johann Pestalozzi nog eens honderd jaar daarvoor.
    Daarmee haal ik een punt aan dat ik in het adviesrapport wat teleurstellend vindt: het platform toont nergens enig historisch besef of enige reflectie op voorgestelde onderwijsvernieuwingen door de eeuwen heen. Wat we zien langskomen is Jacques Rousseau, Herbert Spencer, Jan Ligthart, Helen Parkhurst en nog vele anderen. Het platform beweert zich op wetenschappelijke inzichten te baseren, maar nergens komt dat overtuigend naar voren. Integendeel: het platform lijkt haar advies vooral te zien als een uitnodiging tot verdere discussie, niet als een op wetenschap gebaseerd antwoord op de uitdagingen waarvoor het onderwijs zich nu en in de toekomst gesteld ziet.
Wat leren we hiervan? Voorspellen is moeilijk, en de visie die het platform tentoonspreidt lijkt vooral meer Onderwijs2015 dan Onderwijs2032 te zijn. Het is prijzenswaardig dat, hoe behoedzaam ook, concrete veranderingen in het onderwijs worden voorgesteld, maar het zou het platform sieren als zij daarbij een duidelijker besef van de onderwijshistorie zou tonen en wat meer wetenschappelijk tewerk zou gaan.


vrijdag 7 augustus 2015

Rapportcijfers geven, werkt dat?

"I am often amazed at how much more capability and enthousiasm for science there is among elementary school youngsters than among college students" - Carl Sagan
Over niet al te lange tijd beginnen de eerste leerlingen en hun leraren weer aan een nieuw schooljaar. De eerste toetsen worden dan ook weer snel afgenomen. De toetscijfers die dat zal opleveren, zullen worden gebruikt bij de eerste rapporten die na enkele maanden opgesteld zullen worden. Maar wat doen rapportcijfers eigenlijk met de emoties en de betrokkenheid van leerlingen? Een recent uitgevoerd, Nederlands onderzoek probeert deze vraag te beantwoorden.
Rapportcijfers ontvangen is onlosmakelijk verbonden met het onderwijs. Ze vertellen leerlingen en ouders iets over de vorderingen die er in de voorgaande periode gemaakt zijn en hoe de leerling gepresteerd heeft. Het ontvangen van rapportcijfers gaat meestal gepaard met emoties: soms positief, soms negatief. Veel leerlingen maken gelukkig mee dat ze een mooi rapport met mooie cijfers ontvangen. Trots en complimenten vallen hen dan ten deel. Maar wie een rapport met minder mooie cijfers ontvangt, houdt daar vaak negatieve gevoelens aan over. 



De gevoelens die rapportcijfers opwekken, positief dan wel negatief, hebben vervolgens waarschijnlijk invloed op de betrokkenheid van leerlingen bij school. Wie een rapport met mooie cijfers ontvangt, ervaart dit waarschijnlijk als positief en dit zal mogelijk de betrokkenheid bij school verder vergroten. Wie daarentegen een rapport met tegenvallende cijfers krijgt, ervaart dit waarschijnlijk negatief en dit gaat mogelijk ten koste van de betrokkenheid bij school.

Recentelijk publiceerden Astrid Poorthuis, Jaana Tuvonen, Sander Thomaes, Jaap Denissen, Bram Orobio de Castro en Marcel van Aken over de relatie tussen rapportcijfers, emoties en betrokkenheid bij school in het tijdschrift Journal of Educational Psychology. Ze deden een longitudinaal onderzoek onder 438 brugklasleerlingen uit 19 klassen van drie middelbare scholen.


Het onderzoek kende drie meetmomenten. Op het eerste meetmoment, enkele weken na het begin van het schooljaar, maten de onderzoekers de emotionele en gedragsmatige betrokkenheid bij school van leerlingen. Op het tweede meetmoment verzamelden de onderzoekers de rapportcijfers van de leerlingen (eind november, begin december) en maten zij de affectieve, emotionele reacties van de leerlingen op de rapportcijfers die zij ontvingen. Op het derde moment maten de onderzoekers weer de emotionele betrokkenheid bij school van de leerlingen.

Een aantal interessante bevindingen van het onderzoek zijn:
  1. Dalende betrokkenheid: Gedurende hun brugklas jaar daalde de emotionele en gedragsmatige betrokkenheid bij school van de deelnemende leerlingen. Deze daling is voor emotionele betrokkenheid sterker voor jongens dan voor meisjes.
  2. Rapportcijfers voorspellen betrokkenheid: Leerlingen die hogere rapportcijfers halen op meetmoment twee ervaren ook hogere emotionele en gedragsmatige betrokkenheid op meetmoment drie.
  3. Emotionele reacties mediëren de relatie tussen rapportcijfers en betrokkenheid: Leerlingen die hogere rapportcijfers halen, ervaren meer positieve emoties naar aanleiding van hun rapport; deze positieve emoties voorspellen op hun beurt de emotionele en gedragsmatige betrokkenheid van leerlingen. Daarnaast ervaren leerlingen die hogere rapportcijfers halen minder negatieve emoties naar aanleiding van hun rapport; de leerlingen die minder negatieve emoties ervaren, rapporteren vervolgens hogere emotionele betrokkenheid bij school, maar geen hogere gedragsmatige betrokkenheid.
  4. Perceptie van de prestaties van klasgenoten doet ertoe: Het indirecte effect van rapportcijfers, via negatieve emoties, op emotionele betrokkenheid bij school is sterker wanneer leerlingen inschatten dat hun klasgenoten goede rapportcijfers halen. Er is dan sprake van een hoge performance norm (zie de bovenstaande Figuur). Dit betekent dat leerlingen die lage rapportcijfers krijgen en die vermoeden dat hun klasgenoten wel hoge cijfers krijgen, kwetsbaar zijn voor een neerwaartse spiraal van negatieve emoties en lagere emotionele betrokkenheid.
  5. Sekseverschillen: Meisjes haalden hogere rapportcijfers dan jongens. Meisjes ervoeren minder negatieve emotionele reacties naar aanleiding van hun rapportcijfers. Het indirecte effect van rapportcijfers, via negatieve emoties, op emotionele betrokkenheid is sterker voor jongens. Jongens reageren dus sterker op slechte cijfers dan meisjes. Ook jongens zijn dus kwetsbaar voor de negatieve spiraal van negatieve emoties en lagere betrokkenheid naar aanleiding van slechtere rapportcijfers.

Betekent dit alles nu dat scholen moeten stoppen met het geven van toets- en rapportcijfers? Nee, dat niet. Zoals als Poorthuis et al. opmerken: "Grades can provide vital information to teachers, students, and parents and can be used to enhance both teaching and learning"

Poorthuis et al. willen vooral docenten, voor zo ver zij dat niet zijn, opmerkzaam maken op de mogelijk negatieve gevolgen van het ontvangen van slechte cijfers. Daarnaast bevelen zij aan dat docenten proberen de negatieve gevolgen van slechte cijfers voor leerlingen te reduceren. Als suggestie sluiten Poorthuis et al. af met: "negative effects of grades may be prevented when teachers convey the message to their low-performing students that their difficulties are likely to be temporary and that when they exert more effort and use the right strategies they will be able to perform better".

Poorthuis, A. M. G., Juvonen, J., Thomaes, S., Denissen, J. J. A., Orobio de Castro, B., & van Aken, M. A. G. (2014, October 27). Do Grades Shape Students’ School Engagement? The Psychological Consequences of Report Card Grades at the Beginning of Secondary School. Journal of Educational Psychology. Advance online publication. http://dx.doi.org/10.1037/edu0000002

woensdag 1 juli 2015

Interview met nieuwe hoogleraar Tamara van Gog

Sinds 1 april dit jaar is Tamara van Gog hoogleraar Onderwijswetenschappen aan de Universiteit Utrecht. Een studente Onderwijskunde interviewde haar en doet voor dit blog verslag.

Wat fijn dat u tijd vrij wilde maken voor dit interview! De eerste vraag die ik wil stellen, ligt wat voor de hand, maar ik ben toch benieuwd naar uw antwoord. Kunt u kort iets vertellen over uzelf, uw eerder opgedane werkervaring en de onderwerpen waar u onderzoek naar heeft gedaan en doet?

“Natuurlijk! Ik heb Onderwijspsychologie gestudeerd aan de Universiteit van Tilburg. Daarna ben ik gepromoveerd aan de Open Universiteit (OU). In mijn promotieonderzoek onderzocht ik instructieontwerp en dan met name het verschil tussen leren aan de hand van verschillende typen uitgewerkte voorbeelden – ook wel worked examples genoemd – die tonen hoe je een leertaak uitvoert, en leren door zelf te oefenen met die taak. Vervolgens ben ik aan de OU blijven werken als universitair docent, met een korte onderbreking van acht maanden waarin ik werkzaam ben geweest als gastonderzoeker aan het Knowledge Media Research Center in Tübingen (Duitsland). Na mijn tijd aan de OU heb ik vijfenhalf jaar met veel plezier gewerkt bij het Instituut voor Psychologie van de Erasmus Universiteit Rotterdam. En nu ben ik hoogleraar in Utrecht.


Mijn onderzoek was en is vooral gericht op instructieontwerp. Dit onderzoeksonderwerp heeft grote raakvlakken met de toegepaste cognitieve psychologie, omdat ook vragen als ‘Hoe werken de hersenen?’ en ‘Hoe kunnen we in instructie rekening houden met de beperkingen van het werkgeheugen?’ aan bod komen. Ik doe veel onderzoek naar multimedia leren en zelfgestuurd leren met die verschillende media.”

Ik heb me laten vertellen dat het blog gelezen wordt door een zeer diverse groep lezers, waaronder studenten, alumni, collega-onderzoekers, medewerkers van de afdeling Educatie en mensen die geïnteresseerd zijn in onderwijs. Ik zou elk van deze vijf lezersgroepen in dit interview aan het woord willen laten komen, en dus volgt voor elke groep een vraag die bij hen zou kunnen leven.

Ik wil graag beginnen met de lezersgroep die ik zojuist als laatste noemde: alle bloglezers die zelf niet direct bij de studie Onderwijskunde betrokken zijn of waren, maar wel geïnteresseerd zijn in onderwijs. Bijna vijftien jaar geleden, in augustus 2001, ontving u uw diploma van de master Ontwikkelings- en Onderwijspsychologie aan de Universiteit van Tilburg. Wat is uws inziens de belangrijkste verandering die sindsdien heeft plaatsgevonden in het Nederlandse onderwijs? 

“Poeh, dat is een moeilijke vraag! Ik denk dat een belangrijke ontwikkeling die sinds 2001 heeft plaatsgehad, de inzet van ICT in het onderwijs is. Scholen zijn tegenwoordig veel beter uitgerust met bijvoorbeeld computers, laptops en digiborden dan eerder het geval was. In dat opzicht is er een flinke slag gemaakt. Ik zie echter wel dat veel docenten nog op zoek zijn naar manieren om ICT op een zinvolle manier in te zetten. Neem bijvoorbeeld instructiefilmpjes. In sommige van die filmpjes is alleen het schoolbord of de hand van de leerkracht in beeld, terwijl in andere de gehele leraar zichtbaar is. Maar ook binnen die laatste categorie bestaan weer verschillen. Zo zijn er filmpjes waarin de docent recht in de camera kijkt, en filmpjes waarin dat niet het geval is. Het is niet moeilijker of duurder om het ene of het andere instructiefilmpje te maken, maar er zijn mogelijk wel verschillen in effectiviteit. Veel vragen over effectiviteit en motivationele effecten zijn echter nog onbeantwoord, dus op dit gebied is nog veel werk te verzetten.”

Dan een vraag namens de medewerkers van de afdeling Educatie. Ik neem aan dat zij u wel van gezicht en bij naam kennen, maar nog weinig weten over uw professionele ontwikkeling. Daarom zou ik daar een vraag over willen stellen. Uw allereerste publicatie is uit het jaar 2004. Toen schreef u samen met Fred Paas en Jeroen van Merriënboer een artikel met de titel Process-oriented worked examples – Improving transfer performance through enhanced understanding. In welk opzicht zijn uw interesses sindsdien veranderd?

“De onderwerpen die ik onderzoek, zijn nauwelijks veranderd. Wel zijn er veel bijgekomen! Ik zal twee voorbeelden noemen.

Ook na mijn promotie ben ik onderzoek blijven doen naar uitgewerkte voorbeelden. Tijdens mijn promotieonderzoek was de vraag of deze voorbeelden niet effectiever zouden zijn wanneer niet alleen de te zetten stappen zouden worden opgesomd, maar ook het achterliggende denkproces zou worden uitgelegd. Experts hebben dat denkproces echter geautomatiseerd en hebben er vaak moeite mee om aan een leerling die geen voorkennis heeft, uit te leggen wat nu precies de gedachtegang achter de verschillende stappen is bij het uitvoeren van een taak. (Dat geldt overigens tevens voor sommige leerkrachten: ook zij zijn inhoudelijk expert, hoewel ze over meer didactische kennis beschikken.) Ik ben toen gaan onderzoeken of het terugzien van opnamen van hun oogbewegingen (eye tracking) tijdens het oplossen van een probleem, experts helpt om hun denkproces te beschrijven. Nog steeds doe ik veel onderzoek met eye tracking. Hoewel het destijds nog ‘slechts’ een middel was om denkprocessen te onderzoeken om betere instructie te kunnen ontwerpen, onderzoeken mijn collega’s en ik nu ook het directe gebruik van eye tracking in instructie. Het gaat dan bijvoorbeeld om instructie door middel van uitgewerkte voorbeelden waarin niet alleen te zien is wat een expert doet, maar ook waar hij of zij naar kijkt.


Een ander onderwerp waar ik mij pas later in mijn academische carrière mee bezig ben gaan houden, is kritisch denken en het (verbeteren van het) klinisch redeneren van medici. Zo onderzoek ik de redeneerlijnen van artsen die al dan niet in opleiding zijn, de fouten die daarin kunnen ontstaan en de manieren waarop die fouten geremedieerd kunnen worden door middel van instructie en reflectie.”

U bent erg succesvol in het verwerven van persoonlijke subsidies. Zo kon u werkzaam zijn als gastonderzoeker in Duitsland dankzij een NWO Rubicon subsidie en ontving u in 2008 de Veni en in 2012 de Vidi Grant. Ik kan me voorstellen dat uw collega-onderzoekers ook graag zulke subsidies zouden willen verwerven. Heeft u tips voor hen?

“Allereerst zou ik hen aanraden om zich te oriënteren op de ondersteuning die er binnen de Universiteit Utrecht geboden wordt aan onderzoekers die willen proberen om hun onderzoeksvoorstellen gefinancierd te krijgen. Zo is er bijvoorbeeld een mooie fact sheet met daarop vele do’s en don’t’s verkrijgbaar. Ook zou ik hen adviseren om te rade te gaan bij onderzoekers die in het verleden een beurs ontvangen hebben – juist ook bij onderzoekers buiten hun eigen vakgebied – en te vragen of ze hun aanvraag mogen bekijken. In een onderzoeksvoorstel is het namelijk erg belangrijk dat je een evenwicht weet te vinden tussen diepgang enerzijds en toegankelijkheid anderzijds. Het kan dan helpen om naast voorstellen uit je eigen vakgebied ook eens een goedgekeurd onderzoeksvoorstel van bijvoorbeeld een antropoloog te bestuderen, omdat je dan goed kunt letten op de vorm, de structuur en de manier van schrijven en minder gericht bent op de inhoud. Die zegt jou immers niet zoveel. Verder zou ik de tip willen geven om op tijd te beginnen. Ik vind het zelf erg prettig wanneer je – nadat je tevreden bent over de inhoud van je onderzoeksvoorstel – nog een maand de tijd hebt om die toegankelijk te verwoorden. Ten slotte zou ik mijn collega-onderzoekers willen aanraden om hun voorstellen vooral in te dienen, ook wanneer de kans klein is dat deze gefinancierd worden. Je kunt namelijk alleen succesvol worden door ook  heel vaak te falen!”

Verder een vraag namens alle alumni die het blog lezen. Ik vermoed dat de meesten van hen geen onderzoek doen, maar werkzaam zijn als onderwijskundig adviseur of onderwijskundig ontwerper en zich daarom nauwelijks iets kunnen voorstellen bij de dagelijkse werkzaamheden van een hoogleraar. Voor hen de vraag: hoe ziet uw gemiddelde werkdag eruit?

“Tsjonge, dat is een lastige vraag. Het werk van een hoogleraar is namelijk heel afwisselend, maar juist die variatie maakt het zo leuk! Ik kan wel een opsomming geven van de verschillende werkzaamheden waar ik me mee bezighoud. Ik doe onderzoek (dankzij de Vidi Grant heb ik daar meer tijd voor dan de gemiddelde hoogleraar), begeleid momenteel tien promovendi en één postdoc, schrijf onderzoeksvoorstellen, geef onderwijs, zit in verschillende landelijke commissies en programmaraden op het gebied van onderwijs(onderzoek), deel mijn onderzoeksbevindingen door middel van lezingen voor zowel collega-wetenschappers als mensen die werkzaam zijn in de onderwijspraktijk, opponeer in promotiecommissies en bezoek conferenties en congressen. Wat het geven van onderwijs betreft: vanaf september zal ik daar meer tijd aan gaan besteden dan nu het geval is. Ik zal dan voornamelijk in de research master doceren en waarschijnlijk ook enkele onderdelen van vakken in de bachelor en academische master voor mijn rekening nemen. Doceren binnen het Utrechtse onderwijssysteem zal voor mij overigens nog een vrij nieuwe ervaring zijn. Aan de Open Universiteit en de Erasmus Universiteit werken ze namelijk met afstandsonderwijs respectievelijk probleemgestuurd onderwijs, en dat gaat toch net even iets anders!”

Ten slotte een vraag namens de lezersgroep waar ik zelf toe behoor: de studenten. Hiervoor hebt u beschreven welke werkzaamheden u als hoogleraar vervult, waaronder het geven van onderwijs. Studenten die de studie Onderwijskunde volgen, zullen dus waarschijnlijk nog les van u krijgen. Maar wat gaat uw hoogleraarschap verder voor hen betekenen?

“Ik zal mijn expertise gaan inbrengen in het onderwijsprogramma. Heel concreet betekent dit dat de inhoud van sommige vakken mogelijk iets zal wijzigen en dat er stage- en scriptieopties zullen worden aangeboden die in lijn zijn met mijn onderzoek. Een tweede ontwikkeling waaraan ik vanuit mijn expertise kan bijdragen, is dat er in het onderwijsprogramma meer ruimte komt voor E-learning. De universiteit wil daar meer op inzetten én we hebben verschillende onderzoekers in huis die onderzoek doen naar dat onderwerp, bijvoorbeeld universitair hoofddocent Onderwijskunde Jeroen Janssen en hoogleraar Onderwijswetenschappen Liesbeth Kester. Daarom is het niet onwaarschijnlijk dat E-learning in de nabije toekomst een belangrijkere rol gaat spelen in de opleiding Onderwijskunde.”

Hartelijk bedankt voor uw antwoorden! Ik vond het erg leuk om met u kennis te maken en hoop dat u zich – voor zover dat nog niet het geval is – helemaal thuis zult gaan voelen aan de Universiteit Utrecht.

Nieuwsgierig geworden? Meer informatie over Tamara van Gog en haar onderzoek is te vinden via de volgende link: http://www.uu.nl/medewerkers/TAJMvanGog

woensdag 8 april 2015

Mindfulness trainen op school: werkt dat?

Teach us to care and not to care
Teach us to sit still.
T.S. Eliot - Ash-Wednesday (1930)

En het is zo stil in mij 
Ik heb nergens woorden voor
Het is zo stil in mij 
En de wereld draait maar door.
Van Dik Hout - Stil in mij

Tout le malheur des hommes vient d'une seule chose, qui est de ne savoir pas demeurer en repos dans une chambre.
Blaise Pascal

Wat zal staatssecretaris Sander Dekker opgekeken hebben, de eerste keer dat hij een blik wierp in de digitale ideeënbus van het Onderwijs2032 platform. Hoog bovenaan een flink aantal lijstjes prijkte het verzoek tot het structureel invoeren van oefening in 'mindfulness' op school. Oefening hierin zou allerlei voordelen hebben voor het welbevinden van kinderen en ook bijdragen aan schoolprestaties. Een stukje rust in de hectiek van alledag (in een steeds ingewikkeldere en vluchtigere maatschappij) is misschien ook geen overbodige luxe. Mindfulness is dan ook hot. Op internet wemelt het van de kleine bedrijfjes die trainingen en workshops verzorgen. Het gaat dan meestal om zo'n 8 tot 10 sessies van anderhalf uur. Het ligt voor de hand dat er aardig wat geld in deze sector omgaat. Naast mindfulness voor leerlingen bestaan er ook trainingen mindfulness voor leerkrachten, zodat zij zelf leren om de boodschap door te geven. Rond het begrip hangt dus een vrij positieve vibe. Tegelijk zijn er zoals wel vaker het geval is mensen die het begrip veel te zweverig vinden en die twijfels hebben bij de effectiviteit van oefening in mindfulness op cognitief en sociaal welbevinden. Wie op zoek gaat naar wetenschappelijk onderzoek naar mindfulness belandt in een vrijwel ondoordringbaar bos vol studies en studietjes. Probeer daar maar eens wijs uit te worden. Gelukkig kwam ik een studie tegen uit 2014 waarin onderzoekers van de Europa-Universiteit Viadrina in Frankfurt geprobeerd hebben om al het onderzoek naar mindfulness op school samen te nemen en te analyseren: een meta-analyse. De studie brengt een aantal interessante aspecten en problemen aan het licht en is daarom de moeite waard om te bespreken (het hele artikel is overigens gratis beschikbaar).

Een belangrijke vraag is: wat ís mindfulness? Een hanteerbare definitie is die van Jon Kabat-Zinn: het psychologische vermogen om moedwillig ervaringen van het moment te ondergaan, zonder over die ervaringen te oordelen maar daarentegen open te staan voor en die ervaring en een gevoel van nieuwsgierigheid op te wekken. Er is een duidelijke relatie tussen mindfulness en meditatie en yoga. Het doel is in alle gevallen hetzelfde: door ontspanning oefenen om lichaam en geest te focussen en niet afgeleid te raken. De technieken worden in allerlei variaties al jaren toegepast in een klinische setting, bijvoorbeeld als onderdeel van een behandeling bij een depressieve stoornis. De ervaringen daarmee zijn redelijk positief. De vraag is of stressreductie en meer welbevinden ook in niet-klinische settings voordeel hebben, zoals in het onderwijs. Aangezien concentratie en aandacht ook belangrijke voorwaarden voor leren zijn, is de link tussen mindfulness en onderwijs vrij makkelijk te leggen. Zoals de onderzoekers het zelf formuleren: "Mindfulness can be understood as the foundation and basic pre-condition for education." Zij zien mindfulness als het tegenovergestelde van dagdromen, een proces waarbij op allerlei foute plekken in de hersenen activiteit te zien is. Hier hebben de onderzoekers zeker een punt, te veel 'malen' is niet zo goed voor ons, zo blijkt uit onderzoek. Toch komt al snel in het artikel een beetje nare aap uit de mouw: de onderzoekers zijn niet geheel onbevooroordeeld: zij lijken erg graag te willen aantonen dat mindfulnesstraining effectief is. Daarvoor moeten zij zich wel in een aantal bochten wringen. Wel melden ze dat het enthousiasme over mindfulness op dit moment groter is als het bewijs voor de effectiviteit ervan. Maar: effectiviteit meten is moeilijk want trainingsprogramma's blijken nogal uiteenlopend te zijn. Er wordt heel wat aangemodderd, lijkt het. Ook het wetenschappelijke gehalte van veel onderzoek naar mindfulness laat te wensen over. Dat heeft tot gevolg dat een uitgebreide zoektocht naar literatuur 207 studies oplevert, waarvan na het toepassen van enkele criteria (bijvoorbeeld: vind het onderzoek plaats in een school, en is er ook een uitkomst gemeten) 24 studies overblijven (waarvan slechts 13 'peer reviewed'): bijna 90 procent van de gevonden onderzoeken voldeed dus niet aan de minimumeisen voor een meta-analyse. Alleen al dat gegeven verhoogt de kans op een vertekend beeld: zijn de overgebleven studies wel representatief?

Eigenschappen van mindfulnesstrainingen, links het aantal studies (max. 24), rechts percentage.
Ook van de gekozen studies loopt de kwaliteit uiteen. Het mag dan wel een 'randomized controlled trial' zijn, er zit een onderzoek tussen met maar 12 leerlingen (7 in de mindfulnessconditie, 5 in de controlegroep die op een wachtlijst stond). Wat opvalt is dat de mindfulnesstrainingen behoorlijk van elkaar verschillen (zie de tabel hierboven). Thuisoefeningen, yoga, groepsdiscussies: het behoort allemaal tot de mogelijkheden maar is zeker niet noodzakelijk. Dat is wel problematisch als je de verschillende studies op een hoop gooit. Andere problemen met de geanalyseerde onderzoeken zijn dat veel context (achtergrond van de leerlingen, gegevens over scholen) ontbreken en dat de onderzoekers in hun studies ook als mindfulnesstrainers optreden: wie wil rapporteren over een zelf-ontworpen training als die training niet effectief is?

Om vast te stellen of mindfulnesstraining in de onderzochte studies in het algemeen een positief effect heeft berekenden de onderzoekers een 'weighted mean effect size' (g). De uitkomst? g = 0,41 (betrouwbaarheidsinterval van 95% loopt van 0,28 tot 0,54). Dat is geen onaardige uitkomst, formeel te interpreteren als 'klein tot middelmatig'. Ter vergelijking: de effectwaarden die John Hattie presenteert in zijn bekende onderwijsonderzoekoverzichtswerk Visible Learning neemt hij pas serieus vanaf de waarde 0,4 (het 'scharnierpunt'). In die zin zou mindfulnesstraining van Hattie dus 'groen licht' krijgen. Reden voor een hosanna? Helaas, er blijken flinke methodologische bezwaren te kleven aan de onderzochte studies. Dat komt duidelijk naar voren als de effectgrootte van elk van de 24 studies wordt afgezet tegen het aantal kinderen dat deelnam aan die studie. De 'trechterplot' die dat oplevert staat hieronder.

Trechterplot: voor 24 studies effectgrootte tegenover aantal proefpersonen

Wat de trechterplot duidelijk laat zien is dat het merendeel van de onderzochte studies een effectgrootte had die onder het gemiddelde lag (oftewel: de verdeling is scheef). Dat de algemene effectgrootte toch op 0,4 uitkomt wordt bepaald door een paar studies die een flinke effectgrootte lieten zien. Het kenmerk van die studies: het aantal proefpersonen was heel laag, waardoor juist die studies veel minder betrouwbaar zijn dan de andere studies. Als de schroeven wat strakker worden gedraaid en alleen de 12 studies met meer dan 41 proefpersonen worden bekeken zakt de algemene effectwaarde naar 0,31 (betrouwbaarheidsinterval van 95% loopt van 0,18 tot 0,44): een zeer matig effect op zijn best!

Het Frankfurtse onderzoeksteam blijft optimistisch: mindfulnesstraining lijkt een gematigd positief effect te hebben, met name als het gaat om cognitieve prestaties. Een bijkomende bevinding is dat de variatie in onderzoeksuitkomsten voornamelijk voortkomt uit verschil in de tijd die aan de training wordt besteed: hoe meer minuten oefening, hoe hoger de effectgrootte. Mindfulness is duidelijk niet een vaardigheid die leerlingen na een korte instructie beheersen. Al met al is de conclusie dat meer en vooral beter onderzoek nodig is. Ik zou daaraan willen toevoegen dat het ook de moeite waard kan zijn om verschillende vormen van mindfulnesstraining tegen elkaar af te zetten, want ik vraag me bijvoorbeeld af of in hoeverre er bij de verschillende yoga- en meditatietechnieken geen sprake is van een placebo-effect. Misschien hebben kinderen vooral oefening nodig in niet telkens afgeleid worden door onze almaar interessanter wordende wereld.



Literatuur
Zenner, C., Herrnleben-Kurz, S., & Walach, H. (2014). Mindfulness-based interventions in schools - a systematic review and meta-analysis. Frontiers in Psychology, 5, 1-20. doi:10.3389/fpsyg.2014.00603

woensdag 4 maart 2015

Onderzoek: Onderwijs laten aansluiten bij leerstijlen van leerlingen niet effectief

Het lijkt zo'n open deur: Wanneer je je manier van onderwijsgeven laat aansluiten op de leerstijl van een leerling (bv. visuele of auditieve leerstijl), dan zal deze leerling beter presteren. Een onderzoek van Dekker, Lee, Howard-Jones en Jolles liet in 2012 zien dat het overgrote deel van de Nederlandse en Britse leerkrachten die zij ondervroegen, ervan overtuigd is dat dit klopt. Pashler, McDaniel, Rohrer en Bjork (2008) noemen dit de meshing hypothesis. "Meshing" kan in dit verband vertaald worden met "harmoniëren" of "samengaan". Wanneer er sprake is van harmonie tussen de leerstijl van de leerling en de manier waarop het onderwijs wordt aangeboden, dan zal dit tot betere leerprestaties leiden dan wanneer de leerstijl van de leerling en de manier waarop het onderwijs wordt aangeboden niet samengaan, voorspelt de meshing hypothesis.

De vraag is natuurlijk of deze hypothese klopt. Pashler et al. (2008) concludeerden in hun review dat er weinig tot geen wetenschappelijk bewijs voor de ondersteuning van deze meshing hypothesis is. Daarnaast waren ze erg kritisch op de kwaliteit van het wetenschappelijk onderzoek naar leerstijlen. Daarom beschrijven ze in hun review een gedetailleerd stappenplan dat onderzoekers kunnen volgen om de houdbaarheid meshing hypothesis te onderzoeken. In het meest recente nummer van het tijdschrift Journal of Educational Psychology beschrijven Rogowsky, Calhoun en Tallal (2015) een onderzoek dat zich aan deze stappen houdt.

Deze stappen zijn:

  1. Van de deelnemers aan het onderzoek wordt vastgesteld wat hun leerstijl is. In het geval van het onderzoek van Rogowsky werd onderscheid gemaakt tussen proefpersonen met een auditieve of visuele leerstijl.
  2. Deelnemers van elke groep moeten random worden ingedeeld groepen zodanig dat de helft van deelnemers onderwijs krijgt dat past bij zijn of haar leerstijl en de andere helft onderwijs krijgt dat niet past bij zijn of haar leerstijl. In het onderzoek van Rogowsky leerden de deelnemers door ofwel te luisteren naar een verhaal via een audioboek (dit past bij personen met een auditieve leerstijl) ofwel het verhaal te lezen op een e-reader (dit past bij personen met een visuele leerstijl).
  3. Alle deelnemers maken afsluitend dezelfde toets over de leerstof. In het onderzoek van Rogowsky betrof dit een toets over het verhaal dat de deelnemers zojuist gelezen of gehoord hadden.

Pashler et al. (2008) gaven in hun review daarnaast ook aan welk patroon in de data een ondersteuning vormt voor de meshing hypothesis. Je zou dan bijvoorbeeld moeten zien dat de deelnemers met een visuele leerstijl veel beter op de afsluitende toets scoren wanneer ze het verhaal lazen dan wanneer ze naar het verhaal luisterden. Bij de deelnemers met een auditieve leerstijl zoek je precies het tegenovergestelde scores: hoge scores bij luisteren en lagere scores bij lezen. Je bent dan op zoek naar een interactie-effect tussen leerstijl (auditief of visueel) en manier van leren (luisteren of lezen).

Een interactie-effect zoals hierboven vormt volgens Pashler et al. (2008) het enige acceptabele bewijs voor de Meshing hypothesis.

Het artikel van Rogowsky et al. (2015) volgt netjes de drie stappen die door Pashler et al. (2008) zijn beschreven. Dit onderzoek kan ons dus meer zekerheid geven over de houdbaarheid van de meshing hypothesis.

Wat kwam er dan uit? Leidde het aansluiten van de manier van leren op de leerstijl van de leerling nu tot betere prestaties op de afsluitende toets, zoals verondersteld door de meshing hypothesis?

Het antwoord hierop is heel duidelijk: nee. Het onderzoek werd uitgevoerd onder 121 hoogopgeleide deelnemers. De leerstijl van de deelnemers werd vastgesteld met de Building Excellence (BE) Online Learning Styles Assessment Inventory. Op basis van deze vragenlijst werden deelnemers geclassificeerd als deelnemers met een visuele of een verbale leerstijl. Vervolgens kregen ze de taak iets te leren over een roman van Laura Hillenbrand door een deel van het verhaal te lezen op een e-reader of door naar hetzelfde deel van het verhaal te luisteren als audioboek. Na afloop hiervan maakten alle deelnemers dezelfde meerkeuze toets over de inhoud van het verhaal. Deze toets maakten ze twee weken later nogmaals.

Deze figuur laat zien dat deelnemers met een visuele leerstijl (visual word) beter presteerden op de comprehension test dan de deelnemers met een auditieve leerstijl. Het is echter niet zo dat wanneer deelnemers met een auditieve of visuele leerstijl leren op een manier die past bij hun leerstijl, dat hun prestaties dan beter zijn dan wanneer ze leren op een manier die niet bij hun leerstijl past.
De auteurs vinden geen enkel bewijs dat het aansluiten van de onderwijsvorm (lezen of luisteren) bij de leerstijl van de deelnemers ertoe leidt dat zij beter presteren op de kennistoets. De vraag is uiteraard of bijvoorbeeld met een andere manier van het classificeren van leerstijlen (bv. met Kolbs Learning Style Inventory), een andere doelgroep (bv. leerlingen uit het basisonderwijs) of een andere leertaak hetzelfde gebrek aan ondersteuning voor de meshing hypothesis zou zijn gevonden. Vooralsnog is dit één van de weinige gedegen studies uitgevoerd naar het effect van het aansluiten van onderwijs op leerstijlen en laat deze studie overtuigend zien dat het optimisme dat nog altijd bestaat over het effect daarvan waarschijnlijk niet gerechtvaardigd is.

Rogowsky, B. A., Calhoun, B. M., & Tallal, P. (2015). Matching learning style to instructional method: Effects on comprehension. Journal of Educational Psychology, 107, 64-78.

zaterdag 7 februari 2015

Het beste onderwijsonderzoek van 2014

Op verzoek van het vakblad Didactief (koop dat blad!) schreef ik eind vorig jaar een artikel over het onderwijsonderzoek van 2014, en wat mij daarbij was opgevallen. Het stuk staat in het decembernummer. Omdat Didactief een laagdrempelige insteek heeft werd mijn manuscript enigszins 'vertaald' naar een tekst die voor de gemiddelde haastige leerkracht goed te behappen was. Hieronder staat de tekst zoals ik die zelf geschreven heb. Overigens: het onderzoek dat ik beschrijf is vast en zeker niet het 'beste' voor iedereen: het aanbod is zo groot dat een selectie noodzakelijk is en blijft. Als je zelf, op welke manier dan ook, tegen 'wow'-onderzoek aanloopt, laat het ons dan gerust weten: een weblog is niet alleen een manier om informatie te publiceren, maar evenzo een manier om erover te communiceren!

Het onderwijsonderzoek van 2014

Hypes komen, hypes gaan. Intussen draaide de wereld van het onderwijsonderzoek ook dit jaar weer rustig door. Net als voorgaande jaren is er veel, heel veel onderzoek gepubliceerd en het wordt nog altijd elk jaar meer. Het is allemaal niet bij te houden, maar gelukkig: u hoeft niet meer per se af te wachten tot Didactief op de mat valt. Het hele jaar door wordt er lustig geblogd, getweet en gefacebookt over nieuw en opmerkelijk onderzoek. Desondanks zijn de sociale media inmiddels ook zo dichtbevolkt dat ook daar wellicht de bomen het bos aan het zicht ontnemen. Aan mij is daarom gevraagd om het interessantste danwel meest relevante onderwijsonderzoek van 2014 toe te lichten. Dat is niet eenvoudig, alleen al om de reden dat onderzoeksresultaten vaak een tijdlang moeten ‘rijpen’: het kan jaren duren voordat onderzoek op haar juiste waarde wordt geschat (de omgekeerde weg bewandelen, van gewaardeerd naar afgeserveerd, is overigens ook mogelijk).  Het is dus onmogelijk om in deze brei aan te wijzen wat, samengevat, nu echt hét onderwijsonderzoek van 2014 is: die keuze is noodzakelijk subjectief. Ik heb me dan ook een beetje laten leiden door mijn eigen interesses, met name algemene trends op onderwijsgebied en de zaken waarvan ik vind dat het tijd wordt dat ze ontzenuwd worden. Maar ik heb ook hier en daar rondgevraagd, en zo ben ik tot mijn eindejaarslijstje gekomen. Het resultaat zal ik hier beknopt en in min of meer willekeurige volgorde bespreken.

MOOCs: de hype voorbij

Was 2014 het jaar van de MOOCs? Er werd in ieder geval weer heel veel over geschreven. Het aantal 'massive open online courses' groeit nog steeds maar gaandeweg lijkt de formule wat sleets te worden. En dat terwijl de revolutie in Nederland eigenlijk nog moet losbarsten, met universiteiten als die van Delft en Leiden als wegbereiders. Terwijl we in Nederland nog met de tenen het water bevoelen lijkt het zwembad intussen langzaam leeg te lopen. Welbeschouwd blijft inmiddels alleen de O van 'online' nog overeind staan. Zo massief en open zijn MOOCs niet. Een onderzoek van Anoush Margaryan en collega's ging in op de C, specifiek de instructiekwaliteiten van MOOCs. Een uitgebreide analyse van 76 verschillende MOOCs toonde: vorm wint het van functie. Alle MOOCs scoorden buitengewoon laag als het gaat om didactische uitgangspunten, zoals activeren van voorkennis en leerlingdifferentiatie. Slechts de presentatie van onderwijsmateriaal scoorde goed. Uit dit onderzoek komt duidelijk naar voren: het massieve open karakter hangt online onderwijs als een molensteen om de nek. Het is afwachten in welke richting deze op zichzelf heel interessante onderwijsvorm zal doorevolueren.

Speel je slim

2014 was het jaar waarin een flinke lijst vooraanstaande wetenschappers een open brief ondertekende die duidelijk maakte: zogenaamde 'brain games' zijn niet effectief. Er wordt goed verdiend aan spellen die erop gericht zijn je slimmer te maken (of 'mentaal fitter'). Ze werken niet2. Tegelijk wijzen de deskundigen op de noodzaak tot verder onderzoek hiernaar. Een mooi onderzoek hiernaar werd uitgevoerd door Valerie Shute en haar collega's. Shute deed qua onderzoeksmethode iets bijzonders, want ze vergeleek de populaire
brain game 'Lumosity' met het puzzelspel Portal 2. Proefpersonen speelden ruim 6 uur ofwel Lumosity ofwel Portal 2. Het onderzoeksartikel draagt de titel 'The power of play' en het waarom daarvan wordt snel duidelijk uit de resultaten. Het spelen van Lumosity had geen effect op cognitieve vaardigheden (zoals probleemoplossen) en niet-cognieve vaardigheden (zoals 'volharding'). Het spelen van Portal 2 had daarentegen flink positieve effecten op probleemoplossen, ruimtelijke vaardigheden, en volharding. Zet nu niet meteen leerlingen verplicht aan de puzzelspellen: de studie geeft een voorzichtig duwtje in een nieuwe richting. Verder onderzoek is nodig, maar duidelijk is: laat spellen die claimen je hersenen te trainen gerust links liggen en speel een extra potje Puzzle Quest.

Frusteren leidt tot leren

Moet je leerlingen geleidelijk met nieuwe leerstof in aanraking brengen, en dus alleen problemen geven die zij ook kunnen oplossen? Recent onderzoek laat zien dat het ook juist informatief voor leerlingen kan zijn om te werken met problemen die zij nog niét kunnen oplossen. Dat wordt 'productive failure' genoemd. In verschillende experimenten zijn varianten van 'de leerling op zichzelf aangewezen' versus ' de leerling wordt geholpen' met elkaar vergeleken. Telkens weer wordt gevonden dat het onder bepaalde omstandigheden nuttig kan zijn als leerlingen zich aan het begin van het leerproces bewust worden van de kennis en vaardigheden die zij nog missen. Hetzelfde geldt voor verwarring. In een onderzoek door Libl en Rummel ontvingen leerlingen expres tegenstrijdige informatie. In de gevallen waarin dat daadwerkelijk tot verwarring leidde bleek een positief leereffect op te treden.
Fouten maken en in de war raken zullen niet bij elke leerling het gewenste effect hebben, want ze kunnen tot veel frustratie leiden. Maar het dwingt wel om actief bezig te zijn met leermateriaal,  en geeft leerlingen inzicht in hun eigen tekortkomingen: een krachtig leermiddel. De vraag: “Wanneer wel, wanneer niet?” geeft daarbij veel ruimte voor verder onderzoek.

Weten wat de leerling weet 

Wat is nu echt een effectieve leermethode? Rijtjes stampen zeker niet, maar zogenaamde 'spaced repetion', het herhaald leren van hetzelfde materiaal over steeds langer wordende tijdsintervallen duidelijk wel (en dat weten we al jaren). Die methode wordt effecteif toegepast in verschillende opleidingen. Een recent onderzoek door Robert Lindsey en collega's liet zien dat de methode nog effectiever ingezet kan worden als wordt uitgegaan van de individuele leerling. De studie gebruikte geavanceerde technieken om via learning analytics om voor elke leerling afzonderlijk in te schatten welke herhalingsvragen voor die leerling effectief zouden zijn. De onderzoekers noemen dat een 'personalized review'. Het resultaat?  De
personalized review-methode leidde tot een stijging in de leerresultaten van maarliefst 16,5%  ten opzichte van standaardonderwijs, en een stijging van 10% ten opzichte van een spaced repetion-methode die gelijk was voor iedereen. De conclusie is dat het, ondanks mogelijke ethische bezwaren, de moeite loont om aandacht te besteden aan moderne analysemethodes die het mogelijk maken instructie aan te passen aan de individuele leerling. En dat is natuurlijk eigenlijk precies wat veel leerkrachten allang proberen te bewerkstelligen in hun eigen klas.

Eenentwintigste-eeuwse vaardigheden

Pablo Picasso
Leerling controle geven over hun eigen leerproces wordt tegenwoordig vaak gezien als essentieel om hen volwaardige eenentwintigste-eeuwse vaardigheden bij te brengen. Computers zijn uitermate geschikt om leerlingen die controle te geven. De vraag is dan: helpt dat hen ook om beter te leren? Matthew Burns en zijn collega's bekeken de resultaten van 18 studies die specifiek het effect van leerlingcontrole als onderwerp hadden. Hun antwoord is een eenduidig 'nee'. Of leerlingen controle wel of geen controle hebben over het tempo of de moeilijkheid van opdrachten blijkt helemaal geen effect op hun leren te hebben. In onderwijsland zien we maar al te vaak technologie als een panacee voor 'ouderwets' leren, maar de realiteit is weerbarstig. Zoals Picasso ooit zei over computers: “They are useless. They can only give you answers.”

Conclusie: de kracht van herhaling

Wat kunnen we verwachten in 2015? Reken er maar op dat onderzoekers zullen doorgaan met hun pogingen onze kennis over onderwijs uit te breiden. Het staat ook wel vast dat nieuwe hypes zullen opstaan en (waarschijnlijk) geruisloos weer uit het onderwijs verdwijnen. Nieuw is dat de in de psychologie ingezette trend van replicatieonderzoek – onderzoek waarbij een experiment wordt overgedaan om te checken of het gevonden resultaat nogmaals optreedt – ook onderwijsonderzoek zou kunnen bereiken. Een uitgebreide analyse door Matthew Makel en Jonathan Plucker van meer dan 160.000 artikelen afkomstig uit de 100 bekendste tijdschriften op het gebied van onderwijsonderzoek liet zien dat het percentage replicatieonderzoek een schamele 0,13 procent bedroeg. Tegenover elk replicatieonderzoek staan dus ruim 750 nieuwe onderzoeken: een wel erg scheve verhouding. Aangezien inmiddels wel duidelijk is dat  het effect van leerkracht, leermiddel en leermethode meestal bescheiden is kan het overdoen van onderzoek helemaal geen kwaad: kleine uitkomsten leiden soms al te makkelijk tot grote beweringen.
Al met al was 2014 een mooi jaar voor onderwijsonderzoek, en ook de vooruitzichten voor 2015 zijn uitstekend. Het belooft weer een interessant jaar te gaan worden. We houden u op de hoogte!

Verwijzingen


  • Braga, M., Paccagnella, M., & Pellizari, M. (2014). Evaluating students' evaluations of professors. Economics of Education Review, 41, 71-88. doi:10.1016/j.econedurev.2014.04.002
  • D'Mello, S. K., Lehman, B. Pekrun, R., & Graesser, A. C. (2014). Confusion Can be Beneficial For Learning. Learning & Instruction, 29(1), 153-170. doi:10.1016/j.learninstruc.2012.05.003
  • Karich, A. C., Burns, M. K., Maki, K. E. (2014). Updated meta-analysis of learner control within educational technology. Review of Educational Research, 84, 392-410. doi:10.3102/0034654314526064
  • Libl, K., & Rummel, N. (2014). Knowing what you don’t know makes failure productive. Learning and Instruction, 34, 74-85. doi:10.1016/j.learninstruc.2014.08.004
  • Lindsey, R.V., Shroyer, J.D., Pashler, H., & Mozer, M.C. (2014). Improving students' long-term knowledge retention through personalized review. Psychological Science, 25(3), 639-647. doi: 10.1177/0956797613504302 – zie ook http://xyofeinstein.wordpress.com/2014/01/22/woord-van-de-dag-leren-via-personalised-review-om-beter-te-onthouden/
  • Makel, M.C., & Plucker, J.A. (2014). Facts are more important than novelty: Replication in the educational sciences. Educational Researcher, 43(6), 304-316. doi:10.3102/0013189X1545513
  • Margaryan, A., Bianco, M., & Littlejohn, A. (2015). Instructional quality of Massive Open Online Courses (MOOCs). Computers & Education, 80, 77-83. doi:10.106/j.compedu.2014.08.005
  • Shute, V. J., Ventura, M., & Ke, F. (2015). The power of play: The effects of Portal 2 and Lumosity on cognitive and noncognitive skills. Computers & Education, 80, 58-67. doi:10.1016/j.compedu.2014.08.013