donderdag 18 mei 2017

Wat draagt bij aan studieprestaties van studenten?

Eens in de zo veel tijd kom je een nieuw artikel tegen waarin zo veel interessante informatie staat dat het je even duizelt. Ik was al een tijdje van plan om het artikel "Variables Associated With Achievement in Higher Education: A Systematic Review of Meta-Analyses" van de auteurs Michael Schneider en Franzis Preckel te lezen en ben blij dat ik dat nu eindelijk gedaan heb. Het artikel is nog "in press" bij het tijdschrift Psychological Bulletin, maar kan ook alvast gelezen worden via deze link.

Zoals de titel suggereert gaat het om een review van meta-analyses naar de samenhang tussen een groot aantal variabelen (denk aan duidelijkheid van cursusdoelen, motivatie van studenten, enthousiasme van de docent, intelligentie, etc.) en studieprestaties van studenten in het hoger onderwijs. De afgelopen decennia is er een groot aantal studies uitgevoerd naar de samenhang tussen allerlei variabelen en studieprestaties en voor elk van die variabelen zijn weer meerdere meta-analyses die proberen de samenhang met studieprestaties vast te stellen aan de hand van een effectgrootte (effect size). Een interessant voorbeeld van zo'n meta-analyse vind je bijvoorbeeld hier. Het artikel van Schneider en Preckel is interessant omdat zij een synthese van deze meta-analyses hebben uitgevoerd. Dit stelt hen in staat om de effectgroottes van een groot aantal variabelen, 105 om precies te zijn, onderling te vergelijken. Dit leidt in hun artikel tot een ranglijst van variabelen in meer of mindere mate samenhangen met studieprestaties.

Visible learning revisited
Als je dit bekend in de oren klinkt, een ranglijst van variabelen gebaseerd op effectgroottes, dan kan dat kloppen. John Hattie heeft iets dergelijks bijvoorbeeld ook gedaan in zijn boek Visible Learning: A synthesis of over 800 meta-analyses relating to achievement. Schneider en Preckel kiezen echter een wat andere benadering voor hun synthese dan Hattie gebruikte in zijn boek. In veel gevallen zijn er voor een specifieke variabele, laten we zeggen voor het gebruik van blended learning, meerdere meta-analyses. Hattie koos er in die gevallen in zijn boek dan voor om de effectgroottes uit deze meta-analyses statistisch te combineren tot één effectgrootte. Schneider en Preckel wijzen en er terecht op dat deze aanpak een probleem creëert: een oude meta-analyse naar de effecten van blended learning kan uiteraard alleen gebruik maken van de oudere studies op dit terrein, terwijl een nieuwere meta-analyse gebruik kan maken van zowel de nieuwere als de oudere studies. Dat betekent dat wanneer je effectgroottes van twee of meer meta-analyses gaat samenvoegen, je het risico loopt dat oudere studies oververtegenwoordigd zijn: ze zijn waarschijnlijk gebruikt in zowel de oude als de nieuwe meta-analyses. En nieuwe studies zijn dan ondervertegenwoordigd: die zijn waarschijnlijk alleen gebruikt in de nieuwe meta-analyses. Schneider en Preckel hebben dit opgelost door in tegenstelling tot Hattie geen overall effectgrootte te berekenen, maar zich voor elke variabele alleen te baseren op de meta-analyse waarin het grootste aantal studies was opgenomen (en dat was vaak de meest recente meta-analyse).

De synthese
In totaal betrokken Schneider en Preckel 38 meta-analyses in hun synthese (de oudste uit 1980, de meest recente uit 2014). In totaal identificeerden ze 105 variabelen in de volgende categorieën:

Variabelen die samenhangen met de wijze van instructie:
  • Sociale interactie: Denk aan samenwerkend leren, gebruiken van open vragen in plaats van gesloten vragen tijdens het lesgeven, behulpzaamheid van de docent.
  • Stimuleren van betekenisvol leren: Denk aan voorbereiding door de docent, organisatie van cursussen, duidelijke cursusdoelen, uitdagend onderwijs.
  • Assessment: Denk aan kwaliteit van toetsing, gebruik van peer assessment en self assessment.
  • Presentatie: Denk aan interesse wekken in de leerstof, presentatievaardigheden van de docent, enthousiasme van de docent.
  • Gebruik van technologie en ICT: Denk aan gebruik van games, virtual reality, simulaties en blended learning.
  • Extracurriculaire programma's: Denk aan trainingen in academische vaardigheden en studievaardigheden.

Variabelen die samenhangen met kenmerken van de student:
  • Intelligentie en eerdere studieprestaties: Bijvoorbeeld gemiddelde cijfers op de middelbare school, scores op toelatingstoetsen.
  • Strategieën: Bijvoorbeeld vaak naar colleges gaan, kunnen reguleren van de eigen inspanningen, strategische en doelmatige studiestrategieën beheersen.
  • Motivatie: Bijvoorbeeld zelfeffectiviteit (self-efficacy), leerdoeloriëntatie en motivatie.
  • Persoonlijkheid: Bijvoorbeeld consciëntieusheid, locus of control, optimisme.
  • Context: Bijvoorbeeld financiële ondersteuning, betrokkenheid bij de onderwijsinstelling, sociaal-economische status.


De top 20
Hieronder volgen de 20 variabelen met de hoogste effectgroottes uit de synthese van Schneider en Preckel. Tussen haakjes is weergegeven onder welke categorie de betreffende variabele is gerubriceerd.

  1. Peer assessment (Instructie: Assessment), d=+1.91
  2. Performance self-efficacy (Student: Motivatie), d=+1.81
  3. Teacher's preparation/organization of the course (Instructie: Stimuleren van betekenisvol leren), d=+1.39
  4. Teacher's clarity and understandableness (Instructie: Presentatie), d=+1.35
  5. Grade goal (Student: Motivatie), d=+1.12
  6. Frequency of class attendance (Student: Strategieën), d =+0.98
  7. High school GPA (Student: Intelligentie en eerdere studieprestaties), d=+0.90
  8. Student self-assessment (Instructie: Assessment), d=+0.85
  9. Teacher's stimulation of interest in the course and its subject matter (Instructie: Presentatie), d=+0.82
  10. Admission test results (Student: Intelligentie en eerdere studieprestatie), d=+0.79
  11. Teacher's encouragement of questions and discussion (Instructie: Sociale interactie), d=+0.77
  12. Teacher's availability and helpfulness (Instructie: Sociale interactie), d=+0.77
  13. Teacher's elocutionary skills (Instructie: Presentatie), d=+0.75
  14. Clarity of course objectives and requirements (Instructie: Stimuleren van betekenisvol leren), d=+0.75
  15. Effort regulation (Student: Strategieën), d=+0.75
  16. Open-ended questions (Instructie: Social interaction), d=+0.73.
  17. Teacher relates content to students (Instructie: Stimuleren van betekenisvol leren), d=+0.65.
  18. Strategic approach to learning (Student: Strategies), d=+0.65
  19. Achievement motivation (Student: Motivatie), d=+0.64
  20. Teacher’s sensitivity to and concern with class level and progress (Instructie: Assessment), d=+0.63

De onderste 20
En hieronder de lijst van de variabelen met het kleinste of zelfs een negatief effect op studieprestaties.

  1. Deep approach to learning (Student: Strategieën), d=+0.06
  2. Age (Student: Persoonlijkheid), d=+0.06
  3. Depression (Student: Persoonlijkheid ), d=+0.06
  4. First-year training programs (Instruction: Extracurriculaire programma's), d=+0.05
  5. Online learning (Instruction: Technologie), d=+0.05
  6. Academic extrinsic motivation (Student: Motivatie), d=0.00
  7. Pessimistic attributional style (Student: Motivatie), d=-0.02
  8. Emotional stability (Student: Persoonlijkheid), d=-0.02
  9. Extraversion (Student: Persoonlijkheid), d=-0.02
  10. Task-related social conflict (Student: Context), d=-0.13
  11. Relationship-related social conflict (Student: Context), d=-0.21
  12. Academic stress (Student: Context), d=-0.22
  13. Problem-based learning for knowledge acquisition (Instructie: Betekenisvol leren stimuleren), d=-0.22
  14. Communication apprehension (Student: Persoonlijkheid), d=-0.23
  15. Performance avoidance orientation (Student: Motivatie), d=-0.28
  16. Stress (in general) (Student: Context), d=-0.28
  17. Interesting but irrelevant details in a presentation (seductive detail effect) (Instructie: Presentatie), d=-0.30
  18. Academic self-handicapping (Student: Strategieën), d=-0.37
  19. Surface approach to learning (Student: Strategieën), d=-0.39
  20. Test anxiety (Student: Persoonlijkheid), d=-0.43
  21. Procrastination (Student: Strategieën), d=-0.52

Wijze van instructie doet ertoe
Schneider en Preckel concluderen op basis van hun synthese, wellicht weinig verrassend, dat wat docenten doen, de wijze waarop ze instructie verzorgen, een sterk effect heeft op studieprestaties. Vooral de variabelen in de categorieën sociale interactie, stimuleren van betekenisvol leren en presentatie blijken vaak een gemiddeld tot sterk effect op studieprestaties te hebben. Schneider en Preckel merken op dat het hier vaak gaat om aspecten uit de microstructuur van de leeromgeving, zoals het stellen van open vragen in plaats van gesloten vragen, interesse weken over het studiemateriaal bij studenten en behulpzaam zijn. 

De auteurs concluderen daarnaast dat het niet alleen uitmaakt wat docenten doen als ze instructie geven, maar dat het ook van belang is op welke wijze ze dat doen. In veel van de geïncludeerde meta-analyses was er sprake van één of meerdere signficante moderator effecten. Dat betekent dat er in die gevallen één of meer additionele variabelen waren die de variatie in gevonden effect sizes konden verklaren. Een voorbeeld: De meta-analyse van Adesope en Nesbit (2012) liet zien dat wanneer docenten hun gesproken uitleg ondersteunen met Powerpoint slides, dit effectiever is dan wanneer docenten alleen spreken (d=+0.26). Het maakt echter wel uit hoe docenten hun slides maken: wanneer deze slides vooral trefwoorden bevatten is dit effectiever dan wanneer de slides hele of halve zinnen bevatten (d=+0.99 vs d=+0.21). Ander voorbeeld: wanneer studenten concept maps moeten bestuderen heeft dit een positief effect op studieresultaten (d=+0.36). Maar het maakt wel uit of deze concept maps alleen de belangrijkste concepten bevatten (d=+0.60), dan wanneer ze ook details laten zien (d=+0.20).

Schneider en Preckel waarschuwen overigens terecht dat het baseren van keuzes wat betreft didactiek en instructie op basis van ranglijstjes zoals hierboven waarschijnlijk te simplistisch gedacht is. Gezien het feit dat bij veel van de geïncludeerde meta-analyses er één of meer significante moderatoren zijn gevonden, raden zij docenten aan om ook hiervan kennis te nemen.

Toch geven Schneider en Preckel aan dat docenten op basis van hun bevindingen door middel van vaak relatief kleine veranderingen de kwaliteit van hun onderwijs kunnen verbeteren. Allereerst wijzen ze daarbij naar de nummer 3 op hun lijst: goede voorbereiding door docenten en een goede organisatie. Omdat de effect size voor peer assessment geïnterpreteerd moet worden als dat er een zeer sterke correlatie bestaat tussen docent- en studentbeoordelingen, is goede voobereiding en goede organisatie de eerste variabele op de ranglijst waar de docent rechtstreeks invloed op kan uitoefenen. Verder merken ze op dat docenten relatief gemakkelijk de volgende principes in hun onderwijs kunnen inpassen:

  • Stimuleren van frequente deelname aan hoorcolleges en werkgroepen (#6)
  • Stimuleren van het stellen van vragen en discussie (#11)
  • Open vragen stellen (#16)
  • De inhoud van onderwijs relateren aan voorkennis of interesse van studenten (#17)
  • Taakgerichte en verbeteringsgerichte feedback geven (#30)
  • Vriendelijk en respectvol naar studenten zijn (#30)
  • Tijdens het lesgeven gesproken woorden vergezeld laten gaan van visualisaties of geschreven woorden (#42)
  • Op slides trefwoorden gebruiken in plaats van halve of hele zinnen
  • Studenten concept maps laten maken en bespreken over de inhoud van de cursus (#45)
  • Elk onderwijsonderdeel beginnen met een advance organizer (#64), en
  • Afleidende en verleidende detais in presentaties vermijden (#101)



De rol van onderwijstechnologie
Uit de analyse van Scheider en Preckel blijkt dat het gebruik van onderwijstechnologie slechts een gering effect heeft op de studieprestaties van studenten. Daarnaast blijken de toepassingen van onderwijstechnologie die het meest veelbelovend zijn, juist hoge ontwikkel- en implementatiekosten te hebben (gebruik van games met virtual reality, #27, simulaties met virtual reality, #37 en intelligent tutoring systems, #47). Daarbij komt ook dat deze toepassingen zich vooral goed lenen voor zeer specifieke inhoud en onderwijsdoelen. Schneider en Preckel concluderen dan ook dat het inzetten van onderwijstechnologie niet ten koste moet gaan van de  andere vormen van instructie zoals hierboven genoemd. Schneider en Preckel pleiten er dan ook voor om onderwijstechnologie vooral de interactie in de hoorcollege- of werkgroepzaal te laten complementeren, zoals bijvoorbeeld bij blended learning gebeurt (#52). De conclusie die Schneider en Preckel trekken is duidelijk: er is geen bewijs dat onderwijstechnologie het onderwijs radicaal verbetert, maar onderwijstechnologie kan zeker effectief door docenten ingezet worden als past binnen een goed uitgedacht didactisch concept.

De synthese van Schneider en Preckel bevat nog meer inzichten die interessant zijn: bijvoorbeeld dat studiestrategieën van studenten sterker correleren met studieprestaties dan bijvoorbeeld de persoonlijkheid van studenten en dat het dus de moeite waard kan zijn om hen effectieve strategieën aan te leren. Wil je meer weten over deze zeer interessante studie? Ga dan naar deze link.


Schneider, M., & Preckel, F. (in press), Variables associated with achievement in Higher Education: A systematic review of meta-analyses. Psychological Bulletin. doi: 10.1037/bul0000098

dinsdag 7 maart 2017

Dream School: de verslaglegging

Ik ben sinds de oprichting ervan een van de redacteuren bij Komenskypost. Komenskypost is een 'geheel onafhankelijk, deskundig en niet commercieel I-zine'. Het I-zine groeit geleidelijk in populariteit en bekendheid, wat natuurlijk mooi is. Tot nu toe was mijn bijdrage eraan redelijk bescheiden. Hoofdredacteur Jan Lepeltak vroeg mij in het begin van het jaar of ik iets wilde schrijven over het nieuwe NTR-programma Dream School. Ik had wel over dit project gehoord, maar was eigenlijk niet van plan ernaar te gaan kijken. Ik deed het toch, zette mijn onderwijskundige bril nog eens goed recht, en maakte al kijkend aantekeningen. Mijn combinatie van samenvatting en beschouwing van de aflevering werd goed gewaardeerd, en smaakte naar meer. Ik besloot ook over de tweede aflevering te schrijven, als er tenminste genoeg zou gebeuren dat de moeite waard was om over te schrijven. Dat bleek het geval te zijn, en inmiddels had ik de smaak zo te pakken dat ik besloot ook over de resterende afleveringen te schrijven. Het leverde veel reacties op: van trouwe kijkers, van personen die om allerlei redenen het programma zelf niet wilden kijken (zoals Karin Winters, die erover blogde), en ook van enkele personen die bij het programma betrokken waren, zoals rector Eric van 't Zelfde. Ondanks de bescheiden kijkcijfers was het programma een succes, wat onder andere te zien is aan deelname aan de nominaties voor de Televizierring (het is op dit moment nog onbekend waar dat zal eindigen) en een zoektocht naar kandidaten voor een tweede seizoen (waarin Maarten van Rossem als docent hoogstwaarschijnlijk zal ontbreken). Ik heb hieronder een lijstje links neergezet naar de verschillende verslagen bij alle afleveringen van Dream School. Als er een nieuw seizoen komt, dan ben ik zeker weer van de partij!

Verslag van aflevering 1  - Dream School: ook onderwijstechnisch interessant

Verslag van aflevering 2 - Aangeleerde hulpeloosheid

Verslag van aflevering 3 - Schuld en boete

Verslag van aflevering 4 - Spijt en bespiegelingen

Verslag van aflevering 5 - Brandjes blussen

Verslag van aflevering 6 - Zwart-wit

Verslag van aflevering 7 - Karma en kibbelen

Verslag van aflevering 8 - Omzien in verwondering

maandag 16 januari 2017

Het LAKS betreedt de politieke arena

Update 18-1: het LAKS maakt bekend dat hun verkiezingsdeelname een 'hoax' was. Zie de korte video hierover. De actie was bedoeld als 'noodkreet tegen het verschrikkelijke rendementsdenken'. De punten die het LAKS aandraagt blijven evenwel onverminderd van kracht, dus blijft mijn beschouwing grotendeels overeind. Ik heb onderstaande tekst daarom niet gewijzigd.

In maart zijn er verkiezingen, en net als in eerder jaren zullen er weer heel wat deelnemende partijen zijn om uit te kiezen. Alle richtingen van het politieke spectrum zijn vertegenwoordigd. Sommige partijen dienen een specifiek belang. De Partij voor de Dieren zou je als zo’n partij kunnen beschouwen. De naam is in dit geval echter misleidend, omdat die partij een brede beweging is die met name milieubewustzijn hoog in het vaandel heeft. Een partij als 50PLUS dekt wellicht eerder de lading, omdat die partij zich op de belangen van een specifieke doelgroep richt. Maar ’50 plus’ is op zichzelf heel breed, en het is ook niet zo dat voor alle andere partijen geldt dat zij ’49 min’ zijn. Als meer ‘single issue’ herinner ik me van vroeger de Anti Werkloosheids Partij. Die partij wilde ook gratis openbaar vervoer, wat zij in hun verkiezingsfilmpje demonstreerden door willekeurige voetgangers met een busje van straat op te pikken. Kom daar nu nog maar eens mee. Ook had je de Natuurwetpartij, die single-issue was in de zin dat zij voor elk probleem in de samenleving 1 oplossing zag: transcendente meditatie. Beide partijen hebben het indertijd helaas niet gered.
Verkiezingsposter LAKS
Alle politieke partijen vinden iets van onderwijs, de een wat meer dan de ander. In ieder geval vinden alle politieke partijen onderwijs belangrijk. Dat drukt zich helaas niet altijd uit in effectief onderwijsbeleid. Aan een single-issue partij die zich specifiek op het onderwijs richt heeft het tot nu toe altijd ontbroken. Vandaag kondigde het LAKS (Landelijk Aktie Komitee Scholieren) aan zich in de verkiezingsstrijd te werpen. Onderwijs is het enige thema van de partij. De partij richt zich met name op scholieren. Een probleem is dat scholieren zelf nog te jong zijn om te stemmen. De slogan van de partij is dan ook: “Geef scholieren écht een stem”. Oftewel: allen boven de 18 worden opgeroepen zich uit naam van scholieren uit te spreken voor (beter) onderwijs.

Dat het LAKS aankondigde zelf aan de verkiezingen mee te doen (met 10 personen op de kieslijst) verbaasde me enigszins. Ik had zelf een stemadvies van het Komitee bijvoorbeeld logischer gevonden. Voor D66 bijvoorbeeld, toch van oudsher de partij die zich als onderwijspartij profileert, een partij die het goed doet in de peilingen, en met een aantal standpunten die het LAKS als muziek in de oren moeten klinken. Of GroenLinks, dat zich graag als progressieve beweging met afwijkende standpunten beschouwt en alle steun goed kan gebruiken. Of desnoods de Piratenpartij, een partij die vanuit haar filosofie goed bij jongeren past (maar wellicht minder bij scholieren), die vorige keer bijna een zetel wist te bemachtigen maar die het aan een helder profiel ontbreekt. Maar nee, het LAKS vond dit kennelijk onvoldoende. Om duidelijk te maken wat de partij voorstaat komt zij op haar website (stemlaks.nl) daarom met een kort 'manifest' en een twintig puntenplan.
Allereerst het manifest. LAKS constateert dat er ‘een zorgelijke ontwikkeling gaande is in het onderwijs’. Het gaat erom dat het in het onderwijs niet meer om de leerling, maar om rendement draait. De beoordeling en financiering van scholen is afhankelijk van rendement en creëert daarmee een perverse prikkel voor beleid dat puur op efficiency gericht is. De minder presterende leerling valt daarmee buiten de boot. Intussen neemt ook de kloof tussen arm en rijk toe, en glijdt Nederland als innovatieland af. Tot zover is dit alles bekende kritiek op het huidige, al jaren door VVD en PvdA gecontroleerde, onderwijsbeleid. Bij partijen als D66 en CDA kun je vergelijkbare woorden vinden. Maar LAKS voegt hieraan toe dat a) de politiek onvoldoende van deze problematiek doordrongen is (wat ik betwijfel), b) dat leerlingen nauwelijks door de Haagse politiek vertegenwoordigd worden. Aan dat laatste kun je ook twijfelen, omdat het argument ‘leerlingen zijn niet stemgerechtigd’ niet zo sterk is. Dieren zijn ook niet stemgerechtigd en toch is een grote groep bereid specifiek voor dieren in te zetten. Toch ziet LAKS zich genoodzaakt om door het vormen van een partij meer invloed in Den Haag op te eisen en het ‘twintig puntenplan’ te bewerkstelligen.
Wat zijn zoal de punten die het LAKS voorstaat? Ik ga er een aantal langs. Op 1 staat het afschaffen van de Rekentoets. Zorg eerst dat het rekenonderwijs in orde komt is het idee. Ik ben zelf ook kritisch over de Rekentoets, maar dan vooral vanwege de inhoud van de toets zelf. Maar: ik heb zelf wel eens verkondigd dat een volgend Kabinet de Rekentoets zou afschaffen. Ook zonder het LAKS. Punt 3 is het herinvoeren van de basisbeurs en het afschaffen van het leenstelsel. Een sympathiek idee, maar naar mijn idee onhaalbaar. Het leenstelsel was min of meer een grote bezuinigingsoperatie en het miljard per jaar (dat volgens de minister rechtstreeks in het hoger onderwijs gepompt wordt om de kwaliteit daarvan te verbeteren) komt echt niet meer zomaar ergens anders vandaan. Nog gunstiger lenen is denk ik het hoogst haalbare. Vervolgens (punt 4) wil het LAKS dat ‘schaduwonderwijs’ (dat wil zeggen, betaalde bijles of examentraining) verboden wordt. Ook dit lijkt me onhaalbaar. Hoe zou je zoiets in de praktijk kunnen verbieden? Ik krijg er visioenen van tochtige zolders bij die zijn ingericht als clandestien leslokaaltje. Wel frappant is dat dit punt diametraal tegenover dat van GroenLinks staat, dat juist wil dat de overheid leerlingen die bijles nodig hebben financieel steunt. Hoe verklein je de kloof tussen arm en rijk het effectiefst?
Het LAKS richt zich in verschillende punten op de invloed die leerlingen zelf op het onderwijs op hun school kunnen uitoefenen. Dat moet meer worden. Dat leerlingen mogen meepraten lijkt me een goed idee, en het is altijd goed om medezeggenschap zo nu en dan kritisch tegen het licht te houden. Dat leerlingen ook docenten moeten evalueren (en dat dat dus officieel beleid moet worden): ik weet het niet. Ik ben in ieder geval benieuwd hoe een dergelijk idee praktisch uitgewerkt wordt. Hoe groot wordt de invloed van leerlingen? En wat is de consequentie van negatieve of positieve beoordelingen? Zit het onderwijs (dat kampt met een tekort aan docenten) hier op te wachten? En wordt onderwijs er beter van? Allemaal vragen die ik graag beantwoord zou zien voordat ik een dergelijk punt tot beleid zou verheffen. Tenslotte, punt 14 is ook interessant: thuisonderwijs moet financieel ondersteund worden. Dat idee gaat rechtstreeks in tegen het beleid van de afgelopen jaren. Sterker: staatssecretaris Sander Dekker wilde thuisonderwijs aan veel strengere regels laten voldoen. Maar ook hier was duidelijk dat andere partijen daarin weinig zagen. In zekere zin toont een dergelijk punt hoe op dit moment onderwijsbeleid vooral vanuit partijpolitieke standpunten en nauwelijk vanuit een grotere visie op onderwijs wordt gevoerd.

Al met al is het te prijzen dat het LAKS zo’n grote ambitie toont. Het is niet niks om de politiek in te stappen om je (onderwijs)idealen te bewerkstelligen. De twintig punten van de partij zijn helder geformuleerd en juist daarom ook makkelijk te bekritiseren. Maar politiek begint met ambitie, en hier worden echte ambities getoond. Geen enkele van de andere politieke partijen laat zo duidelijk een visie op onderwijs zien, een die gericht is op het verkleinen van ongelijkheid en het vergroten van flexibiliteit. De verschillende punten verdienen een nadere uitwerking, ook financieel, maar het begin is er. Wat er verder ook van komt, de partij verdient het in ieder geval om serieus genomen te worden.

woensdag 21 december 2016

Online in de collegezaal, maar mentaal offline?

En ja hoor, daar was ie weer: de laptops-wel-of-niet-toestaan-in-colleges-discussie. Net zoals de discussie over Zwarte Piet en het afsteken van vuurwerk, komt deze discussie eens in de zoveel tijd terug? De aanleiding: een nieuw onderzoek, uitgevoerd aan de Michigan State University, vond dat het gebruik van laptops tijdens colleges negatief samenhangt met tentamencijfers aan het eind van de cursus.

Iets nieuws onder de zon? Aan de ene kant niet: omdat, zoals de auteurs in het artikel zelf ook aangeven, de negatieve relatie tussen internetgebruik in colleges en studieprestaties al vaker is aangetoond. Opvallend is daarbij dat veel studenten zelf de indruk hebben dat het gebruik van internet tijdens colleges geen negatief effect heeft op hun studieprestaties, terwijl dit wél het geval blijkt te zijn. Een verklaring hiervoor is mogelijk dat studenten zelf niet goed in kunnen schatten hoe veel ze van internet gebruik maken tijdens colleges. Omdat veel eerder onderzoek gebruik maakt van dergelijke self-reports hebben de auteurs van deze nieuwe studie getracht een betere indruk van het internetgebruik van studenten tijdens colleges, door dit gebruik daadwerkelijk te registreren (bv. hoe vaak vroegen studenten een bepaalde webpagina op?). De studenten die deelnamen aan deze studie logden daarvoor eerst in op een proxy server, die vervolgens registreerde welke webpagina's door studenten werden opgevraagd. Hiermee konden de auteurs een meer accurate indruk krijgen van het internetgebruik van studenten tijdens colleges. Interessante toevoeging aan het onderzoek is daarnaast dat de auteurs ook hebben getracht de motivatie van studenten voor de cursus en hun interesse in de collegestof te meten. Hierdoor kunnen de auteurs ook een alternatieve verklaring onderzoeken voor de relatie tussen internetgebruik in de collegezaal en tentamencijfers: namelijk verveling. Misschien is het wel zo dat een deel van de studenten zich verveelt tijdens colleges en dat deze studenten daarom gaan Facebooken, YouTube-en, etc. Dan is verveling mogelijk de verklarende factor en niet het internetgebruik zelf. Dat is dan meer een uiting van deze verveling.

Wat kwam er dan uit deze studie? Allereerst de omvang van het internetgebruik door studenten tijdens de colleges. Ik moet zeggen dat ik hier wel van schrok. 37 minuten bleek de mediaan van de duur van het internetgebruik te zijn. Of te wel, als voor alle deelnemende studenten de tijd die ze tijdens éém college op internet doorbrachten gerangschikt wordt van laag naar hoog, blijkt 37 minuten het midden van deze verdeling te vormen. De colleges duurden in dit onderzoek 150 minuten, dus een groot deel van de studenten brengt een kwart of meer tijd van het college door op internet. En dat is nog niet alles, want de deelnemende studenten werd daarnaast nog gevraagd om aan te geven hoeveel tijd ze smartphone of tablet gebruikten om te appen of sms-en of sociale media te gebruiken. Daar besteedden deze studenten nog eens gemiddeld 27 en 19 minuten aan!

Wat doen studenten dan op internet tijdens colleges? Een deel van de tijd gebruiken studenten hun laptop wél voor studiegerelateerde zaken, zoals bekijken van de online leeromgeving of het zoeken op Wikipedia naar relevante onderwerpen (mediaan is 3.79 minuten per college). Het meeste deel van de tijd gebruiken studenten internet tijdens college voor sociale media (mediaan is 6.30 minuten). Daarnaast gebruiken ze internet ook geregeld om te e-mailen (mediaan 1.85 minuten).

Is het dan zo dat internetgebruik tijdens hoorcolleges inderdaad samenhangt met slechtere studieprestaties? Ja, in dit onderzoek werd aangetoond dat er een negatieve samenhang is tussen internetgebruik en tentamencijfers. Hierbij is gecontroleerd voor de mogelijke invloed van intelligentie, interesse en motivatie. Dus zelfs wanneer rekening gehouden wordt met de intelligentie van studenten en hun interesse in en motivatie voor het onderwerp, bestaat er een negatieve samenhang tussen internetgebruik tijdens colleges en studieprestaties. Het is dus niet zo dat verveling van studenten tijdens colleges volledig kan verklaren waarom er een negatieve samenhang is tussen internetgebruik en studieprestaties. De auteurs vinden zelfs dat motivatie niet en interesse slechts marginaal (p < .10) samenhangen met het gebruik van sociale media, e-mail, etc. tijdens hoorcolleges. Het is dus niet zo dat het de minder gemotiveerde of niet geïnteresseerde studenten zijn die tijdens hoorcolleges het meest gebruik maken van internet.

Interessante bevinding in dit onderzoek is overigens dat de studenten in dit onderzoek behoorlijk goed in staat bleken te zijn om hun eigen internetgebruik tijdens hoorcolleges te schatten. De schattingen van de studenten zaten behoorlijk dichtbij het daadwerkelijke internetgebruik.

De vraag die dan overblijft, is wat de implicaties van dit en ander onderzoek naar het gebruik van internet tijdens colleges moeten zijn? Moeten laptops (en andere devices) verbannen worden uit de collegezalen? Dat is een gevoelige kwestie onder docenten en studenten. Veel studenten vinden het verbieden van laptops betuttelend en ook veel docenten vinden het de eigen verantwoordelijkheid van studenten om te besluiten om laptops op zinvolle dan wel ontspannende wijze te gebruiken tijdens hoorcolleges.

Het is gemakkelijk om met de vinger naar de hoorcollegedocent in kwestie te wijzen: het zullen wel oersaaie colleges zijn geweest anders hadden de studenten vast niet zoveel geïnternet tijdens die colleges. Voor een deel mag je inderdaad van docenten verwachten dat zij in staat zijn om colleges te geven die de interesse van studenten wekken en waar misschien ook de aanwezige laptops op een nuttige manier gebruikt worden. Van de andere kant laat dit onderzoek ook zien dat er geen sterke relatie is tussen de interesse van de deelnemende studenten en hun internetgebruik: meer interesse leidt dus niet automatische tot minder internetgebruik en vice versa. En ja, het is inderdaad ook de eigen verantwoordelijkheid van de student: van een student mag je verwachten dat zij of hij nadenkt over wat raadzaam is bij het studeren en studenten moeten dan ook maar de consequenties aanvaarden van hun eventuele internetgebruik tijdens hoorcolleges.

Toch laat meer en meer onderzoek zien dat internetverslaving steeds vaker voorkomt en dat veel mensen daarom ook niet in staat zijn om de impuls om internet te gebruiken het hoofd te bieden.

Online of offline in de collegezaal? De discussie is vast nog niet uitgewoed, maar deze studie geeft zeker te denken.


donderdag 13 oktober 2016

Devil's advocate. A plea against Prince Ea

It's really not difficult to criticize schools. Just pointing at anything that happens in schools and then stating something like: "That sure looks old, why hasn't it changed?" is enough, really. You might want to add: "Does this [random thing in school] adequately prepare students for the future?" Since nobody knows the answer to such a rhetorical question, the answer might as well be: no. The TED talks with the most views and likes are about exactly this, the most famous of which are the talks by Sir Ken Robinson. I analysed those a few years ago. What struck me most about these talks was the use of many rhetorical devices to get the point across. When you remove all those elements, what you are left with is a fairly bland argument about, for example, the lack of attention to particular talents in schools. Hold the revolution. In my view, talks like this make people believe that everything is wrong in education, and that therefore everything should change. To someone like me, who knows a thing or two about educational research, this never ceases to irritate. To a teacher, it must be even more annoying to be put in one's place by someone who is usually far removed from the field of education. In any case, if everything is so wrong in education, it sure is a miracle most of us have turned out to be fairly successful in life. Still, Ken Robinson is very popular. His ideas certainly touch a nerve. Criticism of the school system is probably as old as the school system itself. Undoubtedly, criticism has been a driving force behind many reforms and innovations in teaching and learning. My own work is, to a certain extent, based on criticism of educational practice. Still, I try to approach educational questions from a scientific viewpoint, something that can't be said for everyone.

Some time ago, a video appeared on Youtube with the interesting title: "I just sued the school system!" (in all capitals). It quickly gained over a million views. The video was created by Prince Ea, an American spoken word artist, poet, rapper and filmmaker (wikipedia). If you haven't yet done so, you might like to watch the video first.


It's beautiful, isn't it? The cinematics, lighting, the acting, and the music are all first-class (there's even a 'making of' video). Prince Ea makes a persuasive case for educational reform Or does he? In this blog post, I analyze the case Prince Ea makes. Let's say I'm the lawyer representing the school system (a devil's advocate, indeed!)
To be able to comment on the case Prince Ea makes in this video, first I transcribed the whole movie to focus on the words themselves. The transcript is written below (in italics). I have divided the text into different parts (unrelated to cuts or camera changes in the movie), and my specific comments on the movie are written below each part. So bear with me, and let's see if I can persuade both you and the presiding judge that Prince Ea is wroing in sueing the school system.


Albert Einstein once said: "Everybody is a genius. But if you judge a fish by its ability to climb a tree, it will lead its whole life believing that it is stupid." Ladies and gentlemen of the jury, today on trial we have modern day schooling. Glad you could come. Not only does he make fish climb trees, but also makes them climb down, and do a 10 mile run.

We're off to a bad start. The quotation that is used here was most probably never said by Einstein, as the quote investigator has pointed out. Refering to some authority figure, especially Einstein, is a popular rhetoric device that has also been used by Ken Robinson on multiple occasions. Still, does school make fish climb trees? Maybe it does, but certainly not in every case. More importantly, this is an example of a false analogy. Is it fair to say that school asks students to do impossible things? Maybe if teachers did not, that would be even worse. The implication here is that this video is about the 'fish': the people who have trouble in school because the school system presumably requires them to do stuff they are incapable of doing, and that this situation is undesirable.

Tell me school, are you proud of the things you've done? Turning millions of people into robots, do you find that fun? Do you realize how many kids relate to that fish, swimming upstream in class, never finding their gifts, thinking they are stupid, believing they are useless? Well, the time has come, no more excuses, I call school to the stand and accuse them of killing creativity, individuality, and being intellectually abusive. It's an ancient institution that has outlived its usage. So, your honour, this concludes my opening statement, and if I may present the evidence of my case, I will prove it. 

A second analogy is introduced, and it is pretty weird, again. Schools are machines that turn people into robots (and they enjoy doing this, too, for unknown reasons). I would have used the term 'zombies' myself but I guess they are not this year's meme anymore. Prince Ea seems to finds the idea acceptable for most people, but adds that it may not be appropriate for some: the already mentioned fish. Instead of allowing themselves to be turned into a robot, these people feel stupid and useless. From his remarks on unhappy fish, Prince Ea jumps to the conclusion that schools 'kill' many abilities that we value much in humans, such as creativity and the ability to think. This is the well-known 'schools kill creativity' rethoric that has been praised in Ken Robinson's popular 2006 TED talk. I've discussed those talks before. It's also discussed as myth 19 in our book on urban myths in learning and education. It is simply not true. If children seem less creative during the years they visit school, it is mostly because of natural development. It is true, however, that schools do not specfically nurture creativity. The question whether or not they have to (and how) is interesting, but really should not start with an accusation.
Prince Ea concludes that schools are ancient institutions (which is true), that have outlived their usage (which is a statement that he will now try to prove to the judge).

Exhibit A. Here's a modern day phone, recognize it? Here's a phone from 150 years ago. Big difference, right? Stay with me. Here's a car from today. And here's a car from 150 years ago. Big difference, right? Well, get this. Here's a classroom of today. And here's a class we used 150 years ago [gasps from the audience]. Now, ain't that a shame. In literally more than a century, nothing has changed.

Exhibit A is just bad. It's the third analogy that fails. Prince Ea demonstrates that many things have changed over the past 150 years, but school has not. Indeed, phones and cars have changed, but there is also something that did not change: their function. We still use phones for calling people, and we still use cars to get from point A to B. In fact, it can be easily argued that phones and cars have not really changed in the past 150 years. With schools, it is the same. Many things about schools have changed (and Maria Montessori would probably agree with that statement), but their basic function: imparting knowledge, skills and culture to children, hasn't. There's also the fact that if, indeed, phones and cars have dramatically changed, this doesn't imply at all that schools also need to change. They are just random examples of technology that has changed over the past century. Schools are not technology.

Yet, you claim to prepare students for the future? But whatever if it's like that I must ask: do you prepare students for the future or the past? I did a background check on you, and let the records show that you were made to train people to work in factories, which explains why you put students in straight rows, nice and neat, let them raise your hand if you want to speak, give them a short break to eat and for eight hours a day tell them what to think. Oh, and make them compete to get an A, a letter which determines product quality. It's grade A of meat.

So far, this whole talk is a nice demonstration of the use of analogy as a rhetoric device. Here we see the fourth example. It's the popular 'schools are factories' comparison. To me, this is always a strange analogy, because the kind of teaching that is criticized here existed centuries before factories even existed. In a nice article on this subject, Audrey Watters has shown how this factory comparison may present a case of 'invented history'. Basically, the comparison between schools and factories was devised a long time ago by educationalists who wanted to prove exactly the same point as Prince Ea does here. Educational technology has been heralded as the saviour of this 'failed system' for decades, starting with Pressey's teaching machines in the 1920s, to MOOCs these days. It's a nice business model, but again, the analogy is simply false. Schools are not and have never been robot-producing factories (and hopefully never will become ones as well).
At this point, you may start to wonder how people in the past were able to survive from these 'factories'. So, it becomes necessary to introduce a new argument: times have changed.

I get it, back then times were different. We all have a past. I myself am no Gandhi. But today, we don't need to make robot zombies. The world has progressed, and now we need people who think creatively, innovatively, critically,  independently, with the ability to connect.

To my great satisfaction, we get a few zombies after all! The argument here is that in yesterday's world it was sufficient to have zombies, but not today. Tell that to Albert Einstein. This is basically a repetition of the earlier argument. If you assume that schools produce robot zombies, you can basically conclude anything. Here you also might ask: what do all these abilities actually mean? what is 'ability to connect'? Connect to whom? These questions remain unanswered.

See, every scientist will tell you that no two brains are the same. And every parent with two or more children will confirm that claim. So, please explain why you treat students like cookie cutter frames, or snap back hats, giving them this 'one size fits all' crap ['watch your language', 'sorry your honour']. But if a doctor proscribed the exact same medicine to all of his patients, the results would be tragic, so many people would get sick, yet, when it comes to school this is exactly what happens. This educational malpractice, where one teacher stands in front of 20 kids, each one having different strengths, different needs, different gifts, different dreams, and you teach the same thing the same way? That's horrific. Ladies and gentlemen, the defendant should not be acquitted, this may be one of the most criminal offences ever to be comitted.

After this small detour to the world's progress, we are back on track. People (brains) are different, so education needs to adapt to these different brains. This logic is closely related to the whole learning styles rhetoric that has been thoroughly debunked by research (it's myth 1 in our book). We are also presented with a fifth analogy, and it's the fifth false analogy. Teachers are like doctors who proscribe the same medicine to every patient. This metaphor was new to me, and I think it's an ill-chosen one. Viewing students as patients suffering from some fatal disease, I don't know. The comparison between teachers and doctors may have the underlying goal of making it easier to argue that both should earn the same amount of money. Also, the way Prince Ea describes the role of the teacher again neatly fits the 'school as factory' model that I already discussed. The rhetoric use of hyperbole ('most criminal offence') adds a bit of drama.

And let's mention the way you treat your employees. ['objection', 'overruled, I want to hear this!'] It's a shame, I mean teachers have the most important job on the planet, yet they are underpaid. No wonder so many students are short changed. Let's be honest: teachers should earn just as much as doctors, because a doctor can do heart surgery and save the life of a kid, but a great teacher can reach the heart of that kid and allow him to truly live. So teachers are heroes that often get blamed, but they are not the problem. They work in a system without many options or rights.

Now that teachers have been mentioned (I guess they, too, are zombies), it is time to devote some attention to them. I like this bit. It is true that the teaching profession has suffered, and that salaries are relatively low. The question is why this is the case. Prince Ea emphasizes the value and importance of teachers, and both are not really appreciated in society. I think this may reflect a problem in any capitalist culture. The effects of a doctor's treatment are much more visible to society than the efforts of a teacher. We may tend to value visible, short-term effects more than invisible, long-term effects. What I'm saying is: this state of affairs may be not something to blame schools or the school system for. You're barking up the wrong tree if you do.

Curriculums are created by policy makers, most of which have never taught a day in their life, just obessed with standardized tests. They think bubbling in a multiple choice question will determine success. That's outlandish. In face, these tests are too crude to be used and should be abandoned, but don't take my word for it, take Frederick J. Kelly, the man who invented standardized testing, who said, and I quote: "These tests are too crude to be used and should be abandoned."

Prince Ea accuses the policy makers: people who are not teachers but do control what happens in schools. This could be a valid argument if Prince Ea had specified what it is exactly that these people are doing wrong, and what they should do instead. Should curriculums be abandoned? If these people are stopped, does that make things right? Instead, he focuses on standardized testing, which is far more easy to criticize because most people don't really like tests. Whatever your opinion on testing is, it is not just something policy makers think about tests. Test scores actually do for a large part determine success. You may dislike the situation, but if tests were abolished from schools the first thing any institute for higher education would do would be to implement selection tests. Wait, many already do. Also, the standardized aspect of testing seems much more fair to me than adjusting tests to each and everyone's personal ability. If you only use tests that persons can pass, then indeed there is no use for them in the first place. After Einstein, this is the second time an authority figure is refered to use the argument from authority. In this case the honour falls on Frederick Kelly, who created the first multiple-choice test in 1914. Apparently, Kelly later changed his mind about testing, but I have not yet been able to trace the quotation that is used here. Even if it is correct, I wonder how interesting it is that someone changed their mind about something. If he had not used these tests, undoubtedly someone else would have.

Ladies and gentlemen of the jury, if we continue down this road, the results will be lethal. I don't have much faith in school, but I do have faith in people, and if we can customize healthcare, cars and Facebook pages, then it is our duty to do the same for education, to upgrade and change and do away with school spirit because that is useless, unless we are working to bring the spirit out of each and every student: that should be our task. No more common core. Instead, let's reach the core of every heart in every class. Sure, math is important, but no more than art or dance. Let's give every gift an equal chance.

Hyperbole again ('lethal'), and emphasis on the comparison with medicine once more. I like the rhetoric use of the rule of three here: healthcare, cars, and Facebook pages. The phones got replaced, the cars stayed, but still, what I said earlier holds here as well. Comparing all these to education just poses no argument at all. The most intriguing part is the line about math. Is mathematics overrated? Is it as important as art and dance? The Ken Robinson virus seems to be spreading. I don't agree with the statement, because I'm pretty sure that in today's world mathematical knowledge is more important than many other disciplines. Should schools devote more time to dancing? Why? Just a few minutes ago Prince Ea argued that the world has progressed, but does the future involve more dancing? I'm jesting. In reality, this is a repetition of the point that was already made about schools needing to provide for students with different talents. Still, if your son likes dancing, would you want his school to devote as many lessons to dancing as to other courses? What about other talents? And where do we get all these dancing teachers from? The whole idea is romantic, but impractical and unrealistic.

I know this sounds like a dream, but countries like Finland are doing impressive things. They have shorter school days, teachers make a decent wage, homework is non-existent and they focus on collaboration instead of competition. But here's the kicker, boys and girls, their educational system outperforms every other country in the world. Other places like Singapore are succeeding rapidly. Schools like Montessori, programs like Khan academy, There is no single solution, but let's get moving, because while students are 20% of our population, they are 100% of our future. So let's attend to their dreams, and there's no telling what we can achieve. This is a world in which I believe, a world where fish are no longer forced to climb trees. I rest my case.

Finland and Singapore perform well on international tests, true. They seem to take education more seriously, there. What's funny is that students from these countries score high on international, standardized tests (e.g., PISA), the kind of tests Prince Ea was so critical of only a minute ago. Also, if you study the success of countries like Singapore and Korea, you will find a very, very traditional educational regime. One report describes education in Singapore as follows. "In general, classroom instruction in Singapore is highly-scripted and uniform across all levels and subjects. Teaching is coherent, fit-for-purpose and pragmatic, drawing on a range of pedagogical traditions, both Eastern and Western." (source) Do you want to copy their methods? You're welcome to do so, and it would probably be useful as well, but it would mean turning back instead of moving forward: exactly the opposite of what has been being argued by Prince Ea.
The plea ends with the animal we started out with. In an ideal world, fish do not have to climb trees. Fortunately, in the real world they are not forced to do so either, but it sometimes does help them to swim upstream.

So, are you still convinced by Prince Ea's plea? I'm perfectly fine if you are. I just wanted to show that many of the arguments are old hat. They have been debunked or are up to debate: filming them in slow-motion does not suddenly make them valid. I have also tried to point out various ways in which rethoric is used to increase the vehemency of the arguments. Prince Ea has borrowed these arguments from a number of educational gurus, some of whom travel the world expounding their viewpoints on the 'sorry state of education'. I'd rather they all went fishing, instead.

('The verdict: not guilty')

donderdag 1 september 2016

Revisely: een tool voor feedback op teksten

Er wordt in het onderwijs veel geschreven. U herinnert zich wellicht nog de tijd dat je je teksten op papier moest inleveren met dubbele regelafstand zodat de docent er gemakkelijk commentaar bij kon schrijven. Tegenwoordig worden teksten meestal digitaal ingeleverd (ikzelf verbied studenten zelfs expliciet om papieren versies in te leveren). Commentaar op een tekst geven kan met elke tekstverwerker, via commentaar in de kantlijn bijvoorbeeld. Dat werkt prima, en ik en zo'n beetje al mijn collega's werken volgens die methode. Wat er lastig aan is is het gebrek aan administratie (iedereen slaat documenten op zijn eigen manier op) en het feit dat je bij bijvoorbeeld 30 papers telkens hetzelfde commentaar aan het geven bent. Dat commentaar is ook niet gecategoriseerd, en het zou ook handig zijn als het commentaar gekoppeld zou kunnen worden aan een scoreformulier (of een rubric). Kortom: een gat in de markt, dat inmiddels wordt opgevuld door verschillende bedrijven.
Het logo van Revisely
Een van die bedrijven is Revisely, een bedrijf dat nog volop aan haar tool aan het sleutelen is maar dat al wel enige voet aan de grond heeft in het voortgezet onderwijs. De Universiteit Utrecht start binnenkort met een pilot, en als die een succes wordt dan gaan we allen gaandeweg op het gebruik van Revisely over. Tijdens een goedbezochte bijeenkomst werd Revisely geintroduceerd en kregen we de gelegenheid om (kritische) vragen te stellen en om Revisely uit te testen (ik had dat zelf al eens eerder gedaan). Ook voor de medewerkers van Revisely was het een informatieve bijeenkomst, want het bleek al snel dat de verwachtingen die docenten in het hoger onderwijs hebben (en wellicht ook de eisen die zij stellen) anders zijn dan die in het voortgezet onderwijs.

Eigenschappen van Revisely

Revisely werkt binnen elke webbrowser. Aan mobiele apps wordt nog gewerkt. Studenten plaatsen hun tekst in een veld op de webpagina, klikken op 'verzenden', en de docent kan ermee aan de slag. Uploaden van een document is nog niet mogelijk, dat staat op de roadmap voor januari (de roadmap is het ontwikkelplan, sommige zaken krijgen een hogere prioriteit dan andere). Geen breekpunt, maar erg handig is het niet (afbeeldingen gaan verloren bijvoorbeeld). Ingeleverde teksten worden automatisch op plagiaat gescand, daarvoor wordt het document naar de Zweedse servers van Urkund gestuurd. Een concurrent als Turnitin maakt gebruik van het bekendere Ephorus, maar Urkund zou minstens even goed moeten zijn, en "Hier komt de NSA tenminste niet bij." Ja, vast. Het systeem geeft zelf ook alvast feedback: enig basaal commentaar op spelling en grammatica wordt automatisch aan een document toegevoegd (je kunt dat ook uitzetten).
Een paar 'unique selling points' voor het hoger onderwijs (in ieder geval voor ons!) zijn de mogelijkheid tot het geven van peer feedback (studenten die op elkaars werk commentaar geven) en het bekijken van een document door meerdere correctoren. Deze mogelijkheden staan op de rol voor een grote update in oktober.
Feedback-keuzevenster
Goed, je hebt een tekst ontvangen en nu wil je er commentaar op geven. Dat doe je door een woord of zinsdeel in de tekst te selecteren en daarna op een icoon te klikken: een duim omhoog (voor iets positiefs), een duim omlaag (voor een kritische opmerking), of een neutrale opmerking. De duim omlaag werd niet zo gewaardeerd, maar is helaas niet te veranderen. Na het kiezen van een duim verschijnt een popup-menu, waar je je specifieke commentaar kunt selecteren uit een enorme lijst. Gelukkig kun je zelf 'favorites' kiezen zodat de lijst enigszins werkbaar wordt. Ik en enkele andere 'powerusers' vroegen of er ook sneltoetscombinaties mogelijk zijn om nog makkelijker feedback te geven. Helaas. Er werd door de aanwezige Reviselymedewerkers meteen een aantekening gemaakt, maar dergelijke extra features krijgen geen hoge prioriteit. De verschillende typen feedback hebben hun eigen achtergrondkleur (vage pastelkleuren, helaas niet aan te passen; voor kleurenblinden werkt dit niet goed), en een student kan de verschillende typen feedback aan- en uitzetten. Auditieve feedback (gesproken commentaar) is nog niet mogelijk, maar ook daar wordt aan gewerkt. Volgens Revisely is er wel veel vraag naar maar wordt het in de praktijk nauwelijks gebruikt.
Na alle uitleg mochten we zelf ook nog even met Revisely aan de slag. Het werkt allemaal heel redelijk. Dat het feedbackselectiescherm een popupvenster is dat over de tekst heen komt te staan is hinderlijk, maar het is een bewuste keuze: op deze manier kan het op alle schermen en platforms er hetzelfde uitzien. Ik had het liever anders gezien, met een vaste commentaarbalk aan de zijkant van het scherm waarbij je je feedback de tekst insleept, bijvoorbeeld.

Conclusie

Ik kan nog slechts een voorlopige conclusie trekken. Het is duidelijk dat Revisely goed op weg is, maar nog een lang eind te gaan heeft. De in het voortgezet onderwijs opgebouwde ervaring is goed, maar de vergelijkbaarheid met het hoger onderwijs lijkt een beetje overschat te worden. De komende updates zullen moeten uitwijzen of de mogelijkheden die voor ons essentieel zijn daadwerkelijk onderdeel van het product worden. Voorlopig moeten we het met beloften daarover doen. Dat zal mij er echter niet van weerhouden om Revisely een eerlijke kans te geven. Bij het eerstvolgende vak waarin studenten een schrijfopdracht uitvoeren ga ik de tool gebruiken om feedback te geven. Wordt dus zeker vervolgd.




woensdag 27 juli 2016

Meta-analyse: Ook bij onderzoekend leren kan een leerling ondersteuning gebruiken

Onderzoekend leren is een vorm van onderwijs waarbij leerlingen uitgedaagd worden om zelf problemen op te lossen, hypotheses te formuleren of experimenten uit te voeren. Ze zijn dan als het ware onderzoekers-in-de-dop. Doel hiervan is dat zij dan kennis 'ontdekken' in plaats van dat deze kennis hen uitgelegd wordt door een docent.  Onderzoekend leren past in een constructivistische visie op leren.

Er is echter veel discussie of onderzoekend leren wel zo leerzaam en efficiënt is. Deze kritiek werd duidelijk verwoord in het veel geciteerde discussieartikel van Kirschner, Sweller en Clark (2006). Zij stellen dat onderzoekend leren niet effectief kan zijn omdat het onderzoekend leren het werkgeheugen te veel belast. Tijdens het onderzoekend leren ervaart de leerling al een dusdanig grote belasting van het werkgeheugen dat er te weinig capaciteit overblijft om nieuwe informatie op te slaan in het langetermijngeheugen, aldus Kirschner, Sweller en Clark (2006).

Critici van het artikel van Kirschner et al. menen echter dat deze redenering vooral geldt voor het 'pure' onderzoekend leren, waarbij er geen begeleiding of slechts minimale ondersteuning of voor de leerling is. In een rea reactie stelden Hmelo-Silver, Duncan en Chinn (2007) bijvoorbeeld dat veel vormen van onderzoekend leren wel effectief zijn omdat er juist véél ondersteuning voor de leerling is, bijvoorbeeld door scaffolding of uitleg van de docent. Recente meta-analyses lijken deze redenering te ondersteunen. Zo vonden Alfieri et al. (2011) dat onderzoekend leren zonder begeleiding minder effectief is dan directe instructie door de docent (d = -0.38), terwijl onderzoekend leren mét ondersteuning effectiever is dan directe instructie (d = +0.30). De geboden begeleiding tijdens onderzoekend leren lijkt dus een belangrijke rol te spelen bij het leerproces van leerlingen.

Maar welke begeleiding is dan effectief tijdens onderzoekend leren? Deze vraag staat centraal in een recente overzichtsstudie van de Twentse onderzoekers Lazonder en Harmsen (2016). Zij voerden het onderzoek uit voor het NRO en de resultaten van dit onderzoek zijn onlangs verschenen in Review of Educational Research (de Nederlandse samenvatting is te lezen op de site van het NRO). De auteurs voerden een meta-analyse uit waarbij ze onderzochten wat het effect van verschillende vormen van ondersteuning is op (1) leeractiviteiten tijdens het onderzoekend leren, (2) prestaties tijdens onderzoekend leren en (3) leerprestaties. Lazonder en Harmsen maken hierbij onderscheid tussen de onderstaande vormen van ondersteuning tijdens onderzoekend leren.


De meta-analyse van Lazonder en Harmsen biedt enkele belangrijke conclusies:
  1. Onderzoekend leren met ondersteuning is effectiever dan onderzoekend leren met slechts minimale ondersteuning wat betreft leeractiviteiten (d = +0.66), prestaties tijdens onderzoekend leren (d = +0.71) en leerprestaties (d = +0.50).
  2. Vooral wanneer gekeken wordt naar prestaties tijdens het onderzoekend leren (hoe succesvol zijn leerlingen in het uitvoeren van het omderzoek?) blijkt de aard van de geboden ondersteuning belangrijk te zijn. Volgens Lazonder en Harmsen blijken vooral specifieke, op de leerling toegesneden, vormen van ondersteuning effectief te zijn (bijvoorbeeld uitleg en scaffolds) in vergelijking tot meer algemene of generieke ondersteuning (process constraints of prompts).
Belangrijkste les uit het werk van Lazonder en Harmsen is dat leerlingen tijdens onderzoekend leren wel degelijk ondersteuning nodig hebben van de docent. De rol van de docent is dus bij onderzoekend leren ook belangrijk. Daarnaast is het ook van belang op welke wijze ondersteuning geboden wordt: meer specifieke ondersteuning is dan wellicht effectiever dan generieke, algemene ondersteuning.

Alfieri L., Brooks P.J., Aldrich N.J., & Tenenbaum H.R. (2011). Does discovery-based instruction enhance learning? Journal of Educational Psychology, 103, 1–18. doi:10.1037/a0021017
Hmelo-Silver, C. E., Duncan, R. G., & Chinn, C. A. (2007). Scaffolding and Achievement in Problem-Based and Inquiry Learning: A Response to Kirschner, Sweller, and Clark (2006). Educational Psychologist, 42, 99–10.
Kirschner, P. A., Sweller, J., & Clark, R. E. (2006). Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching. Educational Psychologist, 41, 75-86.
Lazonder, A. W. & Harmsen, R. (2016). Meta-Analysis of Inquiry-Based Learning: Effects of Guidance. Review of Educational Research, 86, 681-718.

maandag 18 juli 2016

Veni-subsidie voor Janneke van de Pol

Onderzoeker en docent Janneke van de Pol heeft van NWO een prestigieuze Veni-beurs gekregen voor haar project 'Do I know what you know? Promoting students' learning via accurate teacher judgments and adaptive support'. De Veni-beurzen zijn bestemd voor jonge, onlangs gepromoveerde, veelbelovende onderzoekers. De beurs bedraagt maximaal 250.000 euro, waarmee de onderzoeker gedurende drie jaar een eigen onderzoek kunnen uitvoeren.


Scientific summary of research proposal
Every student is different and thus has different needs to succeed in (future) education and working life. To stimulate each student's potential optimally, the Dutch government and Inspectorate call for providing adaptive support (support fitting students' needs). However, to deliver adaptive support, teachers must know what their students know. As it turns out, they do not. Consequently, students often do not receive the support needed, resulting in underachievement.
Surprisingly little is known about how teachers form judgments of students' knowledge and how to improve these. This project is the first to systematically investigate teacher judgment processes and directly translate these findings into a teacher-aid for improving judgment accuracy, adaptive support, and student learning. Central to this project is adolescents' text-learning ability, which is essential to most school subjects, (future) education and working life. However, 33% of Dutch students score below par and Dutch performance drops in international rankings. Fortifying this key ability is therefore crucial.
When judging students' knowledge e.g., while helping students during classroom seatwork, teachers often use information or cues (e.g., students' interest in a topic) that are not indicative of students' actual knowledge, leading to inefficient and non-adaptive support. Therefore, I will develop a teacher cue-aid (i.e., directions for teachers what cues they should use) helping to quickly and accurately gauge students' knowledge and subsequently provide adaptive support, which ultimately improves learning.
Study 1 determines which cues teachers should use to form accurate judgments. This enables development of the cue-aid, tested in Study 2. Study 3 validates the effect of better judgments on increased adaptivity and higher learning yield. The evidence-based cue-aid can be readily implemented in teacher training and flexibly applied to text learning in many subjects. It contributes to answering the government's and inspectorate's call for adaptive support, the essential foundation of teacher judgment accuracy.

Public summary of your research proposal
Do I know what you know?
High school teachers are often insufficiently aware of their students' knowledge. Therefore, students frequently receive inadequate individual support, resulting in suboptimal performance. This project focuses on investigating and promoting teacher judgment accuracy and subsequently support adaptivity and students' learning by training teachers to use more informative cues when making judgments.

Weet ik wat jij weet?
Docenten in het voortgezet onderwijs schatten de kennis van hun leerlingen vaak verkeerd in. Hierdoor krijgen leerlingen niet altijd adequate hulp, resulterend in suboptimale leeruitkomsten. Dit project beoogt de inschattingsvaardigheden van docenten en daarmee de door hen geboden hulp te verbeteren teneinde leeruitkomsten van leerlingen te verhogen.