Toetsconferentie 11 november 2014 Jorik Arts & Mieke Jaspers Lectoraat Kwaliteit van Toetsen en Beoordelen Kwesties en/of vragen ◦ eigen aanpak Theoretisch kader Koppeling theorie en praktijk ◦ Terugblik eigen aanpak ◦ Nabespreken Hulpmiddelen voor het verbeteren van de praktijk: Turnitin Afsluiting Verwachtingen / vragen / kwesties? Voorzie de printjes van (schriftelijke) feedback ◦ Het betreft de eerste aanzet voor een afstudeeronderzoek van de lerarenopleiding Meta-analyse: Feedback is een zeer krachtig instrument (Hattie, 2009) Maar veel variatie in de opbrengst vastgesteld (Kluger & DeNisi, 1996) ◦ Feedback leidt dus niet automatisch tot een leeropbrengst… Definitie: ‘Feedback is information about the gap between the actual level and the reference level of a system parameter which is used to alter the gap in some way’ (Ramaprasad, 1983) Doel van de feedback : het verschil (de ‘gap’) tussen geleverde en gewenste prestatie veranderen Echter, niet alle feedback is goede feedback… (Boud & Malloy, 2013) Definitie: ‘Feedback is information about the gap between the actual level and the reference level of a system parameter which is used to alter the gap in some way’ (Ramaprasad, 1983) Doel van de feedback : het verschil (de ‘gap’) tussen geleverde en gewenste prestatie veranderen It is very poor quality feedback: little of it, random, insensitive, unreadable.. It also has marks on it It does not make any sense It relates to goals and standards students don’t understand It is too late to be useful It is about a topic they will never study again It is about how to tackle an assignment that is different from their next assignment ...it does not feed forward (keynote Gibbs, 2012) Tja, dan wordt het complex… ◦ Hoe en wanneer meet je het leren? En hoe bepaal je dan precies de rol van feedback? (Price, 2010) ◦ Wat wordt er geleerd? Voor het aanleren van taal lijkt een andere strategie succesvol dan voor het aanleren van andere vaardigheden/cognities (Bitchener & Knoch, 2009) ◦ Hoe wordt de feedback ontvangen? Invloed van zelfvertrouwen, ervaring en angst (Eva et al., 2010) ◦ Wordt de feedback ontvangen? (Boud & Malloy, 2013) Tja, dan wordt het complex… ◦ Hoe en wanneer meet je het leren? En hoe bepaal je dan precies de rol van feedback? (Price, 2010) ◦ Wat wordt er geleerd? Voor het aanleren van taal lijkt een andere strategie succesvol dan voor het aanleren van andere vaardigheden/cognities (Bitchener & Knoch, 2009) ◦ Hoe wordt de feedback ontvangen? Invloed van zelfvertrouwen, ervaring en angst (Eva et al., 2010) ◦ Wordt de feedback ontvangen? (Boud & Malloy, 2013) Docenten doen niet altijd wat ze denken dat ze doen… (Lee, 2009) ◦ Aandacht voor taal (doen), aandacht voor structuur (denken) ◦ Veel aandacht voor individuele fouten (doen), algemene terugkerende fouten (denken) ◦ Aangeven van fouten (doen), studenten moeten zelf de fouten opsporen (denken) ◦ Aangeven van fouten (doen), aandacht voor positieve aspecten (denken) ◦ Feedback is dwingend (doen), studenten zouden meer verantwoordelijk moeten worden (denken) ◦ Cijfers geven (doen), overtuiging dat het afleidt van feedback (denken) Good feedback practice: 1. helps clarify what good performance is (goals, criteria, expected standards); 2. facilitates the development of self-assessment (reflection) in learning; 3. delivers high quality information to students about their learning; 4. encourages teacher and peer dialogue around learning; 5. encourages positive motivational beliefs and self-esteem; 6. provides opportunities to close the gap between current and desired performance; 7. provides information to teachers that can be used to help shape teaching. Nicol, D. J. and Macfarlane-Dick, D. (2006) Formative assessment and selfregulated learning: a model and seven principles of good feedback practice. Studies in Higher Education, 31 (2), 199–218. Diepte van de feedback (Glover & Brown, 2006): Diepte 1: een indicatie Diepte 2: een correctie Diepte 3: Een indicatie of correctie met een uitleg Bij diepte 1 & 2 blijft de gap bestaan omdat ◦ Een indicatie slechts aangeeft dat er een gap bestaat tussen de geleverde prestatie en de gewenste prestatie. ◦ Een verbetering slechts aangeeft wat de gewenste prestatie is. Koppeling aan gewenst niveau en beoordelingscriteria Complex Literatuur beschrijft handvatten: ◦ Feedback, feed up, feed forward ◦ Taak, proces, zelfregulatie en persoon ◦ Indicatie, verbetering, uitleg Kijk nu eens terug naar de schriftelijke feedback die je bij de start hebt gegeven en probeer in tweetallen de feedback te rubriceren: ◦ Feedback, feed up, feed forward ◦ Taak, proces, zelfregulatie, persoon ◦ Indicatie, correctie, uitleg Hoe zit het met de formulering? ◦ Begrijp je als lezer wat je moet doen met de gegeven feedback? Zijn er overeenkomsten in de feedback (in tweetallen)? Vergelijkbare opmerkingen Lectoraat kwaliteit van toetsen en beoordelen (Jorik samen met Mieke Jaspers): ◦ Kwaliteit van de schriftelijke feedback binnen de lerarenopleiding Biologie ◦ In hoeverre leidt het gebruik van een vormgever tot verandering in de feedbackpraktijk? ◦ In hoeverre leidt een centrale positie van feedback in een onderzoeksleerlijn tot diepleren van studenten? ◦ In hoeverre leidt het gebruik van een digitale tool (Turnitin) tot meer effectieve en efficiënte feedback? Lectoraat talendidactiek (Johannes): ◦ In hoeverre leidt het gebruik van een digitale tool (Kung Fu Writing) tot meer effectieve en efficiënte feedback? Quickmark sets www.turnitin.com Kungfuwriting.com [email protected] (Turnitin) [email protected] (KungFuWriting) How to continue? All assessed with the same rubric: feedback & feed up Spin off: • curriculum design: developing skills for doing (writing) research Feed forward 1. Introduction + research questions (formative) 2. Introduction + research questions (summative) + methods (formative) 3. Introduction + research questions + methods (summative) + results (formative) 4. Etc