Aan de slag met vakdidactisch onderzoek: methodologische aspecten

Report
Methoden en technieken van
kwaliteitsvol praktijkgericht onderzoek
Geraldine Clarebout & Joke Torbeyns
07-09-2012
Contact: [email protected];
[email protected]
Inhoud
 Kiezen van methoden: verschillende types
 Steekproeftrekking
 Betrouwbaarheid en validiteit
 Verwerking van data
 Praktijkrelevantie bewaken
 Aan de slag
Kiezen van methode
 Eerste stap in onderzoeksproces: probleemstelling,
onderzoekvraag (evt. hypothesen) – obv literatuur, reële
problemen (zie sessie 2: De onderzoekende houding als
startpunt van praktijkgericht onderzoek)
 Tweede stap in onderzoeksproces
 Kiezen van methode
 Verschillende opdelingen, verschillende benamingen
 kwantitatief – kwalitatief onderzoek
 Algemeen onderzoekstypes
 Specifieke onderzoekstypes
Keuze afhankelijk van vraag, van soort data dat je wenst te
verzamelen en soms afhankelijk van praktische mogelijkheden
Kiezen van methoden
(tabel uit Dieussaert, Smits, & Goubin,
2011)
Doel van het
onderzoek
Wat?
Kwantitatieve
benadering
Kwalitatieve benadering
Weten
Beschrijven
van een
situatie,
definiëren van
een concept
Hoe vaak komt iets voor?
Wat zijn eigenschappen van?
Uit welke bestanddelen
bestaat het fenomeen?
Wat denkt men over….?
Welke verschillende opvattingen
zijn er over…?
Welke dimensie omvat
fenomeen…?
Wat is belangrijk bij…?
Verkennen van
een verband
Welke factoren zijn
gerelateerd aan…?
Volgens welk patroon of proces
evolueert fenomeen x?
Wat zijn de antecedenten
van…?
Vergelijken
In welke mate verschilt X van
Y mbt kenmerk..?
Waarin verschillen de
opvattingen van groep A tov
groep B?
Hoe gedraagt groep A zich in
vergelijking met groep B?
Doel van het Wat?
onderzoek
Kwantitatieve
benadering
Kwalitatieve benadering
Weten
Verklaren
Welke factoren
veroorzaken X?
In welke mate leidt een
toename van X tot een
toename van Y?
Hoe is de situatie ontstaan?
Hoe kan men fenomeen X
verklaren? Wat houdt het in
stand?
Veranderen
Experimenteel
ingrijpen,
actieonderzoek
Leidt interventie X tot…
Hoe kan dynamiek X op gang
gebracht worden?
Evalueren
Meten of evalueren In welke mate heeft
van effecten
ingreep X effect op…?
Geeft ingreep A betere
resultaten dan ingreep B
op….?
In welke mate zijn mensen
tevreden over….?
Ontwerpen
Oplossen voor een
nieuwe probleem,
nieuwe toepassing
Wat zijn de gevolgen van het
invoeren van…?
Hoe denken mensen over de
nieuwe evolutie in….?
Wat roept X of Y op?
Ontwikkelonderzoek maakt vaak gebruik van een veelheid aan
methodes en vooral van een gefundeerde trial and errorbenadering, om zo tot een goed product te komen in
systematische stappen
Kiezen van methode
Algemene onderzoekstypes
Beschrijvende studies
II. Associatief onderzoek
III. Interventieonderzoek
I.
I.
II.
Design based research
Actieonderzoek
Kiezen van methode: weten
I.
Beschrijvende studies
Beschrijving van situatie (bv. beschrijving van voorkeuren van
studenten, beschrijving van klassen, gedrag van studenten,
scores op testen, soorten handboeken…) door
literatuuronderzoek of vragenlijstonderzoek


Geen inzicht in waarom; kan basis zijn voor verder onderzoek
Weten wat er is
Kiezen van Methode: Weten
 Literatuurstudie:
 Zoek naar ‘preliminary’ sources (Eric, PsycInfo, Web of Science, Google
Scholar
 Gebruik secundaire bronnen (reviews)
 Lees primaire bronnen
 Synthetiseren van de literatuur
 Welke bronnen neem je mee op?
 Wat soort onderzoek neem je mee op?
 Wat zijn je zoektermen (descriptoren)?
 Welke beperkingen leg je op (bv. jaartallen)?
Bv. Start om onderzoeksvraag te beantwoorden naar optel en
aftrekstrategieën in de eerste drie leerjaren in de lagere school.
~> zie sessie 2: de onderzoekende houding als startpunt voor
praktijkgericht onderzoek
Kiezen van methode: Weten
 Vragenlijstonderzoek: inzicht in kenmerken van een groep
(leerkrachten, directie, leerlingen)
 Schriftelijke vragenlijst:


Belangrijk:
o Duidelijke, eenduidige vragen stellen (open of gesloten vragen?)
o Eerlijke antwoorden generen
o Respons bij schriftelijke vragenlijst
Voordeel:
o Grote groep in korte tijd bevragen
o Vaak eenduidige kwantitatieve verwerking
Bv. Percepties van studenten over digitale cursussen meten
Kiezen van methode: Weten
 Vragenlijstonderzoek (vervolg)
 Interview:


Belangrijk:
o Duidelijke, eenduidige vragen stellen
o Open gesprek, eerlijke antwoorden genereren
Voordeel:
o Stellen van open vragen
o Het kunnen doorvragen
Bv. Zicht krijgen op gehanteerde strategieën door leerlingen
(retrospectief) bij rekenen
Interview met directie om zicht te krijgen op mate waarin ICTgebruik ondersteund wordt door de directie
Kiezen van methode: Weten
 Etnografisch onderzoek: een volledig beeld krijgen van processen
(bv. Wat doen leerlingen tijdens een les LO?)
 Observeren en interviewen op geregelde tijdstippen van leden van de
bestudeerde groep, zo volledig mogelijk beeld krijgen
 Vaak over langere periode
 Belangrijk:
Sterk afhankelijk van de specifieke onderzoeker
 Niet altijd veralgemeenbaar
 Moeilijk controleerbaar

 Kwalitatieve gevalsstudies
 Grondige studie van afzonderlijke cases
 Identificeren van fenomenen
 Bijdragen tot theorievorming
Kiezen van methode: Weten
Nog andere beschrijvende methoden
 Narratief onderzoek
 Biografie: focus op belangrijke gebeurtenissen in iemands leven
 Fenomenologie: focus op specifiek fenomeen (bv. Conflicten, critical
incidents)
 Grounded theory: ontwikkelen van theorie op basis van data
 Documentanalyse (bv. Handboekanalyse, analyse van
bachelorproeven)
Kiezen van methode: Weten
Voorbeeld 1
 Onderzoek naar het gamegedrag van jongeren en hun opvattingen
over het gebruik van games in het onderwijs
 Aanbod van online vragenlijst aan 487 leerlingen secundair
onderwijs en 298 studenten lerarenopleiding
 Online vragenlijst bestaande uit open en gesloten vragen
1. Gesloten vragen
Ja/neen; meerkeuzevragen
 Speel je digitale games? (ja/neen)
 Hoe vaak? (<2u per week; 2-6u per week; ...)

2.
Open vragen
Mogelijkheid tot uitgebreid antwoord
 Wat is de mogelijke meerwaarde van het gebruik van digitale games in het
onderwijs volgens jou?

Kiezen van methode: Weten
Voorbeeld 1
 Beschrijving van het gamegedrag van Vlaamse jongeren en
hun opvattingen over het gebruik van games in het onderwijs
Frequentie van gamen
2. Aard van de meest gespeelde games
3. Opvattingen over games in het onderwijs
4. Motivatie voor/tegen games in het onderwijs
Met vergelijking van leerlingen secundair onderwijs en studenten
lerarenopleiding
1.
Kiezen van methode: Weten
Voorbeeld 2
 Onderzoek naar de houding van directieleden (lager onderwijs)
tegenover leerkrachten met dyslexie in het onderwijs
 Aanbod van schriftelijke vragenlijst aan 264 directieleden lager
onderwijs; gevolgd door individueel interview met 8 directieleden
lager onderwijs
 Schriftelijke vragenlijst bestaande uit gesloten vragen
Ja/neen; meerkeuzevragen; stellingen
 Heeft u momenteel een leerkracht met dyslexie in het team? (ja/neen)
 Hebben leerkrachten met dyslexie, volgens u, specifieke sterke punten die
voortvloeien uit hun dyslexie? Zo ja, welke? (meerkeuze)
 Stelling: ik neem een leerkracht met dyslexie niet aan (5-punten schaal,
gaande van helemaal niet akkoord tot helemaal akkoord)

Kiezen van methode: Weten
Voorbeeld 2
 Individueel interview bestaande uit open vragen
Verdere toelichting en verdieping van antwoorden op schriftelijke
vragenlijst

Waar is/was de leerkracht met dyslexie, uit uw team, goed in?
 Welke talenten herkent/herkende u bij deze leerkracht?

(onderstaande vragen stellen voor elk talent dat wordt aangehaald)
 Hoe komen/kwamen deze talenten tot uiting in de praktijk?
 Hebt u enig idee wat maakt dat die leerkracht met dyslexie daar goed in is?
 Komen die talenten ook terug bij leerkrachten zonder dyslexie?
 Welke wel?
 Welke niet?

Hoe zou u deze verschillen verklaren?

Waarom denkt u dat die talenten vooral terugkomen bij leerkrachten met dyslexie?
 Zijn de genoemde talenten belangrijk voor het beroep als leerkracht?
 Zo ja? Waarom?
 Zo nee? Waarom niet?
Kiezen van methode: Weten
Voorbeeld 2

Beschrijving van de visie van directieleden m.b.t.
leerkrachten met dyslexie in het onderwijs op basis van
zowel schriftelijke vragenlijst (algemeen) als individuele
interviews (concrete toelichtingen en voorbeelden)
Kiezen van methode: weten
II. Verkennen van verbanden
Relaties tussen verschillende variabelen, gebeurtenissen
=> GEEN oorzakelijke uitspraken!
=> GEEN basis om interventie te doen
Is er een relatie tussen leerkracht gedrag en score op een test van
leerlingen, of sociaal economische status, relatie tussen
attitudes en prestaties, geslacht en attitude
Kiezen van methode: weten
 Correlationeel onderzoek: onderzoeken van relaties tussen
verschillende variabelen (bv. Samenhang tussen leesvaardigheid
en oplossen van vraagstukken en begrijpen van wiskundige
begrippen)



Geen manipulatie
Afnemen van instrumenten om de verschillende variabelen te meten
(bv. Vragenlijst, testen)
Geen causale uitspraken, maar vaak wel basis
 Causaal-comparatief onderzoek: zoeken naar de oorzaak of het
gevolg van bestaande verschillen tussen groepen
• Onderzoeken van effecten
• Onderzoeken van oorzaken
• Onderzoeken van gevolgen
Kiezen van methode: Weten
Voorbeeld 1
 Onderzoek naar het gamegedrag van jongeren en hun
opvattingen over het gebruik van games in het onderwijs
 Correlationeel onderzoek
1.
Nagaan van verband tussen enerzijds gamegedrag van Vlaamse
jongeren en anderzijds
 Opleiding (secundair onderwijs – lerarenopleiding)
 Geslacht (man – vrouw)
 ICT-vaardigheden (zwak – matig – sterk)
2.
Nagaan van verband tussen enerzijds houding t.o.v. games in
het onderwijs en anderzijds gamegedrag
Kiezen van methode: Weten
Voorbeeld 2
 Onderzoek naar de houding van directieleden (lager
onderwijs) tegenover leerkrachten met dyslexie in het
onderwijs
 Correlationeel onderzoek: nagaan van verbanden tussen
enerzijds houding tegenover leerkrachten met dyslexie in het
onderwijs en anderzijds ervaringen met deze leerkrachten
Kiezen van methode: veranderen /
evalueren
III. Interventiestudie
een bepaalde interventie, methode wordt verwacht een invloed te
hebben op specifieke variabelen
=> uitspraken doen over effectiviteit van methoden
=> bevestigen (of juist niet) van theoretische
voorspellingen
Effect van verschillende onderwijsmethoden op leerresultaten
Effect van werken vanuit ervaringen bij kinderen op
wetenschappelijk denken
Kiezen van methode: veranderen /
evalueren
 experimenteel onderzoek: uittesten van verschillende
interventies en effect ervan onderzoeken
 onafhankelijke (interventie) en afhankelijke variabelen
 manipuleren van onafhankelijke variabele
 maakt de interventie een verschil?
Pre-test __________interventie_________Post-test
Pre-test ____________________________Post-test
 Belangrijk


Controleren andere variabelen
Selectie van deelnemers: at random => quasi-experimenteel design
Kiezen van methode: veranderen /
evalueren
Voorbeeld
 Onderzoek naar de effecten van de implementatie van de
leerlijn onderzoekvaardigheden in de lerarenopleiding op de
opvattingen m.b.t. (het gebruik en zelf uitvoeren van)
praktijkgericht onderzoek van studenten lerarenopleiding
 Pretest: schriftelijke vragenlijst m.b.t. opvatting m.b.t. het
gebruik en zelf uitvoeren van praktijkgericht onderzoek in de
eigen onderwijspraktijk (gesloten vragen, open vragen)
 Interventie
1. Studenten controlegroep: afstudeerders, geen expliciete
instructie m.b.t. het zelf opzetten en uitvoeren van
praktijkgericht onderzoek
Kiezen van methode: veranderen /
evalueren
Voorbeeld
 Interventie
Studenten controlegroep
2. Studenten experimentele groep: gerichte en expliciete
interventie (nieuwe leerlijn) m.b.t. het zelf opzetten en
uitvoeren van praktijkgericht onderzoek; driejarige leerlijn
 Posttest: schriftelijke vragenlijst m.b.t. opvatting m.b.t. het
gebruik en zelf uitvoeren van praktijkgericht onderzoek in de
eigen onderwijspraktijk (gesloten vragen, open vragen)
 Analyse van invloed interventie op opvattingen studenten
(vergelijking experimentele groep, controlegroep)
1.
Kiezen van methode: ontwerpen
IV. Design-based research (~ontwikkelingsonderzoek)
 Vijf kenmerken: Pragmatic, Grounded, Interactive, iterative and flexible,
Integrative, and Contextual”
 Pragmatisch: vertrekkend vanuit probleem in realiteit door interventie
en uitbreiden van theorie
 Gegrond (‘grounded’): zowel in de realiteit als in de theorie
 Interactief, Iteratief en flexibel: samenwerking tussen onderzoekers en
leerkrachten, gedurende lange tijd, continue verfijning van interventie
 Integratief: variatie aan onderzoeksmethoden, zowel kwalitatief als
kwantitatief
 In context
Kiezen van methode
 Actieonderzoek
 ‘teacher as researcher’
 Onderzoeken van eigen praktijk
 Systematisch en kritisch
 Oog op verbetering van eigen lespraktijk
~> illustraties van praktijkgericht onderzoek (SoE CLARA)
Kiezen van methode: besluit
 De ene methode niet beter dan de andere
 Belangrijk die methode te kiezen die een antwoord geeft op
je onderzoeksvraag
 In praktijk vaak verschillende methoden en verschillende
instrument (triangulatie)
 Belang van critical friend hoe nauwer je als onderzoeker
betrokken bent bij het onderzoek
Steekproeftrekking
 Wie zijn mijn deelnemers, bij wie doe ik een bevraging?
 Populatie groot?=> deelverzameling
 Representativiteit => generaliseren
 Afhankelijk van kenmerken waarin je geïnteresseerd bent (bv.
Onderwijstype, geslacht, SES,..)
 Zelden volledige representativiteit
 Representatief voor bepaalde variabelen, niet voor andere
Steekproeftrekking
 Soorten steekproef
 Zuivere toevalssteekproef
 Volledige lijst van onderzoekselementen (bv. Lijst met alle leerkrachten) ,
trekken op basis van toeval
 Conceptueel eenvoudig, maar weinig gebruikt
o Moeilijk om exhaustieve lijst van onderzoekselementen op te stellen
o Geografische spreiding van de onderzoekselementen
o Representativiteit niet gegarandeerd (bij kleinere steekproef)
 Gestratificeerde enkelvoudige aselecte steekproef:
 Onderscheiden van deelpopulaties die verschillen op relevante variabele
(bv. Leerkrachten uit GO! Leerkrachten VGO, leerkrachten OGO)
 Deelgroepen = strata
 Nemen van enkelvoudige aselecte steekproef binnen de strata
 Proportionele verdeling gelijk aan verdeling in de populatie, of bewust
niet proportionele verdeling
Steekproeftrekking
 Getrapte steekproef
Eerst aantal primaire eenheden selecteren (bv. scholen)
 Steekproef van secundaire eenheden (bv. leerkrachten) uit
geselecteerde primaire eenheden
 Gemakkelijkheidssteekproef
 Eenvoudig
 Moeilijk generaliseerbaar, obv theoretische argumenten

Validiteit en betrouwbaarheid
 Validiteit
 Inhoudsvaliditeit: zijn de indicatoren en vragen een goede
afspiegeling van de te meten variabele (bv. Aanwezigheid op
schoolvergadering goed indicator van leerkrachtmotivatie?)
 Criteriumvaliditeit: hangen scores van deelnemers op een
instrument samen met de scores die deelnemers behalen op een
extern criterium (vooronderzoek voor nodig) (bv. Indien we
vragen of leerkrachten gebruik maken van ICT is dat inderdaad
een indicator voor het effectief gebruik?)
 Betrouwbaarheid: instrument is betrouwbaar als het bij
herhaalde toepassing op dezelfde, onveranderde elementen
dezelfde waarde van de variabele als meetresultaat oplevert.
Verwerking data
 Afhankelijk van methode
 Kwantitatief
 Zorg voor datafile
 Verwerking kan excel, spss, sas,….
 Kwalitatief
 Coderingschema opstellen
 Turven ~kwantitatief
 ‘beschrijven’
Tip: Mortelmans, D. (2007). Handboek kwalitatieve onderzoeksmethoden.
Leuven: Acco
te Gortenhuis, M., & Matthijsen, A. (2011). Basiscursus SPSS. Assen: Van
Gorcum
Waarborgen van praktijkrelevantie
 Relatief eenvoudig bij actie-onderzoek, design-based research
 Niet uit het oog verliezen bij interventieonderzoek
 Zorg voor betrekken van praktijk bij elke stap in het onderzoek
 Resultaten bekijken vanuit theoretische relevantie, maar ook
praktijkrelevantie (disseminatie naar praktijk! ~sessie 6)
Aan de slag
 Vertrek in groepjes van 5 met een onderzoeksvraag die je
tijdens sessie 2 hebt gezien, of een eigen onderzoeksvraag.
Schrijf hiervoor de methode, instrumenten, deelnemers uit.

similar documents