luento3

Report
Kvantitatiiviset tutkimusmenetelmät
Luento 3
Mittaaminen ja tutkimuksen arviointi
Kaisu Puumalainen
Tutkimuksen arviointi ja virheet
Hyvän tutkimuksen
ominaisuuksia
− Rigour
− Hyvä tieteellinen käytäntö niin toteutuksessa kuin
raportoinnissa
− http://www.tenk.fi/hyva_tieteellinen_kaytanto/kayta
nto.html
− http://www.aomonline.org/aom.asp?ID=268&page_
ID=240
− Validiteetti ja reliabiliteetti
− Relevance
− Tutkimuksella on merkitystä
− Ei nollatutkimusta
− Käytännön relevanssi ja tieteellinen relevanssi
Virheitä voi tulla joka vaiheessa
ilmiö
käsitteellistäminen
käsitteet
operationalisointi
kohderyhmän
määrittely
muuttujat
mittaaminen
kohderyhmä
otanta
otos
datamatriisi
tiedonkeruu
tulokset
analyysi
Kohderyhmän määrittely ja otanta
−
−
−
−
−
−
Valittu kohderyhmä ei palvele tutkimuksen tavoitetta
Valintavirhe (selection bias eli survivor bias)
Perusjoukon määrittelyvirhe
Otantakehyksen virheet ja puutteellisuudet
Liian pieni (tai suuri) otos
Väärä informantti
− Otantavirhe (sampling error) on virhe, joka liittyy aina otantaan ja joka
otetaan huomioon tilastollisessa analyysissa (laskemalla otoksesta saatujen
estimaattien keskivirheitä, luottamusvälejä ja tilastollisia testejä)
Tiedonkeruuvirheet
− Tutkijan virheitä
− kysymys esitetään väärin, seurauksena esim. vinot jakaumat,
keskittyneisyys tai halo effekti
− vastaus tallennetaan väärin
− häirintä tiedonkeruutilanteessa
− Vastaajan vastausvirheet
− tahalliset
− Tahattomat
− vastaamattomuusvirhe
Vastausvirheet
− tahattomat
− ei tiedä /muista vastausta/ ei osaa muotoilla oikein
− Common method/source variance/bias (jos kaikki kysymykset
kysytään samalla tavalla samoilta henkilöiltä niin vastauksissa
ilmenee näennäistä, pelkästä kysymystavasta johtuvaa
korrelaatiota, voi todeta Harman’in testillä ja välttää käyttämällä
useita eri informantteja tai kysymällä eri aikoina)
− Vastaustyylit (esim. agreement bias, vastaaja on kaikesta samaa
mieltä, ARS/DARS, ExtremeRS, RRange, MidPointR)
− tahalliset
− haluaa antaa sosiaalisesti hyväksyttäviä vastauksia (social
desirability, Crowne&Marlowe 1964)
− haluaa ”kaunistella” tilannettaan
− Haluaa tehdä kiusaa
− hutiloi, on väsynyt
Vastaamattomuusvirheet
(non-response bias)
− kaikki eivät vastaa ollenkaan, alhainen
vastausprosentti
−
−
−
−
−
kannusteet
uusinnat
informointi etukäteen
vastaamatta jättäneiden analysointi
Aikaisten ja myöhäisten vastaajien vertailu
− epätäydelliset vastaukset
− Hyödynnä, jos suurin osa kysymyksistä on vastattu ja
hylkää kokonaan jos suurin osa puuttuu
− Puuttuvien arvojen imputointi
Analysointivirheet
−
−
−
−
−
Väärä tai liian heikko tilastollinen testi
Tulosten väärät tulkinnat
Huolimattomuus (esim. outlier-tarkastelut)
Mallien väärä spesifiointi
Ylisovittaminen (overfitting, mallissa on liikaa muuttujia suhteessa
havaintojen määrään, johtaa hyvään sopivuuteen otoksessa mutta heikkoon
yleistettävyyteen)
− Johtopäätösten on oltava linjassa analyysitulosten kanssa
Mittaaminen
Mittaaminen
−
−
−
−
Yleistä
Mittarin kehittämisprosessi ja vaiheiden yksityiskohdat
Kirjallisuutta aiheesta
Esimerkki ja reliabiliteetin arviointi SAS-ohjelmistolla
12
Yleistä mittaamisesta
− Tieteellisen tutkimuksen tavoitteena teorian kehittäminen
− Teoria muodostuu käsitteistä ja niiden välisistä
yhteyksistä (käsitteet, typologiat, suhteet)
− Monet käsitteet ovat hypoteettisia: ei vastinetta
fysikaalisessa maailmassa (älykkyys, sitoutuminen)
− Jotta tiede edistyisi, teorioiden (epä)pätevyys on
todistettava
− Empiirinen tutkimus onnistuu vain, jos käsitteet on
määritelty ja operationalisoitu
13
Miksi operationalisoinnilla on väliä?
− operationalisointi = millä indikaattoreilla mitataan käsitettä, ja miten tieto
kerätään ja analysoidaan
− data, jota keräämme on mittauksen tulos – se ei ole välttämättä todellinen
arvo tai määrä käsitettä
− todellinen (käsite) = aineistosta saatu (mittari) + virhe
− virhe (error, bias) voi olla satunnaista tai systemaattista
− mittaamiseen liittyy aina virhettä, mutta tulisi pyrkiä mahdollisimman lähelle
todellista
14
Yhdistetty mittari vai yksittäinen muuttuja?
− jos käsite on abstrakti, vaikeasti havaittava ja monitahoinen, niin yhdistetty
on parempi
Single-item Measure
TRUE
Actual
Multi-item Measures
Actual-1Actual-2
TRUE
Actual-3
valokuvat kohteesta useammasta
suunnasta antavat paremman käsityksen
kuin yksi valokuva
15
Mittaamisen kaksi näkökulmaa
− reflektiivinen perinteisesti yleisempi
−
−
−
−
−
latentti käsite vaikuttaa indikaattoreihin (items, väittämät, osiot)
indikaattori on käsitteen funktio
kaikki indikaattorit muuttuvat yhtä aikaa, jos käsite muuttuu
Indikaattorit korreloivat keskenään
Esim. kielitaito
− formatiivinen
−
−
−
−
−
−
indikaattorit vaikuttavat latenttiin käsitteeseen
käsite muuttuu, jos yksikin indikaattori muuttuu
Indikaattorit eivät välttämättä korreloi keskenään
esim. SES, HDI, maariski ym. indeksit
Esim. liikunnan harrastaminen
(Diamantopoulos, A. artikkeleita aiheesta )
− matemaattiset menetelmät hieman erilaisia
16
Mittarin muodostamisprosessi
(scale development)
−
−
−
−
−
−
−
−
−
−
käsitteen määrittely
väittämien laatiminen (item generation)
muuttujien karsiminen
tiedon keruu
muuttujien karsiminen
mittarin muodostaminen
yksidimensioisuuden varmistaminen (unidimensionality)
reliabiliteetin arviointi (reliability)
validiteetin arviointi (validity)
yleistettävyyden arviointi (replikointi, stability across
samples)
− Ks. SERVQUAL.pdf
17
Käsitteen määrittely
−
−
−
−
−
−
Arkikielen määritelmä ja tieteellinen määritelmä
Samalle käsitteelle löytyy yleensä monta erilaista
määritelmää tieteellisistä tutkimuksista (esim. Kulttuuri
yli 300 kpl)
Mitä tämä diversiteetti aiheuttaa tieteen edistymiselle?
Operationaalinen määritelmä käyttää termejä, jotka
ovat empiirisesti mitattavissa
Ks. Marketorientation.xls
esim. Sitoutuminen: jatkuvuus, panostus, valmius
uhrauksiin
18
Käsite: äidinkielen taito
suullinen
viestintä
AI
kirjallinen
viestintä
sanaston
käyttö
kuuntelutaito
puheviestintätaito
lukutaito
kirjoitustaito
kielioppitaito
sanavarasto
19
Käsitteen määrittelyn keinot
− kirjallisuuskatsaus ylivoimaisesti tärkein!
− muista ottaa huomioon muut tutkimusalat ja erilaiset näkökulmat tai
analyysin tasot
− miten käsite eroaa lähikäsitteistä
− mitä on, eikä miksi on (capability?)
− aiemmat tutkimukset ja niissä käytetty operationalisointi voi auttaa
− haastattelut
− oma kokemus
20
Väittämien laatiminen
− Item generation
− deduktiivinen ja induktiivinen lähestyminen
− deduktiivinen
− vaatii ilmiön ymmärtämistä
− kirjallisuuskatsaus käsitteen määritelmistä
− induktiivinen
− sopii kun ilmiö on vähemmän tutkittu
− laadullinen aineisto pohjana
− sisältöanalyysi ja teemoittelu
− kuvaile, miten esimiehesi kommunikoi kanssasi
− kriittisten tapausten tekniikka
21
Butler 1991 luottamuksen edellytysten
operationalisointi
induktiivinen lähestyminen
1.
managerit kuvailivat henkilöä, johon luottavat ja henkilöä, johon eivät luota
2.
kuvailivat kriittisiä tapauksia, jotka olivat johtaneet luottamuksen syntyyn
tai menettämiseen
3.
löytyi 280 + 174 edellytystä
4.
opiskelijat ryhmittelivät ne 10 luokkaan
5.
kirjoitettiin määritelmät kullekin luokalle
6.
laadittiin 4 väittämää kullekin luokalle
22
Väittämien laatiminen
−
−
−
−
−
−
−
−
−
−
−
−
−
aiemmat empiiriset tutkimukset
mittarikäsikirjat (handbook of …)
kvalitatiivisia menetelmiä (critical incident)
delphi, aivoriihi, GDSS, yms.
asiantuntijapaneelit, yrityshaastattelut
mahdollisimman paljon, karsitaan myöhemmin
Aluksi ainakin 10 per dimensio/alakäsite, lopulliseen 4-6
positiivisia sekä negatiivisia
selkeitä ja yksikäsitteisiä
käyttäytymistä vai asennetta vai mielipidettä vai aikomusta
suoria vai projektiivisia
mittaustapoja useita (Likert 5 tai 7, Osgood)
vaihtelua on saatava, ja normaalijakaumia
23
Asenneväittämien laadinta
(Metsämuuronen)
− yksinkertaisuus (luennon hyödyllisyysaste oli korkea –
luennosta oli minulle hyötyä)
− ei faktoja (matematiikan arvosanani oli kiitettävä – saan
helposti hyviä arvosanoja matematiikassa)
− vältä ääritermejä: aina, ei koskaan, kaikki, ei kukaan,
ainoa (en koskaan valehtele – pyrin olemaan rehellinen)
− lyhyitä väittämiä, max 20 sanaa
− yksiselitteisyys (rasismi on oikeusasia – ketään ei saisi
aliarvostaa rodun tai ihonvärin perusteella)
− ei johdattelevia (myönnän, että jaettu materiaali oli hyvä
– olen tyytyväinen …)
24
Asenneväittämien laadinta
(Metsämuuronen)
− yksi asia per väittämä
− pidän kirjallisuudesta, koska lukemalla opin uusia asioita – pidän
kirjallisuudesta
− vältä ja-sanaa väittämässä
− pitää tulla vaihtelua
− on hyväksi käydä koulua – minusta on hauskaa käydä koulua
− ei liikaa negatiivisia väittämiä
− väittämät satunnaiseen järjestykseen
25
Väittämien karsiminen I
Ennen varsinaista tiedonkeruuta
Scale purification, item reduction
asiantuntija-arviot
ryhmittely
käsitemääritelmät esitetään ja pyydetään asettamaan kukin item
sitä vastaavaan käsitteeseen
asiantuntijoiden yksimielisyyden arviointi
(konkordanssikerroin)
pilottitutkimus/esitestaus, josta saadaan
itemien jakaumat
korrelaatiot itemien välillä
faktorianalyysit
26
Väittämien karsiminen II
−
−
−
−
−
−
−
−
Varsinaisen ison tiedonkeruun jälkeen
varmistetaan normaalit jakaumat
varmistetaan riittävä varianssi
käännetään negatiiviset väittämät
itemien väliset korrelaatiot (min .30)
Item-total korrelaatiot
Reliabiliteettikerroin Cronbach alpha
eksploratiivinen faktorianalyysi
− ei liian suuria sivulatauksia
− lataus min .40
− faktorien määrän voi rajoittaa
27
Mittarin muodostaminen
− Kullekin dimensiolle itemien summa (SAS: filter&query, functions, sum)
− itemien keskiarvo (SAS: filter&query, functions, mean)
− yleensä parempi kuin summa, koska haluat ehkä verrata keskenään
sellaisia yhdistettyjä mittareita, joissa on eri määrät itemeita
− Faktoripistemäärä (voidaan tallentaa SAS-ohjelmassa faktorianalyysin
yhteydessä)
− Standardoitu muuttuja
− Kaikki itemit vaikuttavat kaikkiin dimensioihin
28
Yksidimensioisuuden varmistaminen
− unidimensionality
− Tarkistetaan että väittämistä muodostuu oletettu määrä dimensioita, ja että
kukin väittämä sijoittuu oikeaan dimensioon
− faktorianalyysi
− eksploratiivinen vaatii min 150 havaintoa
− konfirmatorinen parempi, vaatii 200 havaintoa
− alle .40 latautuvat väittämät poistetaan yleensä
− aineisto hyvä puolittaa niin että kehittely ja validointi tapahtuvat eri
puolikkaissa
29
Mittareiden validiteetti ja
reliabiliteetti
Reliabiliteetti ja validiteetti
Scale
Evaluation
Validity
Reliability
Test-Retest
Alternative
Forms
Content
Internal
Consistency
Criterion
Construct
Convergent
Validity
Discriminant
Validity
Nomological
Validity
Reliabiliteetti
− tarkoittaa vapautta satunnaisesta virheestä
− tyypit:
− Stability (“test-retest reliability”)
− Equivalence (“parallel forms reliability”, esim.
ranking vs. rating)
− Consistency (“split-half reliability”)
− Homogeneity (“internal consistency reliability”)
− Inter-rater reliability (concordance)
32
Reliabiliteetti
− Cronbach alpha
− mittaa yhdistetyn summa-asteikon sisäistä yhtenäisyyttä
(internal consistency), saa arvoja välillä 0…1.
− Enemmän muuttujia -> korkeampi alpha
− kuinka paljon väittämät korreloivat keskenään positiivisesti
(inter-item correlations, min.30)
− Alphan on oltava vähintään 0.60 alustavassa tutkimuksessa,
0.70 teorioiden testaamisessa (Nunnally)
− poista sellaiset väittämät, joiden item-total correlation on
heikko (min. noin .50)
− Poista sellaiset väittämät, joiden Squared multiple correlation
on heikko (yli .5 olisi hyvä, huom. SAS ei tulosta ko. lukua)
− Älä nosta reliabiliteettia validiteetin kustannuksella
33
Cronbach alpha
N of items
2
2
2
3
3
3
5
5
5
7
9
Average interitem
correlation
Alpha
0,3 0,461538
0,5 0,666667
0,7 0,823529
0,3
0,5625
0,5
0,75
0,7
0,875
0,3 0,681818
0,5 0,833333
0,7 0,921053
0,3
0,75
0,2 0,692308
N *r

(1  ( N  1) * r
N=väittämien määrä
r= väittämien välisten
korrelaatioiden
keskiarvo
34
Validiteetti
tyypit:
− ulkoinen validiteetti eli tulosten yleistettävyys ko. otoksen
ulkopuolelle
− Sisäinen tulosten validiteetti eli onko analyysit oikein
tehty ja tulkittu
− Sisäinen mittarin validiteetti eli mitataanko sitä mitä on
tarkoitus mitata, onko mittari vapaa systemaattisesta
virheestä
− sisältö- eli ilmivaliditeetti
− kriteerivaliditeetti (ennustevaliditeetti)
− Käsite- eli rakennevaliditeetti
Mittarin reliabiliteetti ja validiteetti
Scale
Evaluation
Validity
Reliability
Test-Retest
Alternative
Forms
Content
Internal
Consistency
Criterion
Construct
Convergent
Validity
Discriminant
Validity
Nomological
Validity36
Sisältövaliditeetti
− content validity
− onko mittarit laadittu siten että niiden avulla
saadaan vastaukset tutkimuskysymyksiin
− capture the domain of the construct
− ei voi arvioida matemaattisesti
− huolellinen käsitteiden määrittely
− pinnallisuuden välttäminen
− ulkopuolisten asiantuntijoiden arvioinnit
37
Kriteerivaliditeetti
− criterion validity
− onko mittarit laadittu siten että niiden avulla
saadaan hyvä selitysaste tai ennustetarkkuus
− concurrent tai predictive
− Esim. Yrityksen konkurssiriskiä kartoittavan
mittarin kriteerivaliditeetti voidaan arvioida
pitkittäistutkimuksella, jossa verrataan
myöhemmin konkurssiin menneiden aiempaa
riskitulosta eloonjääneiden vastaaviin
riskilukuihin
38
Käsite- eli rakennevaliditeetti
− construct validity
− onko käsite teoreettisesti validi ja onko mittari
riittävän kattava (deficiency, contamination)
− kertooko mittari käsitteestä ”the whole truth and
nothing but the truth”
− convergent validity (samanlaiset tulokset kuin
aiemmin käytetyillä vastaavilla mittareilla)
− korrelaatio, MTMM
− discriminant validity (eroaa muista käsitteistä)
− faktorianalyysi, MTMM
− nomological validity (suhteet teorian mukaiset)
39
Multitrait - Multimethod Matrix (Campbell &
Fiske, 1959)
Trait a
Trait b
Trait a
Method 2
Trait b
Method 1
{
Correlation
coefficients
b1
va
m1
d
Method 1
Trait a Trait b
b1
m1
b1
va
d
d
vb
Method 2
Trait a Trait b
b2
m2
b2
= reliability for method 1
= convergent validity for both methods wrt trait a
= discriminant validity for method 1
= “nonsense”-correlation
Requirements:
• v > 0 and "high enough"
• v>d
• v>m
• d low
40
Example
Mosher Forced Choice Guilt Scale
3 traits
−
−
−
Guilt feelings about sex
Hostile guilt
Guilt concerning morality
3 methods
−
−
Incomplete sentences "When I dream about sex …"
Forced choice " When I dream about sex …"
a)
b)
−
I don't remember a thing in the morning
I feel happy when I get up
True / false
−
"When I dream about sex I wake up feeling happy"
41
Sexual
MTMM matrix for the Mosher Forced
Choice Guilt Scale
TF
FC
IS
Hostile
Morality
SG
TF HG
MC
SG
FC HG
MC
SG
IS HG
MC
(true/false)
SG
.91
.52
.68
.86
.53
.63
.78
.24
.47
(forced choice)
(incompl. sent.)
HG MC SG HG MC SG HG MC
.84
.50
.56
.83
.54
.51
.67
.40
FC very reliable,
TF too, IS not
.84
.73
.53
.83
.63
.23
.66
.97
.61
.70
.79
.33
.48
Good
convergent
validity
.96
.58
.54
.73
.49
Discriminant
validity OK
.92
.57 .72
.37 .32 .65
.70 .49 .28 .55
42
Yleistettävyyden arviointi
− mittarin toimivuutta tulisi aina arvioida eri
otoksella kuin se on laadittu
− replikointi hakee rajoja sille, missä
konteksteissa teoriat pätevät (tai mittarit
toimivat), esim. SERVQUAL erityyppiset
palvelut
− kansainvälisen tutkimuksen invarianssi (crosscultural validation)
43
Kirjoja mittareista
http://www.socialsciencesweb.com/ tosi paljon kirjoja
− Nunnally & Bernstein (1994) Psychometric Theory. McGraw Hill
− DeVellis (1991) Scale Development: Theory and Applications. Sage
− Marketing Scales Handbook: A Compilation of Multi-Item Measures, Vol.
I-III Authors: G. Bruner , K. James , P. Hensel
− Measures of Personality and Social Psychological Attitudes : Volume 1:
Measures of Social Psychological Attitudes. Authors: J. Robinson , P.
Shaver , L. Wrightsman
− Metsämuuronen (2004): Tutkimuksen tekemisen perusteet ihmistieteissä
− Price JL and Mueller CW. (1986). Handbook of organizational
measurement. Marshfield,Mass.: Pitman.
− Rubin RB, Palmgreen P & Sypher HE. (1994). Communication research
measures: A sourcebook. New York: Guilford Pr.
− Psykologian mittareita
http://www.ull.ac.uk/subjects/guides/psycscales.shtml
44
Artikkeleita mittaamisesta
− Churchill (1979) A paradigm for developing better measures of
marketing constructs. J Mark Res, 16(1):64-73
− Campbell et al (1973) The development and evaluation of
behaviorally based rating scales. J Appl Psych, 57:15-22
− Mullen (1995) Diagnosing measurement equivalence in crossnational research. J Int Bus Stud, 26(3):573-96
− Campbell & Fiske (1959) Convergent and discriminant validity by
the multitrait-multimethod matrix. Psych Bulletin 56(March):81105
− Gerbing & Anderson (1988) An updated paradigm for scale
development incorporating unidimensionality and its assessment.
J Mktng Res 25(May):186-192
− Hinkin (1995) A review of scale development practices in the
study of organizations. Journal of management, 21(5)
− jne…
45
SAS-esimerkki: Summamuuttujan
reliabiliteetti ja muodostaminen
IGO väittämät
International Growth Orientation
tarkoitus kuvata yrityksen tahtoa kansainväliseen kasvuun
Kuusi väittämää, joista kaksi sanamuodoltaan käännettyjä
IGO4: Growth can be achieved mainly through internationalization
IGO5:There is still enough growth potential in domestic markets*
IGO6: Risks related to internationalization are too high*
IGO7: We need to internationalize in order to succeed in the future
IGO10: It is important for our company to internationalize quickly
IGO11: Internationalization is the only means to achieve the
objectives of growth we have set
*huom. Sanamuoto käännetty
47
IGO –väittämien korrelaatiomatriisi
Analyze- multivariate - correlations
48
IGO –väittämien korrelaatiomatriisi
Pearson Correlation Coefficients
Prob > |r| under H0: Rho=0
Number of Observations
igo4
igo5
igo4
kasvu lhinnà kansainvÃlistymÃlllÃ
igo5
kotimaassa kasvupotentiaalia riittÃvÃsti
igo6
kansainvÃlistymisen riskit liian suuret
igo7
kansainvÃlistyminen vÃlttÃmÃtontà tulevaisuuden menestystÃ
varten
igo10
tÃrkeÃà kansainvÃlistyà nopeasti
igo11
kansainvÃlistyminen ainoa keino saavuttaa kasvutavoitteet
1.00000 -0.70955
<.0001
287
287
-0.70955 1.00000
<.0001
287
288
-0.37947 0.44797
<.0001 <.0001
285
285
0.67503 -0.59091
<.0001 <.0001
285
285
0.56300 -0.52070
<.0001 <.0001
285
285
0.73467 -0.67336
<.0001 <.0001
286
286
igo6
igo7
igo10
igo11
-0.37947 0.67503 0.56300 0.73467
<.0001 <.0001 <.0001 <.0001
285
285
285
286
0.44797 -0.59091 -0.52070 -0.67336
<.0001 <.0001 <.0001 <.0001
285
285
285
286
1.00000 -0.42719 -0.38194 -0.41510
<.0001 <.0001 <.0001
285
283
283
284
-0.42719 1.00000 0.63456 0.72844
<.0001
<.0001 <.0001
283
285
285
285
-0.38194 0.63456 1.00000 0.66460
<.0001 <.0001
<.0001
283
285
285
285
-0.41510 0.72844 0.66460 1.00000
<.0001 <.0001 <.0001
284
285
285
286
Igo5 ja igo6 korreloivat negatiivisesti muiden kanssa, arvot on
käännettävä 1->5, 2->4, 4->2, 5->1
49
Väittämien suunnan kääntäminen
query builder – computed columns – new –
recoded column
50
SAS-koodit, väittämien suunnan
kääntäminen
PROC SQL;
CREATE TABLE LUENTO3.igodataluento3b AS
SELECT
t1.igo4,
t1.igo5,
t1.igo6,
t1.igo7,
t1.igo10,
t1.igo11,
/* igo5kää */
(CASE
WHEN 1 = t1.igo5 THEN 5
WHEN 2 = t1.igo5 THEN 4
WHEN 4 = t1.igo5 THEN 2
WHEN 5 = t1.igo5 THEN 1
ELSE t1.igo5
END) FORMAT=IGO5A. AS 'igo5kää'n,
/* igo6kää */
(CASE
WHEN 1 = t1.igo6 THEN 5
WHEN 2 = t1.igo6 THEN 4
WHEN 4 = t1.igo6 THEN 2
WHEN 5 = t1.igo6 THEN 1
ELSE t1.igo6
END) FORMAT=IGO6A. AS 'igo6kää'n
FROM WORK.IGODATALUENTO3 AS t1;
QUIT;
Footer
Reliabiliteetin laskeminen
Analyze- multivariate - correlations
Tänne aina yhden
mittarin kaikki
väittämät kerrallaan
52
Esimerkki: IGO reliabiliteetti
Analyze- multivariate - correlations
53
SAS-koodit, korrelaatiomatriisi
ja reliabiliteetti
PROC CORR DATA=LUENTO3.IGODATALUENTO3B
PLOTS=NONE
ALPHA
PEARSON
VARDEF=DF;
VAR igo4 igo7 igo10 igo11 igo5kää igo6kää;
RUN;
Sana ALPHA tulostaa reliabiliteettitunnusluvut
Footer
Esimerkki: IGO reliabiliteetti
Analyze- multivariate - correlations
Simple Statistics
Variable
N
Mean
Std Dev
Sum
Minimum
Maximum
Label
igo4
287
3.62021
1.31373
1039
1.00000
5.00000
igo4
igo5kää
288
3.55556
1.26479
1024
1.00000
5.00000
igo5kää
igo6kää
285
3.60000
1.05216
1026
1.00000
5.00000
igo6kää
igo7
285
3.65965
1.20443
1043
1.00000
5.00000
igo7
igo10
285
2.81404
1.07327
802.00000
1.00000
5.00000
igo10
igo11
286
3.37413
1.40046
965.00000
1.00000
5.00000
igo11
55
Esimerkki: IGO reliabiliteetti
Analyze- multivariate - correlations
Cronbach Coefficient Alpha
Variables
Alpha
Raw
0.890422
Standardized
0.888217
Katso tätä, jos muuttujilla on
kovin erisuuruiset keskiarvot
56
Esimerkki: IGO reliabiliteetti
Analyze- multivariate - correlations
Cronbach Coefficient Alpha with Deleted Variable
Deleted Raw Variables
Variable
Correlation Alpha
with Total
Standardized Variables
Correlation
with Total
Alpha
igo4
Label
0.774771
0.860229
0.766160
0.858630
igo4
igo5kää 0.735935
0.866803
0.730886
0.864388
igo5kää
igo6kää 0.48161
0.90235
0.483720
0.902578
igo6kää
igo7
0.767328
0.861979
0.764493
0.858904
igo7
igo10
0.682471
0.876013
0.679342
0.872662
igo10
igo11
0.81675
0.85290
0.812711
0.850910
igo11
IGO6 poistaminen hieman parantaisi reliabiliteettia, IGO11
poistaminen huonontaisi aika paljon
57
Esimerkki: IGO reliabiliteetti
Analyze- multivariate - correlations
Pearson Correlation Coefficients
Prob > |r| under H0: Rho=0
Number of Observations
igo4
igo4
igo5kää
igo6kää
igo7
igo10
igo11
1.00000
0.70955
<.0001
287
0.37947
<.0001
285
0.67503
<.0001
285
0.56300
<.0001
285
0.73467
<.0001
286
0.70955
<.0001
287
1.00000
0.44797
<.0001
285
0.59091
<.0001
285
0.52070
<.0001
285
0.67336
<.0001
286
0.37947
<.0001
285
0.44797
<.0001
285
1.00000
0.42719
<.0001
283
0.38194
<.0001
283
0.41510
<.0001
284
0.67503
<.0001
285
0.59091
<.0001
285
0.42719
<.0001
283
1.00000
0.63456
<.0001
285
0.72844
<.0001
285
0.56300
<.0001
285
0.52070
<.0001
285
0.38194
<.0001
283
0.63456
<.0001
285
1.00000
0.66460
<.0001
285
0.73467
<.0001
286
0.67336
<.0001
286
0.41510
<.0001
284
0.72844
<.0001
285
0.66460
<.0001
285
igo4
287
igo5kää
igo5kää
igo6kää
igo6kää
igo7
igo7
igo10
igo10
igo11
igo11
288
285
285
285
1.00000
286
58
Esimerkki: IGO reliabiliteetti
IGO6 on huono item -> jätetään pois summamuuttujasta ja
tarkastellaan reliabiliteettiluvut uudelleen
Cronbach Coefficient Alpha
Variables
Alpha
Raw
0.902357
Standardized
0.902578
59
Esimerkki: IGO reliabiliteetti
Cronbach Coefficient Alpha with Deleted Variable
Raw Variables
Deleted
Variable
Standardized Variables
Correlation
with Total
Alpha
Correlation
with Total
igo4
0.790887
0.873191
0.786684
0.874558 igo4
igo5kää
0.725578
0.887444
0.720087
0.888912 igo5kää
igo7
0.767385
0.878715
0.767536
0.878728 igo7
igo10
0.681770
0.896764
0.681543
0.897031 igo10
igo11
0.829704
0.864607
0.830065
0.864983 igo11
Nyt ok: minkä tahansa poistaminen heikentäisi reliabiliteettia
Alpha Label
60
SAS-koodit,
Summamuuttujan muodostaminen
Lasketaan summamuuttuja keskiarvona 5 muuttujasta
Filter and query
Computed columns – new – advanced expression - functions
mean (muuttuja1, muuttuja2, …)
SAS –koodilla
PROC SQL;
CREATE TABLE LUENTO3.IGODATALUENTO3c AS
SELECT t1.igo4,
t1.igo7,
t1.igo10,
t1.igo11,
t1.'igo5kää'n,
/* igosumma */
(MEAN(t1.igo4, t1.igo10, t1.igo11, t1.'igo5kää'n , t1.igo7)) AS igosumma
FROM LUENTO3.IGODATALUENTO3B AS t1;
QUIT;
Footer
Esimerkki: reliabiliteetin
raportointi
-itemien sanamuodot, ja tieto siitä mitkä itemit ovat
sanamuodoltaan käänteisiä
-tarkasteltiin reliabiliteettia korrelaatiokertoimien ja Cronbachin
alfan avulla
- 6 itemin mittarissa alfa=.890
-item IGO6 poistettiin koska sen korrelaatiot muiden kanssa olivat
.38 - .45 kun muilla .52 - .73 ja sen item-total korrelaatio oli vain
.48 kun muilla .68 - .82
-5 itemin mittarissa alfa = .902, kaikki itemien väliset korrelaatiot
tilastollisesti merkitseviä 1% tasolla ja vähintään .52
-Itemien korrelaatiot taulukossa (tiivistetty aiemmin esitetyistä
SAS-tulostetaulukoista)
62
Esimerkki: reliabiliteetin raportointi
Pearson Correlation Coefficients
and Cronbach Alpha (N= 285 – 288)
igo4
Igo5*
igo7
igo10
igo11
Igo5*
.710
igo7
.675
.591
igo10
.563
.521
.635
igo11
.735
.673
.728
.665
Item-total (if item deleted)
.791
.726
.767
.682
.830
Alpha (if item deleted)
.873
.887
.879
.897
.865
63

similar documents