PPT2\第07 章-電腦化測驗與評量

Report
第7章
電腦化測驗與評量
數位學習理論與實務
黃國禎、蘇俊銘、陳年興
1
測驗與評量的目的





瞭解學生學習前的起點行為
分析學生的學習狀態
協助學生克服的學習上的困難
協助教師瞭解應採取的教學策略
瞭解是否達成預期的教學目標
2
對測驗與評量的錯誤認知
-以考試領導教學
成績?
評量表
示?
排名?
能力等級?
3
評量在教學中扮演的角色

評量在教學中扮演提供回饋的角色


用來瞭解學生的學習狀態
提供教師作為調整教學策略的參考依據。
4
評量的方式





測驗(Testing)
測量(Measurement)
面談(Interview)
專案實作(Project)
檔案評量(Portfolio assessment)
5
評量的定義


Bloom et al. (1971)指出,評量是一種用
以確定學生學習水準和學習有效性的方
法。
評量的作用


診斷學習困難與障礙,協助學生解決困難
提供教師改進教材內容及教學教法的參考。
6
各種評量模式的比較
評量模式
安置性評量
目的
判斷起始的學
習能力及狀態
時機
範圍
實施頻率
不一定;針
學期初或課
低;通常每
對課程的先
程開始前
學期1次
備知識
判斷階段性的
形成性評量 學習能力及狀
態
學習過程中
診斷性評量 判斷學習困難
小;針對特 不一定;依
學習過程中 定的概念或 需要進行1
技能
或多次
瞭解課程目標
達成的程度及
總結性評量
學生整體的學
習成效
大;針對課
低;通常每
期中或期末 程的整體內
學期1-2次
容
小;針對每 高;通常每
一課程單元 單元1-2次
7
實施評量的方式(1/2)



紙筆測驗:一般傳統的課堂測驗。
實作評量:實作評量是從做中學(Learning
by doing)的概念衍申而來的,藉由直接的
現場觀察與評斷,或間接地從學生的作品去
評量學習成效。
卷宗評量(Portfolio assessment):檔案評量
源自於學生自傳文本的概念,透過檔案歷程
的紀錄來瞭解並協助學生的成長。
8
實施評量的方式(2/2)

電腦化與線上評量:





電腦化與線上的評量活動包括測驗、專題作業、
數位作品等評量方式。
題型除了文字及圖片,還可能包括多媒體影音
及動畫,甚至於操作型態或互動型態的題目。
依受測者的答題狀況,動態選題的測驗方式。
線上評量的方式更提供了在學習過程中,讓同
儕討論、搜尋資料或是觀摩的可能性。
電腦化與線上評量(尤其是測驗)通常可以提
供立即的回饋,對於學生持續的進行學習活動
有很大的幫助。
9
電腦化測驗的策略及系統



雙層次電腦化測驗(Tsai & Chou, 2002)
多目標組合試卷(Hwang, Chu, Yin, &
Lin, 2008)
自動評分機制 (Chiou, Hwang, & Tseng,
2009)
10
電腦化適性測驗(Computerized
Adaptive Testing, CAT)



為了精確且快速地評量學生的某方面的
能力或某種潛在的特質。
與傳統的測驗相比較,電腦化適性測驗
通常只需要更少或甚至一半以下的施測
題目,就能達到相同的測量精準度,因
而大量節省施行測驗的時間。
能夠依照學生不同的能力程度,來提供
個別化測驗方式。
11
古典測驗理論考量的層面




難度(difficulty)
鑑別度(discrimination)
信度(reliability)
會依照受試者樣本不同而有很大的差異,
這些指標很難有一致的標準。
12
試題反應理論(Item Response
Theory, IRT)


IRT依據題目參數(如:難度、鑑別度、
猜測度等) 、受試者能力與其作答成功機
率進行分析及測驗。
Hambleton 和 Swaminathan, (1985)指
出,只要試題符合IRT的模式,則接受不
同試題的受試者其能力是可以互相比較
的。
13
IRT的概念基礎



受測者(examinee)回答試題上的表現:由一
組參數(例如試題的難度) 來學生的能力。
當學生的表現佳(答題正確)時,對於學生
能力的期望就會提高;反之,則降低。
受測者的表現情形與這組潛在特徵間的關係:
透過一個連續遞增函數,試題特徵曲線ICC,
Item Characteristic Curve),來進行分析。
14
測驗特徵曲線(test characteristic
curve,TCC)(1/2)


把不同能力的受測者得分點連接起來所
構成的曲線,即為整體受測者在某一測
驗試題上的試題特徵曲線。
把各試題的試題特徵曲線加總起來,便
構成測驗特徵曲線(test characteristic
curve,簡寫為TCC)。
15
測驗特徵曲線(test characteristic
curve,TCC)(1/2)
16
三個參數對數形模式(threeparameter logistic model)

試題特徵曲線代表學生某種潛在特徵程
度與該學生可正確回答某一試題的機率。
第i試題的鑑別度參數
學生的能力值
表示某位學生答對任何一道試題的機率
難度參數
猜測度參數(item pseudo-chance parameter)
17
三個參數對數形模式的試題特
徵曲線(Lord, 1980)(1/2)
18
三個參數對數形模式的試題特
徵曲線(Lord, 1980)(2/2)


對任何一道試題對任何一位學生來說,
其能力值愈高,正確回答該試題的機率
就愈大。
對任何一位學生來說,試題愈難作答(試
題難度參數愈高)、愈具有鑑別功能(試題
鑑別度參數愈高),或愈不容易被猜中試
題(試題猜測度參數愈低),則該試題被答
對的機率便愈低。
19
電腦適性測驗的流程(1/2)
1. 決定起始點:從難度適中的試題中隨機
抽取、完全隨機抽取,或者依照學生的
背景估算其初步能力估計值(initial
ability estimate)並選擇合適的題目。
2. 挑選適合學生能力的試題:電腦根據目
前已知的資訊或學生的測驗狀況,估算
學生的能力值,並從題庫中挑選出最能
針對其能力水準的試題。
20
電腦適性測驗的流程(2/2)
3. 呈現挑選後的試題給受測者作答。
4. 依學生作答狀況計分,進一步估算其能
力值的範圍。
5. 重複(2)-(3),直到事先預定的施測題數
已測完,或已達到對其能力估算的預定
測量精確性(即標準誤) 。
21
IRT的電腦化適性測驗的優點



依照學生的個人能力挑選適合的試題來
進行測驗
縮短測驗時間和測驗題數
具有理論依據來有效地量測學生的能力
(Baker, 2001; Baker & Frank, 1992;
Horward, 1990; Lord, 1980)
22
IRT的電腦化適性測驗的缺點


需要事先針對試題進行大量的預試,來獲得
精確的難度資訊,同時其能力值的估算只是
針對同一個面向(例如英文閱讀能力)的整
體能力;若要瞭解多個面向或概念的學習狀
態,需要進行多次測驗。
目前電腦化適性測驗只被少數的大型能力檢
定機構採用。例如基本學力測驗、TOEIC、
GRE、TOEFL等。
23
動態評量


Haywood, Brown及Wingenfeld(1990)指出,
傳統的評量僅止於瞭解學生在某些特殊方面
的表現,而沒有嘗試去改善其表現。
動態評量的目的之一,就是藉由評量的活動
來提供教學性的支持,以改善學習成效
(Allal & Ducrey, 2000; Moore-Brown,
Huerta, Uranga-Hernandez, & Peña, 2006)。
24
電腦化動態評量系統



電腦化動態評量系統是一種互動系統
(Haywood & Lidz, 2007)。
以「測驗-介入-再測驗」的形式進行,也有
人將介入稱為「教學」。
再測驗的部分包含針對目標範圍的評量,重
點放在幫助學生學習以及更有效的使用學習
策略,讓學生能夠在目標任務上有更好的理
解及表現(Moore-Brown, et al., 2006)。
25
動態評量的兩個特徵


提供獨立練習的學習機會 (Bransford,
Delclos, Vye, & Hasselbring, 1987)。
教學和回饋都被建置在評量活動的過程
中(Elliott, 2003)。
26
動態性評量有兩種形式


三明治式(sandwich format):由前測及
後測中夾著教學與回饋構成。
蛋糕式(cake format):沒有前測與後測,
學生在一系列的問題中表現出學習遇到
的困難,這時候會立即地提供協助給學
生(Elliott, 2003)。
27
PsyCAL (Psycology of
Computer Assisted Learning)




Buchanan於1998年針對大學心理學課程所發展出一個
網路教學環境,其中有一個形成性評量的設計用以輔助
學習者學習。
主要特徵是「重複作答」與「不提供答案」,這兩者結
合在一起,能激發學習者反覆的記憶(rote
memorization),更加精熟課程內容。
「不提供答案」策略還配合「即時回饋」的機制,就是
當學生作答發生錯誤時,會有提示性的即時回饋,導引
學生主動找出正確答案。
從PsyCAL應用於大學心理學課程的實證研究也發現到,
PsyCAL可讓學生在練習與主動發現答案的過程中,獲
得更為精熟的學習(Buchanan, 2000)。
28
Self-Assessment自我評量模組




Self-Assessment是Gardner, Sheridan 及 White
(2002)設計的一個網路評量工具。
Self-Assessment的架構是讓在進行完網路學習後,
可自由地以異時異地的方式進入該環境練習教師所
準備的測驗題目。
該系統讓學生可以「重複作答」、「作答完後直接
提供作答參考說明資料」、「發問功能」與「查詢
他人成績」。
Gardner et al.(2002)指出,自我評量模組對於網路
學習成效有顯著的幫助,學生也喜歡以此功能輔助
自己在網路上進行學習。
29
WATA (Web-based Assessment and Test
Analysis System)網路評量與試後分析系統
(1/2)




WATA是彰化師範大學生物學系的研究團隊發展出
的網路評量與試後分析系統。
該系統包含兩個模組,分別為總結性評量模組
(SAM-WATA),與形成性評量模組(FAM-WATA)。
SAM-WATA主要用以執行總結性評量以了解網路
學習之效益。
FAM-WATA的部份設計理念與PsyCAL相似,除了
「重複作答」與「不提供答案」外,又增加了「發
問功能」、「過關後查詢成績」、「過關後可查詢
個人學習歷程」與「過關動畫」等設計。
30
WATA (Web-based Assessment and Test
Analysis System)網路評量與試後分析系統
(2/2)





「重複做答」設計的具體做法是讓學習者在進行測驗過
程中,若某一試題連續答對三次後,該試題即不再出現
於往後的測驗中,一但發生答錯現象則歸零重新累計。
直到系統題庫的試題都做完為止,該測驗才算完全過關,
這樣的設計與PsyCAL的重複作答方式不同。
「過關動畫」給予學習者正向的回饋,以激發其學習動
機;「過關後查詢成績」、「過關後可查詢個人學習歷
程」的設計,則提供學習者於網路學習環境中一個監控
自我學習的指標。
另外,為引導學習者有更多思考空間,除了在作答後不
告知對錯外,也提供學習者一個發問的介面,讓老師成
為每位學習者的專屬家教老師,適時給予非即時的回饋。
31
電腦化動態評量的相關研究
FAM-WATA

王子華等學者(2002)、 (2004a)、 (2004b)




學習者在FAM-WATA的使用情形與學習成效有顯著
正相關
可以提升職前教師在「生物科教材教法」網路教學
課程中的學習興趣,並對學科知識的學習很有幫助
越能使用WATA模組行學習的學生,其學習成效越
高
Hwang及Chang(2011)

運用FAM-WATA做為學習策略可以有效提升學習者
在真實情境的學習成效
32
電腦化學習困難診斷機制



在電腦化測驗中,提供學生有意義並且個人
化的回饋,已被視為一個重要的議題。
能夠有效地改善學生的學習成效(Hsu,
Hwang, & Chang, 2010; Yeh, Chen, Hung,
& Hwang, 2010)。
過去有多個研究嘗試制訂有效的測驗模型,
來分析學生的學習困難,進而提高其學習效
能(Hwang, 2003, 2007; Chen & Bai,
2009)。
33
傳統的數學課程樹狀結構圖 (許
慶昇、杜淑芬、黃國禎,1998)

這樣的編排僅僅提供給我們教材編排次
序的資訊而已,從其中我們並無法獲知
各概念之間的相關性。
34
概念影響關係圖的概念


在眾多的概念關係中,學習順序對於診
斷學生的問題是最重要的 (許慶昇、杜淑
芬、黃國禎,1998)。釐清這樣的關係,
有助於電腦系統追溯學生學習過程中造
成學習困難的源頭。
若將課程結構重新組織整理,去除章、
節等上層架構,只留下概念部分,並且
找出各概念之間的學習先後次序關係。
35
概念影響關係圖的數學課程範例
(許慶昇、杜淑芬、黃國禎,1998)
Copyright © IDLS Lab of NTUST
36
概念影響關係圖的意義

每個概念﹙如C1﹚代表課程中的一個概
念,概念與概念之間具有方向性的聯結
﹙link﹚,建立起了概念與概念之間的關
聯與先後次序,亦即所謂的概念影響關
係。

例如C4同時受到概念C1與C2的影響,也就
是說:要學習C4這個概念,必須先學習C1與
C2這兩個概念;或是說,C1與C2是學習C4
所必須具備的「先備知識」。
37
概念影響關係圖 (許慶昇、杜淑
芬、黃國禎,1998)
38
學習診斷系統



可以很容易分析出學生在學習過程中的
問題癥結與影響學習成效的部分導因。
透過對每個概念與聯結的剖析,更可進
一步導出補救學習路徑。
結果不但可提供學生做為日後改進學習
的參考依據,更可提供教師或是教學系
統作為教材呈現與教學策略組合的重要
參考資訊。
39
電腦系統中表示概念影響關係


教師可以根據對概念學習次序關係的瞭
解,在概念影響關係表內填入代表兩個
概念是否具有先後影響關係的值:“1”
代表有影響;“0”代表沒有影響。
建立概念影響關係圖之前,必須先建立
概念影響關係表(如下頁所示)。
40
概念影響關係表
C1
C2
C3
C4
父 C5
概 C
6
念 C
7
Ci
C8
C9
C10
NP
C1
0
0
0
0
0
0
0
0
0
0
0
C2
0
0
0
0
0
0
0
0
0
0
0
C3
1
0
0
0
0
0
0
0
0
0
1
C4
1
1
0
0
0
0
0
0
0
0
2
子概念Cj
C5
C6
0
0
1
0
0
1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1
1
NC
C7
0
0
1
0
0
0
0
0
0
0
1
C8
0
0
0
1
0
0
0
0
0
0
1
C9
0
0
0
0
1
0
0
0
0
0
1
C10
0
0
0
0
0
0
0
1
0
0
1
2
2
2
1
1
0
0
1
0
0
41
概念影響關係表的說明



假設一個課程中共有n個概念,每個概念
以Ci或Cj表示,其中i,j = 1,2,3, …,n。
每一列的表頭Ci代表父概念,而每一欄
的表頭Cj代表子概念。若父概念與子概
念的關係值是1,代表父概念的學習狀態
會影響子概念的學習。
表中NC代表子概念的個數,而NP代表
在父概念的個數。
42
學習困難診斷


為了配合學習困難的診斷需要,必須先
規劃一份試題,透過測驗瞭解學生對課
程中的概念的學習狀況。
假設總共有10個試題,分別為Q1, Q2,
Q3, …, Q10。為了表現每道題目所包含的
概念內涵與各概念在該道題目中的相對
比重關係,在擬訂試題的同時,必須經
由教師的協助,建立了概念分配表。
43
概念分配表
概念Cj
Q1
Q2
Q3
Q4
Q5
試 Q6
題 Q7
Q8
Qi Q9
Q10
Sum
Error
ER(C)
C1
C2
C3
C4
C5
C6
C7
C8
C9
C10
5
0
0
0
0
1
0
0
0
0
6
1
0.16
1
4
0
0
0
0
0
0
0
0
5
0
0
0
2
3
0
0
0
0
0
0
0
5
3
0.6
0
0
1
5
0
0
0
0
0
0
6
1
0.16
0
0
2
0
5
0
0
0
0
0
7
2
0.28
0
0
0
0
0
4
0
0
1
1
6
4
0.66
0
0
0
0
0
1
5
0
0
0
6
6
1
0
0
0
0
0
0
0
3
0
2
5
0
0
0
0
0
0
0
0
0
1
4
0
5
0
0
0
0
0
0
0
0
0
2
0
5
7
0
0
44
概念分配表解說


概念欄與試題列的交叉項eij代表Cj這個概
念在題目Qi中所佔的比重﹙相對於Qi中
的其他概念﹚。
當學生完成測驗之後,系統依以下的步
驟進行學習狀態診斷:
45
學習困難診斷流程1
概念認知程度分析

假設某位學生在該次測驗中答錯Q3、Q6、
Q7,其餘均答對。經由概念分配表可以
求得每個概念的錯誤比率:
代表第r題答錯的題目中,第j個概念的比重值
每個概念答錯的比率
代表整份試題中,第i題的第j個概念的比重值
46
將每個概念答錯的比率(ER值)
標示在概念影響關係圖
47
概念認知程度分析注意事項
(1/2)


若學生答錯了Qi這道題目,並不代表學生對
於包含在Qi中的每一個概念都不懂,很有可
能他只是因為其中的某一個概念不懂或沒學
好,而導致了他答錯Qi這道題目。
因此必須觀察Qi中每一個概念所佔的比重值
(rating value),必須將導致學生答錯Qi的錯
誤概念加以排序,找出其中的輕重分別。
48
概念認知程度分析注意事項
(2/2)


不能百分之百由ER(Cj)的值來斷定學生對Cj這個
概念的認知或瞭解程度,一個概念的錯誤可能是
因為對另一個概念的認知或瞭解不足所導致的。
要找尋一個臨界值θ,用以代表對錯誤率的容忍
程度。


當ER(Cj)  θ時,學生對於Cj這個概念的認知程度已
經到達一個符合要求的水準。
ER(Cj) > θ時,就必須對這個錯誤率加以重視,學
生對於Cj這個概念的認知或瞭解程度尚未到達一個
要求的水準,必須重新學習。
49
學習困難診斷流程2
原始學習路徑分析


由「概念影響關係表」計算出每個概念
的子概念個數NC(Ci),與父概念個數
NP(Cj)。若NC(Ci) = 0,代表Ci這個概念
無子概念,亦即Ci是個最終概念,因此
可以由Ci往上尋找其父概念,最後求得
一條原始學習路徑。
在實際設計電腦程式時,可以使用矩陣
﹙Matrix﹚或堆疊﹙Stack﹚的技術來完
成。
50
原始學習路徑分析範例

NC(C6) = 0,以C6為起點往上尋找父概念,其方
法為在C6這一欄中找到一個非零值,往左邊對應
到一個父概念C3,再由C3這一欄找到一個非零
值,往左邊對應到一個父概念C1,再由C1這一
欄找一個非零值;在此例中發現找不到非零值,
因此停止尋找。





PATH1﹕C1C3C6
PATH2﹕C1C3C7
PATH3﹕C2C5C9
PATH4﹕C1C4C8C10
PATH5﹕C2C4C8C10
51
學習困難診斷流程3
建立補救學習路徑

對於某個概念Ci,若ER(Ci) θ,表示學
生對於此概念已達到學習目標,故Ci這
個概念將不會被選入補救學習路徑中;
反之,若ER(Ci) >θ,代表學生對於Ci瞭
解的程度尚未到達要求水準,因此Ci將
列為補救學習路徑的一個概念。
52
建立補救學習路徑範例

假設θ值為0.3,代表對於某個概念之錯誤比
率的最大容忍程度為30;因此,可得到補
救學習路徑如下:



PATH1:C3C6
PATH2:C3C7
這是一組建議的補救學習路徑,它明白指出
了學生對於C3、C6、C7這三個概念的認知
程度之不足;同時也可以看出,這個學生最
大的問題是來自C3。
53
學習困難診斷流程4
決定關鍵學習路徑(1/2)


通常補救的學習路徑會不止一條,且學
生對於每條補救的學習路徑的學習成效
與對路徑上的每個概念的認知程度會有
不同的水準。
為了達到最有效率的學習,必須將每條
路徑的學習順序與課程進行的輕重緩急
明確定出。
54
學習困難診斷流程4
決定關鍵學習路徑(2/2)

首先計算每條路徑的權重:
代表第i條路徑中第j個概念的錯誤總比重值
是一個介於0到1的正規化數值
weight( PATHi ) 
 error(C
ij
)
j
 sum(C
ij
)
j
代表第i條路徑中第j個概念的總比重值

得到各補救學習路徑的比重值:


weight(PATH1) = 0.64
weight(PATH2) = 0.82
關鍵學習路徑
55
學習困難診斷流程5
提供學習建議(1/2)


最後,系統將依據上述的發現,提供個
人化的學習建議給學生。
在上述的例子中,共有二個補救學習路
徑(PATH1:C3C6及PATH2:
C3C7);其中關鍵學習路徑為
PATH2。由此可以獲得兩點結論(如下頁
所示):
56
學習困難診斷流程5
提供學習建議(2/2)



學生對於C6這個概念的認知或瞭解程度不夠,
是導因於學生對於C3這個概念的認知或瞭解
程度不足。
學生對於C7這個概念的認知或瞭解程度不夠,
是導因於學生對於C3這個概念的認知或瞭解
程度不足。
學生對於C6、C7的學習成效差,其根本
原因與問題癥結在於學生對於C3的認知
或瞭解程度不足。
57
概念影響關係應用實例
58
網路問題解決能力分析與評量


培養學生統整與應用知識的能力,才是因應
資訊快速增長的解決之道。
電腦和網路應用於教學不僅只是「學習電
腦」(learning about computer)或「從電腦
學習知識」(learning from computer),更重
要的是如何有效的培養學生高層次思考和解
決問題的能力,達到「用電腦學習」
(learning with computer)的境界(張基成,
1997)。
59
網路資料搜尋行為分析工具
(Meta-Analyzer)(1/3)

由黃國禎與蔡佩珊(2006) 所開發
60
網路資料搜尋行為分析工具
(Meta-Analyzer)(2/3)


作為學習者在網路搜尋的一個平台,學
習者輸入關鍵詞後,系統會顯示搜尋到
的網頁資訊標題及內容摘要,學習者可
以依標題及內容摘要來決定是否點選瀏
覽。
將有助於解決問題的網頁記錄於個人的
書籤中,以作為教師評分其參考之一。
61
網路資料搜尋行為分析工具
(Meta-Analyzer)(3/3)

系統同時能記錄學生線上搜尋資料之歷
程,協助教學者評量學生解決問題的能
力,及協助教師分析學生遭遇的困難,
提供教學者或研究者進行後續課程改進
或個別補救教學之參考。
62
學生針對Meta-Analyzer所提問
題透過搜尋引擎搜尋資料畫面
63
學生將搜尋後之網頁資料輸入
至答案區畫面
64
Meta-Analyzer 記錄學生答題
與搜尋歷程畫面

中程中在
。都,網
會使路
被用資
記者料
錄所搜
在有尋
資搜的
料尋過
庫歷程
65
網路資料搜尋行為指標(1/5)
1. 變換輸入不同關鍵詞的次數和:例如在搜
尋過程中,使用者換三種關鍵詞來搜尋答
案,該項指標紀錄為3。
2. 第一個關鍵詞的字數和:在搜尋議題時,
使用者下第一個關鍵詞的字數和。例如有
三個搜尋議題,下第一個關鍵詞的字數分
別為10、9、6,則該項指標紀錄為25。
3. 決定欲瀏覽網頁所需時間(秒):使用者在
每個議題中決定欲瀏覽網頁的時間總和。
66
網路資料搜尋行為指標(2/5)
4. 未被採用的網頁數目:這個指標呈現使用者在
瀏覽網頁與採用網站間的數量關係。例如使用
者瀏覽9個網站,但只採用其中3個,該項指標
紀錄為6。
5. 未被採用的網頁所瀏覽的時間(秒):這個指標
呈現使用者在瀏覽網頁與採用網站間的時間關
係。例如使用者瀏覽了9個網站,但只採用其中
3個,該項指標記錄6個未採用網站的瀏覽時間。
6. 被採用的網頁數目:這個指標呈現出使用者在
瀏覽網頁與採用網站間的數量關係。例如使用
者採用了3個網頁,該項指標紀錄為3。
67
網路資料搜尋行為指標(3/5)
7. 被採用的網頁所瀏覽的時間(秒):這個指
標呈現使用者在瀏覽網頁與採用網站間的
時間關係。例如使用者採用了3個網頁,該
項指標記錄這3個採用網站的瀏覽時間。
8. 重複瀏覽已被採用網頁的次數:這個指標
呈現使用者在已經採用的網頁上,再次或
多次瀏覽的次數。
9. 重複瀏覽已被採用網頁的瀏覽時間(秒):
這個指標呈現使用者在已經採用的網頁上,
再次或多次瀏覽的時間。
68
網路資料搜尋行為指標(4/5)
10.重複瀏覽未被採用網頁的次數(次):這個
指標呈現使用者在已經未被採用的網頁上,
再次或多次瀏覽的次數。
11.重複瀏覽未被採用網頁的瀏覽時間(秒):
這個指標呈現使用者在已經未被採用的網
頁上,再次或多次瀏覽的時間。
12.加入書籤的網頁是已被採用的數目:這個
指標呈現書籤內的網站,被採用於作答數
量關係。
69
網路資料搜尋行為指標(5/5)
13.加入書籤的網頁是未被採用的數目:這
個指標呈現書籤內的網站未被採用於作
答數量關係。
14.修改答案的數目:指使用者送出答案後
再返回編修的次數。例如在答完議題一
後,使用者又在新網頁中找的更適合的
資料,返回議題一編修答案。該項指標
系統紀錄為2。
70
Meta-Analyzer 記錄學生答題
與搜尋歷程畫面
71
網路資料搜尋行為分析範例
(1/3)


蔡新德、蔡佩珊、楊子奇、黃國禎(2006)藉由
Meta-Analyzer搜尋歷程,分析探討學習者的在
網路搜尋中下關鍵詞與如何選擇、統整網路資料
的認知情形,瞭解其可能的搜尋認知概念,提供
培養學習者網路搜尋能力相關課程的參考。
黃國禎、郭凡瑞、蔡新德(2009)透過MetaAnalyzer的記錄與分析,探討不同自然科學能力
的學習者在接受不同概念構圖策略教學後,其線
上資料搜尋能力及知識結構表現的差異。
72
網路資料搜尋行為分析範例
(2/3)


龔文章(2009)藉由不同的合作學習策略,觀察學
習者在線上主題探究以及學習成就、自我效能的
改變情形,透過Meta-Analyzer搜尋歷程的觀察
與學習成就測驗來瞭解不同的合作學習策略能否
讓學習者形成有效的學習。
蘇裕丞、蔡文仁、郭凡瑞、黃國禎(2010)透過網
路探究式學習結合高層次提問策略探討國小高年
級學習者在面對問題解決的態度,結合高層次提
問教學策略與合作學習理論,分析是否能提高學
習成效及改善學生面對問題時的態度。
73
網路資料搜尋行為分析範例
(3/3)


Hwang 及Kuo (2011) 透過摘要教學策略,改善
國小高年級學習者進行網路搜尋時,在關鍵詞使
用與資訊選取的能力,並透過Meta-Analyzer的
協助,記錄學習者在線上解決問題的搜尋資訊過
程。結果發現,摘要教學策略對於改善國小五年
級學習者的網路搜尋能力上具有顯著的效果。
謝曜謙、李建億、郭凡瑞及黃國禎(in press) 針
對60位大學觀光休閒產業管理系ㄧ年級學生為研
究對象,探討不同認知風格特質的學生在線上問
題解決能力之差異。
74
Meta-Analyzer系統注意事項

不論在進行何種學科之線上搜尋之前,教師
必須事先建立學生該學科應有的先備知識,
教授該學習單元應有的基礎先備知識後,始
能讓學生透過Meta-Analyzer系統開始進行
網路探究式學習活動。而每一個學習單元皆
包含四個由教師根據學習目標所設計的問題,
學習者必須依照問題順序進行網路資料搜尋、
選擇、分析、摘要及整合資訊等歷程,以適
當解答回應問題。
75
Meta-Analyzer議題選擇畫面
76
Meta-Analyzer資料搜尋畫面
77
擷取與問題相關的資訊
78
將相關資訊貼到回答區
79
將有用網站加入書籤,節省重
複查詢的時間
80
Meta-Analyzer之搜尋歷程檔
81
7.4 電腦化適性診斷
•
•
如何基於知識概念架構來進行適性化診斷?
如何利用THOTH 系統進行學習問題的診斷
與分析?
82
7.4.1 電腦化適性診斷與分析模
式

孔夫子有云:[ 因材施教]


適性學習的目標正是如此。
適性化學習(Adaptive Learning) 的目的:




在於能根據學習者不同的學習能力與學習狀況,
經過分析與診斷來了解其學習問題,
進而動態地提供符合學習需求的診斷建議、學習
內容、與指導策略,
期盼能解決不同學習者的學習問題,給予適切的
指導,以提升每個學生的學習成效。
83
7.4.1 電腦化適性診斷與分析模
式

要根據不同學生的學習問題來提供正確
的導引與建議:



必須要能分析出學生的學習問題到底在哪,
才能對症下藥。
教師或人工來處理,曠日廢時,無法有效分
析與即時提供學生診斷建議。
電腦技術來進行適性化診斷與分析的方
式已經廣泛受到重視
84
圖7-19 適性化學習系統(Adaptive
Learning System, ALS)架構



電腦幫助教來處
理與分析大量與
繁瑣的資料,
且可隨時監督與
即時給予學生回
饋的診斷建議,
以便提升學生的
學習動機與效果。
85
適性化學習系統(ALS)

要分析學生學習問題以提供學習建議與導引:




系統需要具備能分析問題的[ 領域知識模型
(Domain Knowledge Model)],
透過推論機制來分析學生的學習歷程行為,
才能提供正確的診斷分析與學習導引等等有意義的
建議。
在ALS 系統中,領域知識模型扮演著相當重要
的角色:

第7.2 節的概念影響關係圖( 圖7-5) 便是一種領域知識模型
86
的架構。
7.4.2 領域知識模型

領域知識模型的表示方式:



非僅有一種,
架構根據系統的診斷機制而有不同。
例如:


概念圖(Concept Map) 架構便是其中一種:
概念圖:

康乃爾大學Joseph D. Novak 教授於1965 年在研
究兒童科學概念改變歷程時所提出( 圖7-20)。
87
圖7-20
架構
概念圖(Concept Map)
(cmap.ihmc.us)
88
概念圖

包含四個主要的構成要素( 圖7-21):





(1) 概念(Concepts)、
(2) 關係(Relationships) 或命題連接(Prepositional
links)、
(3) 階層(Hierarchy) 、
(4) 交叉連接(Cross-links);
節點:


代表概念,
連結線:

表示概念與概念之間實際的或因果的關係
89
建構概念圖

針對所要學習內容的概念:


先做階層性分類和分群,
並將兩個概念間的關係以連結線連結起來,並於
連結線上標記稱呼( 即使用連結語):



以輔助說明概念與概念間的連結關係,
連結可以是單向、雙向或是無方向的關係,
最後形成一幅網狀結構圖,即概念圖

( 余民寧,民86)
90
建構概念圖

概念圖是將教材或文章中的概念:


逐一抽取出來,
再以一個「核心概念」(Focal Concept) 為主題:


圍繞著此一核心概念,
經由學習者的理解把所有相關概念組織起來:



用以表徵學習者在相關學科上的知識結構之語意網路圖,
且必須以連結語來說明概念與概念之間的關係
( 陳嘉成, 民87)
91
圖7-21 概念圖(Concept Map)
基本架構與關係定義
92
概念圖之教育應用



增進有意義的學習。
評估學習者對學習動機、概念與概念間關係的理解
程度。
教學設計:


訓練:


提供後續資訊與學習的初始概念架構。
呈現工作情境,以及情境與其工作、組織的策略目的、與
訓練目標的關係。
在ALE的應用:

可作為適性學習、評量診斷、分析建議、內容管理、教材
編輯之依據。
93
http://en.wikipedia.org/wiki/Concept_map
7.4.3 概念圖之適性學習應用模
式

利用圖7-21 的概念圖架構表示領域知識時:

根據定義的關係程度可有4 種不同診斷分析結果:
1.
2.
3.
4.
不具關係的概念架構模式
具有橫向關係的概念架構模式
具有階層關係的概念架構模式
具有橫向與階層關係的概念架構模式
94
一、不具關係的概念架構模式

僅概念元素:


概念A, B, C, …
概念間不具關係



A與B間沒有關係
概念間地位平等
例如:

四則運算的”加”、”減”、”乘”、”除”等概念
加
減
圖7-22
乘
除
數學科四則運算之概念元素
95
一、不具關係的概念架構模式

可分析的學習問題與說明方式:

錯誤試題:


對應概念[減]與[除]的試題 。
診斷建議:

發現您在[減]概念(了解程度:0.5)與[除]概念(了解程度:
0.2)考得不好, 請多多加強這兩個概念的學習。
96
二、具有橫向關係的概念架構模式

概念元素間有關係定義:

AB:


概念A與概念B間具有關係定義
例如:


四則運算的”加”、”減”、”乘”、”除”等概念
加乘:


“加”是”乘”的先備概念
“乘”是”加”的進階概念
子概念
加
橫向關係(PR)
先備概念
減
乘
除
進階概念
圖7-23 數學科四則運算之具有
橫向關係連結的概念圖架構
橫向關係(PR)
97
二、具有橫向關係的概念架構
模式

可分析的學習問題與說明方式:

錯誤試題:


對應概念[減]與[除]的試題。
診斷建議:


發現您在[減]概念(了解程度:0.5)與[除]概念(了解程度:
0.2)考得不好,
可能原因是[減]的概念沒學好,因為[減]是[除]概念的先
備概念,所以建議應先加強對[減]概念的學習,對於
[除]概念的學習將有幫助。
98
三、具有階層關係的概念架構模式

概念間具有上下的階層關係:




此為樹狀結構
呈現上層概念與下層概念的關係
概念A包含子概念a1, a2, a3.
例如:

四則運算概念:

包含”加”、”減”、”乘”、”除”
等子概念
圖7-24 數學科四則
運算之具有橫向關係
連結的概念圖架構
99
三、具有階層關係的概念架構
模式

可分析的學習問題與說明方式:

錯誤試題:


對應概念[減]與[除]的試題。
診斷建議:


發現您在[減]概念(了解程度:0.5)與[除]概念(了解程
度:0.2),
這會造成您在學習[四則運算]統整計算時會有困難,請
多多加強這兩個概念的學習。
100
四、具有橫向與階層關係的概念
架構模式

概念間具有多重關係:

階層關係:

具有上層概念與下層概念的關係


橫向關係(Crosslink):


概念A包含子概念a1, a2, a3.
除階層關係外,概念間具有的關係定義
例如:

四則運算概念:

階層關係:


”加”、”減”、”乘”、”除”等子
概念
橫向關係:


先備關係: “加”是”乘”的”先備概
念”
延伸關係: “分數”是”除”的”延伸學
習概念”
圖7-25 數學科四則
運算之具有橫向與階
層關係的概念元素
101
四、具有橫向與階層關係的概
念架構模式

可分析的學習問題與說明方式:

錯誤試題:


對應概念[減]與[除]的試題。
診斷建議:



發現您在[減]概念(了解程度:0.5)與[除]概念(了解程度:
0.2),這會造成您在學習[四則運算]統整計算時會有困難,
請多多加強這兩個概念的學習。
可能原因是[減]的概念沒學好,因為[減]是[除]概念的先
備概念,
所以建議應先加強對[減]概念的學習,對於[除]概念與[四
102
則運算]統整計算的學習將有幫助。
概念圖完整性的優缺點

概念圖中:

針對概念元素與彼此關係的定義越是完整,


但當定義的概念圖架構越複雜:



所能分析出來的學習問題與建議就能越明確與清楚。
所要付出的人力與管理成本就越高,
系統計算與處理的時間也就越久。
因此,概念圖架構的複雜程度需在[ 效益] 與
[ 成本] 間取得一個平衡。
103
7.4.4 概念圖管理工具
利用系統工具(THOTH) 來進行學
習問題的診斷與分析之實際操作
104
7.4.4 概念圖管理工具

說明利用THOTH 系統的概念圖管理工具:


建構如同圖7-21 與圖7-25 所表示之學科領域知識
的概念圖架構。
提供離線與線上兩種方法:

離線模式為下載空白概念圖檔(excel 格式)進行概念圖編
輯後再上傳至系統中;



編輯大範圍的概念架構比較方便
依據規定格式在excel 檔中編輯概念圖,會比較麻煩些。
線上模式為直接利用網頁來編輯概念圖。


直接於線上新增與編輯概念圖,比較簡單,
對於大範圍的概念架構則因不易綜觀全貌而不易編輯。
105
編輯概念圖的目的

編輯完概念圖後:

可利用THOTH 系統的[ 連結概念] 功能:

進行學習資源與對應概念間的連結管理,

如同第2.2 節對學習物件(LO)的說明:
 LO都要依循學習目標(Learning Objective) 來做規劃,
 將LO對應到相關聯學習概念便是要完成此定義需求:
 也就是進行如表 7-3 概念分配表的設定處理,以
作為之後的進行學習診斷處理時之分析依據。
106
概念圖管理工具

概念圖編輯:

下載空白概念圖excel檔:


利用系統產生空白的excel檔作編輯
上傳概念圖:

利用Excel 格式作編輯後上傳至系統中


線上新增概念圖:


.xls (only)
直接由線上編輯概念圖
資源-概念連結管理:

利用概念圖來編輯各資源(試題、學習物件)所對應的概
107
念與技能資訊。
一、離線模式-編輯概念圖
Excel格式
108
概念圖EXCEL格式
文件定義區
METADATA定義區
概念圖定義區
109
概念圖EXCEL格式



文件名稱:
 可由編輯者自行決定,即在系統中所看到的[資源名稱]。
文件類別:
 可以是[概念指標圖(Concept)]或[能力指標圖(Ability)]
3)##START METADATA##和##END METADATA##:
 描述檔案結構的詮釋資料(Metadata)範圍。
 由系統自動產生,內容不可由編輯者自行修改。
技能指標Map 架構設定規則說
明

技能概念名稱不可使用下列符號(系統保
留):



(),@[]#
若有多個技能概念,需用逗號( , )分開
在技能概念名稱後,需有括號(權重)來標
示
111

若技能概念名稱需要[特殊字元],用以下
方式撰寫。
112



若下一行的技能在[上一行技能]的[後一個儲存
格]中定義,則為[子技能]。
[階層概念名稱]可用[單獨名稱]。
單獨名稱需包含:

[指標編碼」和「指標名稱」,表示法為:



[指標編碼]指標名稱
[指標編碼][不能重複],由老師自行決定編碼。
階層概念格式為:

[指標編碼]指標名稱(權重),


指標編碼、指標名稱、和權重都一定要有
[B1-3-1]生物的生命現象(0.5)
113
階層技能指標定義的表示方式
[(根)主要概念/技能]
[指標編碼]指標名稱(權重)
[後一個儲存格]中的[子概念/技能]
114
先備知識關係和延伸學習關係表示方式

可使用指標名稱或指標編碼來表示:



指標名稱(權重)、
[指標編碼](權重)、
[指標編碼]指標名稱(權重)

例如:






科學方法(0.5)、
[B2-2](0.8)、
[B1-4-2]實驗室器材認識與操作(0.5)
建議使用包含[指標編碼]的命名方式,以避免[指標名稱衝突]
當設定的 Map 中[無相同名稱]時,可使用[單獨名稱](ㄧ般狀況)
指標名稱在有[重複單獨名稱]時,需使用[絕對路徑名稱]:

#國中生物\\孕育生命的世界\\生物圈\\生物的生命現象(0.5)
115
概念/技能指標-關係定義限制

APO: (A Part Of) (部分知識/技能)


PR: (Prerequisite)(先備知識/技能)



其[上層]概念/技能指標不可以和[同ㄧ層]指標或其[下層]的子概念/技能指
標[同名]。
 例如:
 不可有絕對路徑"#國中生物\\孕育生命的世界\\國中生物"
不可以出現循環(Cycle)定義(互為先備知識)。
例如:
 “加”為“乘”的先備知識(PR),
 則“乘”就不能再設定為“加"的先備知識(PR)。
PR 與RR (Reference):


若出現 PR 與RR 混和的循環(Cycle)定義,則會有警告(Warning)產生
例如:
 “加”為“乘”的[先備知識(PR)],“乘”為“計算方法”的[先備知識(PR)],而
“加”又是“計算方法”的延伸學習概念(RR)。
116
設定概念圖[名稱]、[種類]、與[階層數]
117
下載空白概念圖excel檔
概念圖名稱
概念圖種類
118
上傳概念圖
119
上傳概念圖表格(excel檔)
120
(檔案無誤匯入預覽)
(檔案錯誤檢查列表)
121
成功匯入概念圖
122
二、線上編輯概念圖模式
123
線上新增概念圖
1
2
3
4
(完成概念圖資料新增)
124
1
(編輯概念)
(Root)
4 (按此完成)
(填寫子概念資訊,概念編碼不能重複)
3
2 (新增子概念)
125
增加多個子概念節點
126
建立先備概念(PR)
4 (按此完成)
2
(直接點選先備概念)
1 (編輯先備概念)
(直接新增此概念為[乘]的先備概念)
3 (編輯關係權重值)
127
建立延伸概念(RR)
4 (按此完成)
2
(直接點選先備概念)
(直接新增此概念為
[減]的延伸概念)
1 (編輯延伸概念)
3 (編輯關係權重值)
128
檢視概念圖內容
([乘]的資訊)
129
7.4.5 資源對應概念管理
130
資源對應概念管理
(連結概念)

目的:

設定[學習資源(學習物件、試題)]所對應的[目標
(Learning Objective)]:

所關聯的[學習概念/技能]:


可設定[1個或多個]學習概念/技能
並設定學習資源與關聯概念/技能間的[關聯程度(Weight)]。
131
1
2
3
選取欲對
應概念的
資源
132
設定後[存檔]再[離開]
資源所對應之概念節點
取消
連結
4
選取概念
節點
5
建立[概念]與[資
源]間之連結關係
設定 6
[概念]
與[資源]
間之關
係程度
133
7.4.6 診斷分析模組工具
利用學習物件( 試題) 所對應的概念
元素來針對學生的考試紀錄進行學
習問題的分析與診斷,並提供建議。
7.4.6 診斷分析模組工具
具概念設定的組卷方式

進行考試紀錄的診斷分析之前:


需利用組卷工具來組一份具有概念對應的試卷。
2.5.1 章節所組的試卷:


因為試題尚未對應概念元素,
所組試卷僅能針對學生答題的正確與否來給予分
析,並無法提供學習概念問題的診斷與建議。
136
選取試卷對應之概念圖
1
7 統計試卷試題分佈資訊
2 加入試卷概念範圍
3 設定試題搜尋條件
5
6
加入相關試題
137
存檔後離開
138
7.4.7 老師端之班級管理與診斷
分析系統
•
•
•
班級管理
測驗紀錄之新增
測驗之診斷分析
139
我的班級-管理
新增班級
140
141
測驗紀錄之新增
方法一 測驗成績表
142
點選[新增試卷][下載答案表
格],跳出下載成績樣版視窗
143
設定成績樣版資訊
144
作答表之Excel檔格式
145
學生資訊透過
Excel測驗表
上傳方式新增
146
測驗紀錄之新增
方法二 線上考試
147
新增考試
下載欲線上測驗的成績
表樣板
成績表學生資料[可填]或[不
填],但成績先不填後上傳。
上傳可產生一個供線上測驗的
考試資料。
圖7-45
新增可供線上測驗的考試紀錄
148
產生線上考試
提供此[考試網址]與[識別碼]給學生作測驗
表示開啟線上考試功能
學生線上測驗
連結至[考試網址]
輸入[學生帳號]
輸入[識別碼]
測驗後便會於學生帳號
下新增一筆測驗紀錄。
測驗之診斷分析
•
班級之診斷分析
進行班級之全體學生的:
•
•
•
(1) 多人單次測驗診斷分析報告,
(2) 多人多次測驗的綜合報告。
152
•
1.多人單次診斷報告書:
將單次測驗結果依照全班考試狀況作統計
與分析,讓老師快速了解班級學生考試主
要狀況與問題,以提供適當測驗後講解。
測驗資訊與統計
154
學生分數分佈狀況資訊
155
各題答對率分析
156
概念分佈狀況
相關題目數
概念平均分數等級:低
等級:中
等級:低
等級:高
等級:很低
157
學生迷失概念分析

概念圖有先後備知識關聯時可做此分析。
過濾診斷結果數目
概念診斷分析
158
2.多人多次診斷報告書:
讓老師針對班級學生選取多次考試來分析學生
的學習狀態趨勢(圖7-55),產生多人多次的測
驗綜合分析結果(圖7-56),讓老師針對狀況趨
勢提供較合適的教學方針與導引。
159
多人多次診斷報告書
選取要綜合分析的測驗記錄
產生多人多次測驗綜合分析結果
歷次測驗高、中、低組的分佈分析結果
基於概念圖選取要檢視的分析結果
基於概念診斷的分析結果
161
學生個人之診斷分析
形式3-單人多次診斷分析
形式4-單人單次測驗記錄分析
162
形式3-單人多次診斷分析:
直接點選任一位學生的帳號資料(圖7-57),可
檢視此學生的多次測驗紀錄的統整分析結果,
可了解學生的進退步趨勢(圖7-58),與概念改
變的狀況與問題建議(圖7-59)。
163
單人多次診斷分析
單人多次-測驗記錄趨勢分析
165
單人多次-測驗記錄概念分析
166
形式4-單人單次測驗記錄分析
點選班級裡的任一位學生的帳號資
料中的測驗紀錄,可觀看學生的單
筆測驗之分析結果。
167
單人單次測驗記錄分析
168
四、共享資源庫管理
使用者可分享自己製作的學習資源( 試題、試
卷、學習物件、課程、與概念圖) 給其他使用
者使用,使用者就不用重複製作,可節省人力
物力,也可以增加好的學習資源的使用率。
169
新增共享資源庫
分享資源
選擇欲發佈的資源與對應的共享資源庫
進入[共享資源庫-國小數學]便可看到所發布的共享資源
申請加入共享資源庫
搜尋共享資源庫
申請加入,等待此資源庫的管理者審查。
申請許可後,便可[看到]與[進入]此共享資源庫。
可[使用]別人[分享]的共享資源。
申請管理
可設定組員為[管理者身分],具管理與分享資源權限
本章結束
174

similar documents