英語測驗命題概念原則與分析 v 中正大學外文系 v 陳玉美

英語測驗命題：概念、原則與分析 v 中正大學外文系 v 陳玉美 JHE

大綱 v v v 測驗評量的基本概念測驗命題原則與範例試題分析分數解釋演練及討論 2009/02/25 中正程玉美

疑難問題 _____1. I’m taking acting (1) class (2) classes to be more confident on stage. _____2. Nelly was kicked out of (1) dance class (2) the dance class (3) dance classes because she never practiced. _____3. I have (1) math and Chinese (2) math and Chinese classes this morning. _____4. May goes to (1) math class (2) a math class (3) math classes (4) class on Mondays. _____5. In (1) geography class (2) the geography class, we learned capitals of all countries. _____6. (1)The Chinese (2) Chinese people (3) Chinese believe red is a lucky color. _____7. He (1) has been dead (2) has died since last night. _____8. Pour (1) two thirds (2) two-thirds (3) two-third cup of water in the mixture. _____9. The music makes me (1) happy (2) feel happy. _____10. (1)With (2) Because of Dr. Li’s help, I got well soon. 2009/02/25 中正程玉美

網路資源 v ESL Help Desk § www. englishclub. com/esl-help/index. php v British National Corpus § http: //www. natcorp. ox. ac. uk/ v Google Search § http: //www. google. com. tw/webhp? sourceid=navclient &hl=zh-TW&ie=UTF 2009/02/25 中正程玉美

基本概念 v考試 (Test): 指的是測量一個人在某一特定領域的知識或能力之具。 v測驗 (Testing): 強調過程 ‚包括測驗的編製、施測、測驗分數解釋等。 2009/02/25 中正程玉美

基本概念 v評量 (Assessment): 意義與測驗大同小異 ; 只是評量對蒐集的資料進行價值判斷 (evaluation)，測驗比較強調客觀的蒐集與分析資料。 2009/02/25 中正程玉美

基本概念 v回沖效應 (Backwash) v課堂測驗 (Class Progress Test) v效標參照測驗 (Criterion-referenced Test) v常模參照測驗 (Norm-referenced Test) 2009/02/25 中正程玉美

要素 v效度 (Validity): 表面效度、內容效度、建構效度 (測驗是否正確 ) v信度 (Reliability): 測驗內部一致性、評分一致性 (測驗是否精準 ) v適用可行性 (Practicability): 經費、時間、施測行政、評分 2009/02/25 中正程玉美

確定效度的方法 v利用雙向細目表 v諮詢專家、同仁 v施行預測 v尋求反饋 v參考文獻 2009/02/25 中正程玉美

確定信度的方法 v測驗信度 (統計概念 ) § § 重測 (同樣測驗不同時間重複施測兩次複本信度 (題目不同但內容相似 ) 折半信度 (奇偶數試題得分相關 ) KR 20, KR 21, Cronbach ) v評分者信度 § 積差相關、等級相關 2009/02/25 中正程玉美

命題流程 v v v 決定評量目標及內容 (參閱課程綱要及教材 ) 設計比較變化試題方式設計雙向細目表編制測驗題目及草稿校正、修訂、確定測驗題目使用「命題檢核表」最後檢查試題是否符合命題原則與格式規定 2009/02/25 中正程玉美

題型種類 v 閱讀 v 寫作 v 聽力 v 口說 2009/02/25 中正程玉美

命題原則 --詞彙與慣用語 v命題所用之詞以國中高中常用之字詞為原則 v所測詞彙的詞類應適當的分配 (3 -3 -2 -2或 43 -2 -1) v題幹的上下文意明確，提供充分的解題線索 v題幹長度適中 (以 15 -20字或不超過一行為原則 ) v正答與其它選項之長短及難易度接近 (詞類、音節數、拼字 ) v選項應具有適度的誘答力 2009/02/25 中正程玉美

命題原則 --詞彙 v 詞彙種類：active (speaking and writing) and passive (listening and reading) v 參考詞彙表 § 大考中心公佈之高中英文參考詞彙表 § 教育部公佈之九年一貫英語課程常用表 (畫底線者為基本 1200個字彙 ) § 課本重點單字 2009/02/25 2000個字詞中正程玉美

命題原則 --詞彙 v 定義詞彙範圍 § 大學學測詞彙範圍約 4000 -5000個高中常用詞彙 § 詞類有適當比例，共有 10題，名詞 3個、動詞 3個、形容詞 2個、副詞 2個 (或是 4321) § 大考中心高中英文參考詞彙表六級難度標準 (每級 1, 080個詞彙 )：第二級 3個、第三級 3個、第四級 4個。 (第五及六級適合指定科目考試使用。 ) 2009/02/25 中正程玉美

命題原則 --詞彙 v題幹必須語意明確，並提供充份的解題線索 v題幹提供線索的方法 § 定義或同義詞 § § 常識推理或聯想提供因果關係主題、評論關係 2009/02/25 中正程玉美

命題原則 --詞彙 v題幹長度儘量在一行或 20字以內 v選項音節數及難易度接近 v選項詞類相同 v誘答之誘答力平均 2009/02/25 中正程玉美

詞彙題範例 v After the heavy rain, many parts of the city were _____. A. flooded 考文法 ? A. flooded B. washed C. drowned D. 考詞彙 ? watered 連接詞 v At last the climbers reached the 不是實詞 s_____ of the mountain. summit v We could see the place _____ she had C. where 既考單字 the accident. 又考文法過去式 A. which B. where C. whether D. 沒有提供字尾 what sought 可能不只一個答 v We s____ for many places but searched 案 could not find traces of our dog. 2009/02/25 中正程玉美

詞彙題範例拼寫運用詞彙 feeble v. She is very f____e from sickness. 辨讀選用同義詞彙 v. He has been very feeble since his 辨讀運用適 illness. 當詞彙 A. unwell B. thin C. foolish D. weak v. The old woman was too _______ to push open the heavy door. A. feeble B. sincere C. deaf D. harsh 第一題最節省版面、比較容易命題第二題直接呈現詞彙的語境第三題答題可能較費時 2009/02/25 中正程玉美

單項詞彙選擇題命題不容易；詞彙取樣有限；學生可能以詞彙題範例消去法答對、也可能僅知道評量字詞的其他意義，而不是評量針對的意義；字彙命題漸漸朝向提供篇章語境 v A. completely B. heavily C. ably D. politely E. deliberately F. busily G. hastily H. carefully I. quickly J. hardly K. angrily L. suitably "Write (1)_____, " the teacher shouted (2)_____, "but don't waste time. You must get used to working (3)_____. " "Please, sir, " a student said (4)_____, "I've finished. " "No, you haven't, " answered the teacher. "You haven't (5)_____ finished until you've ruled a line at the end. " Meanwhile, the boy sitting next to him was (6) _____ engaged in drawing a map. 2009/02/25 中正程玉美

詞彙題範例 --篇章導向提供篇章語境評量字彙能力 In a 1 democratic society suspected persons are presumed innocent until proven guilty. The 2 establishment of guilt is often a difficult task. One consideration is whether or not there remains a 3 reasonable doubt that the suspected persons committed the acts in questions. Another consideration is whether or not the acts were committed 4 deliberately. 4. A. both B. noticeably C. intentionally D. absolutely 2009/02/25 中正程玉美

命題原則 —克漏字 v包含綜合測驗及文意選填 v主要在測驗考生對選文之文意、句構及章法的全面了解，即實詞、虛詞、慣用語及轉折詞等在篇章結構中的用法 v選文應多元，涵蓋不同之主題及題材 2009/02/25 中正程玉美

命題原則 —克漏字 v內容符合學生的生活體驗及認知能力 v內容具教育性、知識性及趣味性 v語言難易適中 v題目數配合長度，約 15 -20字 1題 v上下文提供充分的解題線索 v避免以首尾句命題 2009/02/25 中正程玉美

命題原則 —克漏字 v測試的內容項目：章法、詞彙、語意、語法要平均分配 v選項避免拼字、用詞或文法錯誤以及爭議性誘答 v選項詞類一致，避免根據文法常識即可作答 v誘答之誘答力要平均 2009/02/25 中正程玉美

克漏字題組範例 v Hundreds of scientists around the world are researching how birds learn to speak. They (1) that most birds learn new sound when they are young. The learning time for (2) sparrows is the first two-and-a-half months after they are hatched. Newly hatched birds are quiet, (3) they hear a rich variety of sounds from the adult birds around them. Soon they start to practice those songs at once, (4) their songs crystallize and are set in their memory for life. If the birds make a “mistake” (5) , they might start a new dialect. (about 100 words) 2009/02/25 中正程玉美

克漏字題組範例 1. (A) found (B) have found (C) are finding (D) had found 2. (A) whitely-crowned (B) crowned whitely (C) white-crowned (D) crowned white 3. (A) therefore (B) and (C) however (D) but 4. (A) when (B) since (C) until (D) before 5. (A) while practicing (B) upon practicing (C) for practice (D) without practice 2009/02/25 中正程玉美

克漏字題組範例選文 60 -70字，但是題組卻有 5題 Yesterday while my family were watching TV, we felt the house 43. It was a quake. All of us 44 , and Daddy told us to 45 the house. When it finally stopped, we came back to the house and 46 the TV. We were so sad to learn that hundreds of people 選項錯誤 47. It was a terrible experience. 43. (A) shaked (B) shook (C) shaken (D) shaking 沒有正答 , was shaking? 44. (A) are scared (B) were scared (C) scared (D) scaring 45. (A) run out of (B) ran out of (C) running out (D) run out 選項錯誤 46. (A) turn on (B) turned off 47. (A) hurts (B) were hurt 2009/02/25 (C) turned on (C) get hurt (D) turn off (D) got hurted 中正程玉美

克漏字題組範例選文第一句開頭就是題目，不恰當選文約 60字，但是題組只有 2題 (1) the food “bagel”? In fact, a bagel is becoming more and more popular now. People can buy it at the snack bars, fast-food restaurants, and even Starbucks. But do you know its story? The earliest story about bagels (2) in 1610. It says women could get bagels when they had a baby. 1. (A) Are you eating (B) Are you eaten (C) Have you ever eaten (D) Have you ever eat 2. (A) was written (C) is writing 2009/02/25 (B) wrote (D) has written 中正程玉美

命題原則 —閱讀測驗 v 選文應多元，涵蓋不同之主題及題材 v 選文內容及語言難易適中 v 選文內容符合學生的生活體驗及認知能力 v 選文應具教育性、知識性及趣味性 v 問題數目配合選文長度，約 60字一題 2009/02/25 中正程玉美

命題原則 —閱讀測驗 v 避免學生不用閱讀即可作答 v 評量學生對選文的理解、引申及推理能力 v 兼顧整體（global）理解及(local)理解 v 避免使用與選文完全相同之字詞及句型 v 平均涵蓋選文的重要內容 v 各選項之長短及難易度相當 v 各選項具有適度的誘答力 2009/02/25 中正程玉美

閱讀測驗範例 One day Nasreddin borrowed a big pot from his neighbor Ali. The next day he returned the pot with a small pot inside. “That’s not mine, ” said Ali. “Yes, it is, ” said Nasreddin. “While your pot was staying with me, it had a baby. ” One week later Nasreddin asked Ali to lend him the pot again. Ali gladly agreed and waited to see if Nasreddin would again give him back two pots. One week passed. Then another. In the end, Ali lost patience and went to demand his pot. “I’m sorry, your pot has died, ” said Nasreddin. “Died!” said Ali. “How can a pot die? ” “Well, you believed me when I told you that your pot had a baby, didn’t you? ” (89 SAET) (140 words) 2009/02/25 中正程玉美

閱讀測驗範例 v 41 -43題組，篇章文類屬敘事，其實不難理解，但 43題鑑別度偏低 (P=. 33, D=. 17, Ph=. 44, Pl=. 27)(41題 D=. 58， 42題 D=. 53)，試題題意容易誤導，建議修改。 43. It can be inferred that Ali had ____ at the end of the story. (A) neither of the pots (B) the big pot (C) the small pot (D) both pots 43. It can be inferred that Ali (A) got both pots (B) lost the big pot C) lost both pots (D) got the big pot 2009/02/25 中正程玉美

試題分析指標 v試題難度 (答對率 ) v試題鑑別度 v試題誘答力 2009/02/25 中正程玉美

測驗難度 v試題難度指數 (答對率，P值 )：即所有參加考試者答對試題的比率，難度指數 = 答對人數 / 受測總人數 v難度指數 (P值 )範圍 § 個別試題： 0. 3~0. 7。 § 整體試題：平均 0. 5左右 2009/02/25 中正程玉美

試題鑑別度 v試題鑑別度指數 (D值 )：即試題分辨參加考試者能力高低的程度，鑑別度指數 = 高分組答對率減去低分組答對率 v試題鑑別指數 (D值 )的評鑑標準 (Ebel, 1979) § § 0. 40 以上極佳的試題 0. 30 -0. 39 尚可的試題，可能需要稍加改進 0. 20 -0. 29 不佳的試題，必須加以改進 0. 19 以下極差的試題，應修改或刪除 2009/02/25 中正程玉美

試題誘答力 v誘答力評鑑原則： § 至少有一位以上低分組受試者選擇任何一個不正確選項。 § 選擇不正確選項的低分組受試者應比高分組多。 2009/02/25 中正程玉美

試題分析 v試題分析解釋步驟如下 : § 先看試題鑑別指數及難易度指數。 § 如果一題試題難易度指數高，即多數人答對此題，試題鑑別度指數可能不高，無法鑑別能力高低，但是一份試卷也需要兩三題這樣的題目，讓能力差的學生不至於成績掛零，所以這樣的試題可考慮安置於試卷的最前面。 § 再看高分組及低分組選答情形及選項是否恰當。如果選項誘答錯誤，即引誘高分組的學生選答，宜考慮修改試題選項。有些選項無人選答也應該修改。 2009/02/25 中正程玉美

分數相關名詞 v平均數 (Mean) v中位數 (Median) v眾數 (Mode) v全距 (Range) v標準差 (Standard Deviation) 2009/02/25 中正程玉美

分數相關名詞 v原始分數 (Raw Score) v標準分數 (Standardized Score) § 百分等級 (Percentile Rank) § z score § T score 2009/02/25 中正程玉美

常態分配 v 常態曲線 § 所有常態曲線都有相同的外型 • 具有對稱、單峰及鐘形的特性。 v 常態曲線所代表的分配即為常態分配 (normal distribution) § 每一常態分配都有其平均值 M (mean)與標準差 SD(standard deviaton) 。 2009/02/25 中正程玉美

常態曲線 SD較小 SD Mean 2009/02/25 中正程玉美

常態曲線 SD較大 SD Mean 2009/02/25 中正程玉美

常態分配的 68 -95 -99. 7規則 v 常態分配有其特定的資料分佈規則： § 平均值為 M (mean) , 標準差為 SD(standard deviaton)的常態分配 § 68%的觀察資料落在 M 的 1 SD 之內 § 95%的觀察資料落在 M 的 2 SD之內 § 99. 7%的觀察資料落在 M 的 3 SD之內 2009/02/25 中正程玉美

常態分配的 68 -95 -99. 7規則 68%-95%-99. 7%分布圖 68% 的資料 95% 的資料 99. 7% 的資料 M M+1 SD M+2 SD 3 M-1 SD 2 M 02 SD -1 1 M-3 SD 2009/02/25 -2 0 -3 M+3 SD 中正程玉美

分組試題分析演練及討論 v以試題難易度、鑑別度、誘答力分析 5個試題。試題分析解釋，請參考網路教材中之範例。請根據下列題項提供之難易度及鑑別度、高分低分選答人數，分析各試題。 2009/02/25 中正程玉美

演練與討論 v If I were rich, I ____ work. (A) shan't (B) won't (C) wouldn't (D) didn't. v 正答為 (C) v 答對率（難度）＝. 45 v 鑑別度＝. 5 v 高分選答人數　　低分選答人數 (A) 1 4 (B) 2 5 (C) 14 4 (D) 3 7 2009/02/25 中正程玉美

演練與討論 v Mr. Watson wants to meet a friend in Singapore this year. He ____ him for ten years. (A) knew (B) had known (C) knows (D) has known. v 正答為 (D) v 答對率（難度）＝. 325 v 鑑別度＝. 15 v 高分選答人數　　低分選答人數 (A) 7 3 (B) 4 3 (C) 1 9 (D) 8 5 2009/02/25 中正程玉美

演練與討論 v We bought our plane tickets at a travel _____, not a counter. (A) salesman (B) dealer (C) tourist (D) agency. v 正答為 (D) v 答對率（難度）＝. 625 v 鑑別度＝. 05 v 高分選答人數　　低分選答人數 (A) 0 2 (B) 0 3 (C) 13 12 (D) 10 7 2009/02/25 中正程玉美

演練與討論 v He complained that he ____ the same bad film the night before. (A) had seen (B) was seeing (C) has seen (D) would see. v 正答為 (A) v 答對率（難度）＝. 55 v 鑑別度＝. 30 v 高分選答人數　　低分選答人數 (A) 14 8 (B) 4 7 (C) 2 5 (D) 0 0 2009/02/25 中正程玉美

演練與討論 v Wasn't that your father over there? (A) Yes, he was (B) Yes, it was (C) Yes, was he (D) Yes, was it. v 正答為 (B) v 答對率（難度）＝. 50 v 鑑別度＝. 30 v 高分選答人數　　低分選答人數 (A) 7 13 (B) 13 7 (C) 0 0 (D) 0 0 2009/02/25 中正程玉美

利用測驗提昇教學 v老師聯合命題 § 分擔編製各課複習測驗 § 討論試題品質 v學生共同命題 § 分組討論重點 § 共同命題（字彙、文法、句子重組、插入、刪除等 ) 2009/02/25 中正程玉美

教學評量明析不足再精進共勉之 2009/02/25 中正程玉美

祝福大家 JHE

英語測驗命題 概念 原則與分析 v 中正大學外文系 v 陳玉美

英語測驗命題概念原則與分析 v 中正大學外文系 v 陳玉美