ГОСУДАРСТВЕННОЕ УЧРЕЖДЕНИЕ ОБРАЗОВАНИЯ РЕСПУБЛИКАНСКИЙ ИНСТИТУТ ВЫСШЕЙ ШКОЛЫ кафедра

ГОСУДАРСТВЕННОЕ УЧРЕЖДЕНИЕ ОБРАЗОВАНИЯ «РЕСПУБЛИКАНСКИЙ ИНСТИТУТ ВЫСШЕЙ ШКОЛЫ» кафедра проектирования образовательных систем Е. Н. Балыкина Д. Н. Бузун Минск, 2010

X Педагогический тест – это система параллельных заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых Тест состоит не из заданий в тестовой форме, не из вопросов и задач, а только из тестовых заданий 2

X Тестовое задание – это составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям: • известной трудности; • дифференцирующей способности (достаточной вариации тестовых баллов); • положительной корреляции баллов задания с баллами по всему тесту, а также другим математико-статистическим требованиям 3

Литература X Аванесов В. С. Научные проблемы тестового контроля знаний – М. , 1994. Аванесов В. С. Форма тестовых заданий: учеб. пособие для учителей шк. , лицеев, преподавателей вузов и колледжей. — 2 изд. — М. , 2005. Балыкина Е. Н. Компьютерное дидактическое тестирование в преподавании исторических дисциплин // Круг идей: алгоритмы и технологии исторической информатики: тр. IX конф. Ассоц. «История и компьютер» . — М. , 2005. — С. 484— 517. Балыкина Е. Н. , Бузун Д. Н. Тестовые среды: теория и практика (на примере социальногуманитарных дисциплин): учеб. -нагляд. пособие с прил. CD-ROM. – Минск, 2007. – 126 с. Бузун Д. Н. Компьютерные дидактические тесты: оценка качества // Информационное обеспечение исторического образования: сб. ст. — Минск; Гродно, 2003. — С. 76– 86. Дидактические тесты: технология проектирования: метод. пособие для разработчиков тестов / Е. В. Кравец и др. ; под общ. науч. ред. А. М. Радькова. – Мн. , 2004. Беспалько В. П. Слагаемые педагогической технологии. — М. , 1989. Майоров А. Н. Теория и практика создания тестов для системы образования (как выбирать, создавать и использовать тесты для целей образования). — М. , 2001. Радьков А. М. Научные основы тестирования в системе непрерывного обучения математике: дис. . д-ра пед. наук: 13. 00. 02. — Могилев, 1996. Сайт конгресса конференций «Информационные технологии в образовании» . Режим доступа http: //ito. su]. Челышкова М. Б. Теория и практика конструирования педагогических тестов: учеб. пособие. — М. , 2002. 4

X История тестов Педагогический контроль Формирование тестовых заданий Сущностные характеристики дидактических тестов Проектирование теста Инструментальные среды реализации Критерии качества 5

X ИСТОРИЯ ТЕСТОВ В западной тестологии отождествляется с различными испытаниями. Соответственно I период считается, что тесты появились более 4 тыс. лет назад Второй период становления тестов проходил под знаком научности. Он охватывает время с начала II период XX в. до конца 70 -х гг. Импульс к появлению первых тестов дала проблема индивидуальных различий Начинается с 70 -х гг. , когда стали появляться публикации по новой, математически более III период оснащенной и практически более эффективной теории – Item Response Theory 6

X ПЕДАГОГИЧЕСКИЙ КОНТРОЛЬ • Входной ( «отправное» , вводное, начальное, предварительное) • Текущий • Тематический • Рубежный (периодическое, а если на модульной основе, то суммарное) • Итоговый • Заключительный (выпускное) • Отсроченный 7

X Формы контроля Фронтальная Групповая Индивидуальная 8

X Метод контроля – это система последовательных взаимосвязанных диагностических действий педагога и обучаемых, обеспечивающих обратную связь в процессе обучения с целью получения данных об успешности, эффективности учебного процесса 9

X Методы контроля • • • Устный (индивидуальный, фронтальный, уплотненный) Письменный (контрольные работы, КСР) Практический (например КСР по методу проектов, проблемные ситуации) • • Дидактические тесты Наблюдение Программированный контроль Графический 10

X Подвиды Письменный Практический Устный ПРИЕМЫ Составление таблиц, планов Сочинения Письм. контр. раб. Письм. тестирование Ответ по картине, иллюстрации Обсуждение кадров фильма Описание музейных экспонатов 11 Беседа по теме Рассказ у доски Ответ по цепочке Устное тестирование

X Функции контроля • • Диагностическая Контролирующая Обучающая Воспитывающая Мотивирующая Развивающая Прогностическая 12

X Принципы педагогического контроля • • Научности Эффективности Иерархической организации Объективности Систематичности Справедливости Всесторонности 13

X ФОРМИРОВАНИЕ ТЕСТОВЫХ ЗАДАНИЙ По В. С. Аванесову По голландскому институту C I T O • c выбором ответа; • открытой формы; • на установление соответствия; • на установление правильной последовательности • задания открытого типа; • вопросы множественного выбора; • устный экзамен; • задания на технику исполнения 14

Задания с выбором одного или нескольких правильных ответов X Выбрать номер(-а) правильного(-ых) ответа(-ов): 1. Иконографический тип, получивший наибольшее распространение в Беларуси в XII - XV вв. 1) богородичный; 2) праздничный; 3) святительный; 4) христологический. 2. Представители культуры Беларуси эпохи 1)Федор Ангилейко 2)Лазарь Богша 3)Симон Будный 4)Ян Вислицкий {Ренессанса } барокко 5)Ян Глаубиц 9)Франциск Скорина 6)Николай Гусовский 10)Милетий Смотрицкий 7)Петр Евсиевич 11)Кирилл Туровский 8)Ефросинья Полоцкая 12)Василий Тяпинский 15

X Задание открытой формы Дополнить: 3. В византийской иконографии изображение Богоматери с младенцем на левой руке получило название «Богоматерь Одигитрия» . С греческого языка это переводится как _______. Верный ответ: Путеводительница 16

X Задание на установление соответствия Установить соответствие: 4. СОБЫТИЕ 1) I раздел Речи Посполитой; 2) Брестская уния; 3) II раздел Речи Посполитой; 4) Кревская уния; 5) III раздел Речи Посполитой; 6) Люблинская уния. Ответы: 1_, 2_, 3_, 4_, 5_, 6_ 17 ДАТА А) 1385; Б) 1569; В) 1596; Г) 1667; Д) 1791; Е) 1772; Ж) 1793; З) 1795.

Задание на установление правильной последовательности Установить правильную последовательность: 5. ОСНОВНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ В ИСКУССТВЕ БЕЛАРУСИ XII - XVII ВВ. 1) барокко, 2) готика, 3) классицизм, 4) ренессанс, 5) романский Верный ответ – а) романский; б) готика; в) ренессанс; г) барокко; д) классицизм 18 X

Типы тестовых заданий по А. М. Радькову X • Открытого типа (с ограничениями, наложенными на ответ; без ограничений, наложенных на ответ) • Закрытого типа (с выбором ответов; на установление соответствия; на установление правильной последовательности) Виды и типы тестовых заданий по А. Н. Майорову • Открытого типа (дополнения; свободного изложения) • Закрытого типа (альтернативных ответов; множественного выбора; восстановления соответствия; восстановления последовательности) 19

Сравнение вероятностей угадывания правильного ответа K P Pk-1 -Pk 2 3 4 5 6 7 8 9 10 0, 5 0, 33 0, 25 0, 2 0, 16 0, 14 0, 12 0, 11 0, 17 0, 08 0, 05 0, 04 0, 02 0, 01 20 X

X Формула коррекции на догадку Например, при длине теста 60 тестовых заданий и числе верных ответов 50, а неверных 10, «сырой» балл X = 60 - 10=50; где R – число верных ответов, W скорректированный балл при 6 элементах (ответах) в тестовом – число неверных ответов, задании k – число элементов (ответов) в тестовом задании 21

X «Сырой» балл к «высокая» 60 42 30 2 50 35 25 3 50 35 25 «низкая» Скорректированный балл «высокая» «низкая» 60 42 30 30 21 15 40 25 15 0 0 0 30 21 15 45 30 20 15 4 50 35 25 30 21 15 46, 7 31, 7 20 10, 5 7, 5 14 10 5 50 35 25 30 21 15 47, 5 32, 5 22, 5 14, 8 11, 2 6 50 35 25 30 21 15 48 33 23 24 16, 8 12 При соотношении верных и неверных ответов в «высокой» и «низкой» группах 5: 1 и 1: 1 22

X Принципы конструирования тестовых заданий q Общие требования (для всех форм тестовых заданий) q Специальные требования (к различным формам тестовых заданий (ТЗ)) 23

Общие требования X • Цель (для слабого/сильного студента, СРС или диагностики) • Стандартная инструкция • Корректность формулировки задания • Лапидарность формулировки ТЗ • Не допускается определение понятия через перечисление элементов, не входящих в него • Формулировка ТЗ в утвердительной форме • Не допускается двойное отрицание • Соблюдение требования локальной независимости 24

X Общие требования • Одинаковость правил начисления баллов в рамках принятой формы • Целостность базиса • Оптимальное число элементов ответа 4 8 • Отбор элементов ответа по определенному принципу • Инвариантность в формировании элементов ответа (статично, случайно, по принципу «основных» и «запасных» игроков) 25

X Специальные требования ШТЗ с выбором правильного ответа ШОткрытая форма ТЗ ШЗадания на установление соответствия ШЗадания на установление правильной последовательности 26

X С выбором правильного ответа • • • Равная правдоподобность и привлекательность элементов ТЗ Все варианты должны быть равны по длине В элементах выбора должно быть равное количество объектов, желательно один Исключаются вербальные ассоциации, способствующие выбору правильного ответа Не должно быть противоречий между основной частью и ответами (элементами выбора) Исключить повторяющиеся слова в ответах 27

X С выбором правильного ответа • • Все элементы должны быть верными утверждениями, только один из них является верным ответом на данное задание, а остальные верными на другие задания в иных тестах Простая синтаксическая конструкция с одним сложноподчиненным предложением Компоновка элементов ТЗ с помощью генератора случайных чисел (или иным образом) Исключаются ТЗ, содержащие оценочные суждения и мнения разработчика 28

X С выбором правильного ответа • • При формулировке дистракторов не рекомендуется использовать выражения «ни один из перечисленных» , «все перечисленные» и т. д. В ответах не рекомендуется использовать такие слова, как «все» , «ни одного» , «никогда» , «всегда» и т. п. 29

X Открытая форма ТЗ • • • Дополняющее слово или словосочетание (единственное) располагают в конце Дополнять надо важное Дополнение ставят в именительном падеже Все прочерки для дополнения должны быть одинаковой длины Как правило, требуется дать образец ответа 30

X На установление соответствия • • • Содержание задания желательно выразить в виде двух множеств с соответствующими названиями Элементы задающего столбца располагаются слева, а элементы выбора справа Правый столбец должен содержать элементов больше, чем левый Формирование элементов по принципу «основных» и «запасных» игроков Все элементы выбора являются истинными высказываниями 31

X На установление правильной последовательности • • • Элементы формируются по алфавиту Факты или действия в задании обычно нумеруются Обязательно наличие названия задания 32

X Сопоставление заданий и уровней усвоения учебного материала 33

X ХАРАКТЕРИСТИКИ ТЕСТОВ По характеру предъявления: По классификации: • вербальные; • • мультимедийные • • невербальные; ориентированные на норму; ориентированные на критерии По степени однородности задач: • гомогенные; • гетерогенные 34

X Оценка ТЗ: • • дихотомическая (бинарная); политомическая По степени трудности: • одноуровневые; • многоуровневые 35

X По целям использования: ь ь начало обучения; прогресс в процессе обучения; трудности в процессе обучения; достижения в конце обучения 36

X Длина теста: 30 60 заданий Длина теста: банк заданий → 1: 15 Чем больше длина теста, тем выше его надежность и достоверность результатов Коэффициент Количество заданий надежности 0, 2 0, 3 10 12 0, 75 40 50 37

X Тест ограничен по t → 5 % испытуемых 5% Оптимальное время тестирования: до наступления утомления (20 100 минут) Выполнение 1 -го задания: 15 60 секунд – 3 5 минут Среднее ориентировочное время теста: минимальное 12 15 минут среднее 40 минут максимальное 60 70 минут 38

X ПРОЕКТИРОВАНИЕ ТЕСТА 1. 2. 3. 4. 5. 6. Постановка цели тестового контроля Организационный Выбор концептуальной модели обучения Определение концепции исследования Выбор видов педагогического контроля Определение категории будущего пользователя 7. Выбор педагогической концепции 8. Анализ обоснованности применения компьютерного контроля 39

X Проектирование теста 9. Выбор формы учебной деятельности 10. Выбор класса учебной программы 11. Определение оптимальных вариантов включения каждого тестового контролирующего блока в систему методических средств обучения 12. Учет требований образовательного стандарта 13. Разработка логической структуры учебной дисциплины 40

X Проектирование теста 14. Разработка мотивации изучения данного предмета 15. Спецификация теста 16. Разработка сценария тестового контроля 17. Выявление надежности и валидности ТЗ 18. Программная реализация алгоритма 19. Отладка контролирующей программы 20. Экспериментальная апробация программного продукта 41

Спецификация теста X 1) Название теста 2) Общая цель разработки 3) Задачи, решаемые применении теста 4) Перечень исходных документов, использованных при разработке теста (учебные планы, программы и т. п. ) 5) Содержание теста (части теста, части и разделы учебной дисциплины, охватываемые частями теста) 6) План теста 7) Характеристика содержания каждого задания 42

Спецификация теста X 8) Характеристика ответов к каждому заданию 9) Количество форм заданий и инструкций 10) Оценки за выполнение заданий 11) Способ формирования вариантов тестов (кластерная модель или параллельные формы) 12) Краткие рекомендации по апробации заданий 13) Определяемые характеристики качества заданий. Методы исследования 14) Ожидаемая интерпретация тестовых результатов 43

X Проектирование теста 21. Внедрение в учебный процесс 22. Сопровождение 23. Определение процедуры защиты теста от фальсификации 44

X ИНСТРУМЕНТАЛЬНАЯ СРЕДА должна поддерживать: • конструирование основных 4 -х форм ТЗ; • создание произвольного количества ТЗ (вопросов); • создание произвольного числа элементов ТЗ (ответов); • опционную установку выбора количества ТЗ из общего банка 45

Инструментальная среда X должна поддерживать: • опционную установку выбора последовательности подачи ТЗ и элементов заданий; • установку времени как для каждого задания, так и для теста в целом; • конструирование ТЗ, исключающее «заимствование» ответа; • создание продукта: а) в режиме диалога; б) в текстовом файле 46

X Последовательность подачи ТЗ • строго определенная; • в случайном порядке; • специальная: ь по степени возрастания трудности и с учетом выбора темы, ь по степени убывания трудности и с учетом выбора темы; • блочная; • комбинированная (случайный и специальная); • адаптивная 47

Банк заданий Формирование вариантов заданий 48 X

X Инвариантность расположения элементов ответа • статично • случайно • по принципу «основных» и «запасных» игроков 49

Инструментальная среда • дихотомичную или политомичную оценку каждого задания; • выставление оценки за тест (бинарной, дифференцированной, в процентном соотношении и др. ); • сетевую и мультимедийную технологию; • основные методы ввода и анализа ответа (альтернативный, выборочный, перестановочный, классификационный, инжекторный); • блок статистики 50 X оценка

Оценка 51 X

Инструментальная среда X должна поддерживать • создание базы верных/неверных ответов; • обработку запросов (словаря, справки, помощи, подсказки, теории и др. ); • обработку ошибочных, неточных и неполных ответов; • несколько режимов работы; • учет индивидуально-психологических особенностей 52

Индивидуальнопсихологические особенности X 1. Основные свойства внимания (высокую/низкую концентрацию, (не) устойчивость, широкий/узкий объем, хорошее/ограниченное распределение, переключение). 2. Тип нервной системы (сильный/слабый, (не) уравновешенный, подвижный/ригидный) и, следовательно, типы темперамента (сангвиник, холерик, меланхолик, флегматик). 3. Уровень тревожности (низкий, ниже среднего, средний, выше среднего, высокий). 4. Мотивация к данному виду деятельности 53

Индивидуально-психологические особенности 5. X Мотивация к изучаемому предмету, формировать и поддерживать ее высокий уровень помогает учет степени экстраверсии (потенциальные интроверты, амбиверты, потенциальные экстраверты, экстраверты). 6. Особенности (тип, объем) памяти (тип ведущей сенсорной системы памяти – визуальный, аудиальный, кинестетический; малый/средний/высокий объем кратковременной памяти). 7. Особенности мышления (степень развитости логического – «левополушарного» и образного – «правополушарного» типов мышления) и интеллект. 8. … 54

X Инструментальная среда • адаптивное тестирование; • работу модераторов трех уровней 55

X КРИТЕРИИ КАЧЕСТВА ДИДАКТИЧЕСКИХ ТЕСТОВ • Надежность • Валидность • Различительная способность • Трудность 56

X Надежность Характеристика качества тестов, отражающая точность педагогических измерений, степень постоянства, стабильности, устойчивости результатов тестирования. Надежным считается тест, который дает постоянные результаты, оценки при повторных предъявлениях 57

Формулы для расчета надежности X дисперсия истинной компоненты дисперсия измеренных тестовых баллов m – число заданий теста рj – сложность j-го задания к – количество заданий сумма стандартных отклонений для заданий квадрат стандартного отклонения для всего теста 58 Sx – стандартное отклонение суммарных индивидуальных баллов

X Валидность Комплексная характеристика теста, отображающая обоснованность, значимость его результатов, адекватность теста целям измерения 59

X Виды валидности • • Конвергентная По одновременности Прогностическая Ретроспективная Конструктная Куррикулярная Прагматическая 60

X Различительная способность Показывает, насколько эффективно ТЗ различает учащихся, овладевших и не овладевших учебным материалом 61

X Формула для расчета различительной способности D=n 1/N 1 – n 2/N 2 N 1 и N 2 – количество испытуемых, попавших в «высокую» или «низкую» контрастные группы; n 1 и n 2 – количество испытуемых, правильно выполнивших задание (соответственно из «высокой» и «низкой» групп) 62

X Трудность Равна доле испытуемых, ответивших на это задание. правильно n – общее число испытуемых, отвечавших на задание nj – число правильных ответов на задание 63

X КОМПЬЮТЕРНОЕ ПЕДАГОГИЧЕСКОЕ ТЕСТИРОВАНИЕ: теория и практика Республиканский институт высшей школы Кафедра проектирования образовательных систем Московская 15, к. 419 т. 222 -83 -21 Белорусский государственный университет Исторический факультет, кафедра источниковедения Красноармейская 6, к. 20 т. 222 -36 -07, 209 -57 -06 @ E-mail: balykina@bsu. by; elena@balykina. info dmitry@buzun. com; buzun@bsu. by 64