Балыкина Е Н Бузун Д Н

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X ГОСУДАРСТВЕННОЕ УЧРЕЖДЕНИЕ ОБРАЗОВАНИЯ «РЕСПУБЛИКАНСКИЙ ИНСТИТУТ ВЫСШЕЙ ШКОЛЫ» кафедра проектирования образовательных систем Е. Н. Балыкина Д. Н. Бузун 06. 02. 2018 Минск, 2010 1

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Педагогический тест – это система параллельных заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых Тест состоит не из заданий в тестовой форме, не из вопросов и задач, а только из тестовых заданий 2

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Тестовое задание – это составная единица теста, отвечающая требованиям к заданиям в тестовой форме и, кроме того, статистическим требованиям: известной трудности; дифференцирующей способности (достаточной вариации тестовых баллов); положительной корреляции баллов задания с баллами по всему тесту, а также другим математико-статистическим требованиям 3

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Литература X Аванесов В. С. Научные проблемы тестового контроля знаний – М. , 1994. Аванесов В. С. Форма тестовых заданий: учеб. пособие для учителей шк. , лицеев, преподавателей вузов и колледжей. — 2 изд. — М. , 2005. Балыкина Е. Н. Компьютерное дидактическое тестирование в преподавании исторических дисциплин // Круг идей: алгоритмы и технологии исторической информатики: тр. IX конф. Ассоц. «История и компьютер» . — М. , 2005. — С. 484— 517. Балыкина Е. Н. , Бузун Д. Н. Тестовые среды: теория и практика (на примере социально- гуманитарных дисциплин): учеб. -нагляд. пособие с прил. CD-ROM. – Минск, 2007. – 126 с. Бузун Д. Н. Компьютерные дидактические тесты: оценка качества // Информационное обеспечение исторического образования: сб. ст. — Минск; Гродно, 2003. — С. 76– 86. Дидактические тесты: технология проектирования: метод. пособие для разработчиков тестов / Е. В. Кравец и др. ; под общ. науч. ред. А. М. Радькова. – Мн. , 2004. Беспалько В. П. Слагаемые педагогической технологии. — М. , 1989. Майоров А. Н. Теория и практика создания тестов для системы образования (как выбирать, создавать и использовать тесты для целей образования). — М. , 2001. Радьков А. М. Научные основы тестирования в системе непрерывного обучения математике: дис. . д-ра пед. наук: 13. 00. 02. — Могилев, 1996. Сайт конгресса конференций «Информационные технологии в образовании» . Режим доступа http: //ito. su]. Челышкова М. Б. Теория и практика конструирования педагогических тестов: учеб. пособие. — М. , 2002. 4

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 История тестов Педагогический контроль Формирование тестовых заданий Сущностные характеристики дидактических тестов Проектирование теста Инструментальная среда реализации Критерии качества 5 X

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X ИСТОРИЯ ТЕСТОВ В западной тестологии отождествляется с различными испытаниями. Соответственно I период считается, что тесты появились более 4 тыс. лет назад Второй период становления тестов проходил под знаком научности. Он охватывает время с начала II период XX в. до конца 70 -х гг. Импульс к появлению первых тестов дала проблема индивидуальных различий Начинается с 70 -х гг. , когда стали появляться публикации по новой, математически более III период оснащенной и практически более эффективной теории – Item Response Theory 6

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X ПЕДАГОГИЧЕСКИЙ КОНТРОЛЬ Входной ( «отправное» , вводное, начальное, предварительное) Текущий Тематический Рубежный (периодическое, а если на модульной основе, то суммарное) Итоговый Заключительный (выпускное) Отсроченный 7

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Формы контроля

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Метод контроля – X это система последовательных взаимосвязанных диагностических действий педагога и обучаемых, обеспечивающих обратную связь в процессе обучения с целью получения данных об успешности, эффективности учебного процесса 9

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Методы контроля • • • Устный (индивидуальный, фронтальный, уплотненный) Письменный (контрольные работы, КСР) Практический (например, КСР по методу проектов, проблемные ситуации) • • Дидактические тесты Наблюдение Программированный контроль Графический 10

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Подвиды Письменный Практический Устный ПРИЕМЫ Составление таблиц, планов Сочинения Письм. контр. раб. Письм. тестирование Ответ по картине, иллюстрации Обсуждение кадров фильма Описание музейных экспонатов 11 Беседа по теме Рассказ у доски Ответ по цепочке Устное тестирование

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Функции контроля Диагностическая

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Принципы педагогического

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X ФОРМИРОВАНИЕ ТЕСТОВЫХ ЗАДАНИЙ По В. С. Аванесову По голландскому институту C I T O c выбором ответа; открытой формы; на установление соответствия; на установление правильной последовательности задания открытого типа; вопросы множественного выбора; устный экзамен; задания на технику исполнения 14

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Задания с выбором одного или нескольких правильных ответов X Выбрать номер(-а) правильного(-ых) ответа(-ов): 1. Иконографический тип, получивший наибольшее распространение в Беларуси в XII - XV вв. 1) богородичный; 2) праздничный; 3) святительный; 4) христологический. 2. Представители культуры Беларуси эпохи 1)Федор Ангилейко 2)Лазарь Богша 3)Симон Будный 4)Ян Вислицкий { Ренессанса} барокко 5)Ян Глаубиц 9)Франциск Скорина 6)Николай Гусовский 10)Милетий Смотрицкий 7)Петр Евсиевич 11)Кирилл Туровский 8)Ефросинья Полоцкая 12)Василий Тяпинский 15

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Задание открытой формы Дополнить: 3. В византийской иконографии изображение Богоматери с младенцем на левой руке получило название «Богоматерь Одигитрия» . С греческого языка это переводится как _______. Верный ответ: Путеводительница 16

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Задание на установление соответствия Установить соответствие: 4. СОБЫТИЕ 1) I раздел Речи Посполитой; 2) Брестская уния; 3) II раздел Речи Посполитой; 4) Кревская уния; 5) III раздел Речи Посполитой; 6) Люблинская уния. Ответы: 1_, 2_, 3_, 4_, 5_, 6_ 17 ДАТА А) 1385; Б) 1569; В) 1596; Г) 1667; Д) 1791; Е) 1772; Ж) 1793; З) 1795.

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Задание на установление правильной последовательности X Установить правильную последовательность: 5. ОСНОВНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ В ИСКУССТВЕ БЕЛАРУСИ XII - XVII ВВ. 1) барокко, 2) готика, 3) классицизм, 4) ренессанс, 5) романский Верный ответ – а) романский; б) готика; в) ренессанс; г) барокко; д) классицизм 18

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Типы тестовых заданий по А. М. Радькову X • Открытого типа (с ограничениями, наложенными на ответ; без ограничений, наложенных на ответ) • Закрытого типа (с выбором ответов; на установление соответствия; на установление правильной последовательности) Виды и типы тестовых заданий по А. Н. Майорову • Открытого типа (дополнения; свободного изложения) • Закрытого типа (альтернативных ответов; множественного выбора; восстановления соответствия; восстановления последовательности) 19

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Сравнение вероятностей угадывания правильного ответа K P Pk-1 -Pk 2 3 4 5 6 7 8 9 10 0, 5 0, 33 0, 25 0, 2 0, 16 0, 14 0, 12 0, 11 0, 17 0, 08 0, 05 0, 04 0, 02 0, 01 20 X

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Формула коррекции на догадку где R – число верных ответов, Например, при длине теста 60 тестовых заданий и числе верных ответов 50, а неверных 10, «сырой» балл X = 60 - 10=50; скорректированный балл при 6 W – число неверных ответов, элементах (ответах) в тестовом k – число элементов задании (ответов) в тестовом задании 21

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 «Сырой» балл к «высокая» 60 42 30 2 50 35 25 3 50 35 25 «низкая» X Скорректированный балл «высокая» «низкая» 60 42 30 30 21 15 40 25 15 0 0 0 30 21 15 45 30 20 15 4 50 35 25 30 21 15 46, 7 31, 7 20 10, 5 7, 5 14 10 5 50 35 25 30 21 15 47, 5 32, 5 22, 5 14, 8 11, 2 6 50 35 25 30 21 15 48 33 23 24 16, 8 12 При соотношении верных и неверных ответов в «высокой» и «низкой» группах 5: 1 и 1: 1 22

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Принципы конструирования тестовых заданий q Общие требования (для всех форм тестовых заданий) q Специальные требования (к различным формам тестовых заданий (ТЗ)) 23

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Общие требования X Цель (для слабого/сильного студента, СРС или диагностики) Стандартная инструкция Корректность формулировки задания Лапидарность формулировки ТЗ Не допускается определение понятия через перечисление элементов, не входящих в него Формулировка ТЗ в утвердительной форме Не допускается двойное отрицание Соблюдение требования локальной независимости 24

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Общие требования • Одинаковость правил начисления баллов в рамках принятой формы • Целостность базиса • Оптимальное число элементов ответа 4 8 • Отбор элементов ответа по определенному принципу • Инвариантность в формировании элементов ответа (статично, случайно, по принципу «основных» и «запасных» игроков) 25

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Специальные требования ШТЗ с выбором правильного ответа ШОткрытая форма ТЗ ШЗадания на установление соответствия ШЗадания на установление правильной последовательности 26

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X С выбором правильного ответа • • • Равная правдоподобность и привлекательность элементов ТЗ Все альтернативы должны быть равны по длине В элементах выбора должно быть равное количество объектов, желательно один Исключаются вербальные ассоциации, способствующие выбору правильного ответа Не должно быть противоречий между основной частью и ответами (элементами выбора) Исключить повторяющиеся слова в ответах 27

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X С выбором правильного ответа • • Все элементы должны быть верными утверждениями, только один из них является верным ответом на данное задание, а остальные верными на другие задания в иных тестах Простая синтаксическая конструкция с одним сложноподчиненным предложением Компоновка элементов ТЗ с помощью генератора случайных чисел (или иным образом) Исключаются ТЗ, содержащие оценочные суждения и мнения разработчика 28

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X С выбором правильного ответа • • При формулировке дистракторов не рекомендуется использовать выражения «ни один из перечисленных» , «все перечисленные» и т. д. В ответах не рекомендуется использовать такие слова, как «все» , «ни одного» , «никогда» , «всегда» и т. п. 29

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Открытая форма ТЗ • • • Дополняющее слово или словосочетание (единственное) располагают в конце Дополнять надо важное Дополнение ставят в именительном падеже Все прочерки для дополнения должны быть одинаковой длины Как правило, требуется дать образец ответа 30

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X На установление соответствия • • • Содержание задания желательно выразить в виде двух множеств с соответствующими названиями Элементы задающего столбца располагаются слева, а элементы выбора справа Правый столбец должен содержать элементов больше, чем левый Формирование элементов по принципу «основных» и «запасных» игроков Все элементы выбора являются истинными высказываниями 31

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X На установление правильной последовательности • • • Элементы формируются по алфавиту Факты или действия в задании обычно нумеруются Обязательно наличие названия задания 32

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Сопоставление заданий

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X ХАРАКТЕРИСТИКИ ТЕСТОВ По характеру предъявления: По классификации: • вербальные; • • мультимедийные • • невербальные; ориентированные на норму; ориентированные на критерии время По степени однородности задач: • гомогенные; • гетерогенные 34

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Оценка ТЗ: •

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 По целям использования:

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Длина теста: 30 60 заданий Длина теста: банк заданий → 1: 15 Чем больше длина теста, тем выше его надежность и достоверность результатов Коэффициент Количество заданий надежности 0, 2 0, 3 10 12 0, 75 40 50 37

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X 5% Тест ограничен по t → 5 % испытуемых Оптимальное время тестирования: до наступления утомления (20 100 минут) Выполнение 1 -го задания: 15 60 секунд – 3 5 минут Среднее ориентировочное время теста: минимальное 12 15 минут среднее 40 минут максимальное 60 70 минут 38

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X ПРОЕКТИРОВАНИЕ ТЕСТА 1. 2. 3. 4. 5. 6. Постановка цели тестового контроля Организационный Выбор концептуальной модели обучения Определение концепции исследования Выбор видов педагогического контроля Определение категории будущего пользователя 7. Выбор педагогической концепции 8. Анализ обоснованности применения компьютерного контроля 39

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X проектирование теста 9. Выбор формы учебной деятельности 10. Выбор класса учебной программы 11. Определение оптимальных вариантов включения каждого тестового контролирующего блока в систему методических средств обучения 12. Учет требований образовательного стандарта 13. Разработка логической структуры учебной дисциплины 40

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X проектирование теста 14. Разработка мотивации изучения данного предмета 15. Спецификация теста 16. Разработка сценария тестового контроля 17. Выявление надежности и валидности ТЗ 18. Программная реализация алгоритма 19. Отладка контролирующей программы 20. Экспериментальная апробация программного продукта 41

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Спецификация теста X 1) Название теста 2) Общая цель разработки 3) Задачи, решаемые применении теста 4) Перечень исходных документов, использованных при разработке теста (учебные планы, программы и т. п. ) 5) Содержание теста (части теста, части и разделы учебной дисциплины, охватываемые частями теста) 6) План теста 7) Характеристика содержания каждого задания 42

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Спецификация теста X 8) Характеристика ответов к каждому заданию 9) Количество форм заданий и инструкций 10) Оценки за выполнение заданий 11) Способ формирования вариантов тестов (кластерная модель или параллельные формы) 12) Краткие рекомендации по апробации заданий 13) Определяемые характеристики качества заданий. Методы исследования 14) Ожидаемая интерпретация тестовых результатов 43

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X этапы проектирования

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X ИНСТРУМЕНТАЛЬНАЯ СРЕДА должна поддерживать: • конструирование основных 4 -х форм ТЗ; • создание произвольного количества ТЗ (вопросов); • создание произвольного числа элементов ТЗ (ответов); • опционную установку выбора количества ТЗ из общего банка 45

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Инструментальная среда должна поддерживать: X • опционную установку выбора последовательности подачи ТЗ и элементов заданий; • установку времени как для каждого задания, так и для теста в целом; • конструирование ТЗ, исключающее «заимствование» ответа; • создание продукта: а) в режиме диалога; б) в текстовом файле 46

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Последовательность подачи ТЗ • Cтрого определенная, • В случайном порядке; Специальная: • по степени возрастания трудности и с учетом выбора темы, • по степени убывания трудности и с учетом выбора темы; • Блочная, • Комбинированная (случайный и специальная); • Адаптивная 47

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Банк заданий X

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Инвариантность расположения

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Инструментальная среда X ⅞ 0/1 • дихотомичную или политомичную оценку каждого задания; • выставление оценки за тест (бинарной, дифференцированной, в процентном соотношении и др. ); • сетевую и мультимедийную технологию; • основные методы ввода и анализа ответа (альтернативный, выборочный, перестановочный, классификационный, инжекторный); • блок статистики 50 оценка

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Оценка 51 X

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Инструментальная среда X должна поддерживать • создание базы верных/неверных ответов; • обработку запросов (словаря, справки, помощи, подсказки, теории и др. ); • обработку ошибочных, неточных и неполных ответов; • несколько режимов работы; • учет индивидуально-психологических особенностей 52

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Индивидуальнопсихологические особенности X 1. Основные свойства внимания (высокую/низкую концентрацию, (не) устойчивость, широкий/узкий объем, хорошее/ограниченное распределение, переключение). 2. Тип нервной системы (сильный/слабый, (не) уравновешенный, подвижный/ригидный) и, следовательно, типы темперамента (сангвиник, холерик, меланхолик, флегматик). 3. Уровень тревожности (низкий, ниже среднего, средний, выше среднего, высокий). 4. Мотивация к данному виду деятельности 53

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Индивидуальнопсихологические особенности 5. X Мотивация к изучаемому предмету, формировать и поддерживать ее высокий уровень помогает учет степени экстраверсии (потенциальные интроверты, амбиверты, потенциальные экстраверты, экстраверты). 6. Особенности (тип, объем) памяти (тип ведущей сенсорной системы памяти – визуальный, аудиальный, кинестетический; малый/средний/высокий объем кратковременной памяти). 7. Особенности мышления (степень развитости логического – «левополушарного» и образного – «правополушарного» типов мышления) и интеллект. 8. … 54

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Инструментальная среда адаптивное

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 КРИТЕРИИ КАЧЕСТВА ДИДАКТИЧЕСКИХ

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Надежность Характеристика качества тестов, отражающая точность педагогических измерений, степень постоянства, стабильности, устойчивости результатов тестирования. Надежным считается тест, который дает постоянные результаты, оценки при повторных предъявлениях 57

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Формулы для расчета надежности X дисперсия истинной компоненты дисперсия измеренных тестовых баллов m – число заданий теста рj – сложность j-го задания к – количество заданий сумма стандартных отклонений для заданий квадрат стандартного отклонения для всего теста 58 Sx – стандартное отклонение суммарных индивидуальных баллов

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Валидность Комплексная

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 Виды валидности Конвергентная

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Различительная способность

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Формула для расчета различительной способности D=n 1/N 1 – n 2/N 2 N 1 и N 2 – количество испытуемых, попавших в «высокую» или «низкую» контрастные группы; n 1 и n 2 – количество испытуемых, правильно выполнивших задание (соответственно из «высокой» и «низкой» групп) 62

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X Трудность Равна доле испытуемых, ответивших на это задание. правильно n – общее число испытуемых, отвечавших на задание nj – число правильных ответов на задание 63

© Балыкина Е. Н. , Бузун Д. Н. 2003 - 2010 X КОМПЬЮТЕРНОЕ ПЕДАГОГИЧЕСКОЕ ТЕСТИРОВАНИЕ: теория и практика Республиканский институт высшей школы Кафедра проектирования образовательных систем Московская 15, к. 419 т. 222 -83 -21 Белорусский государственный университет Исторический факультет, кафедра источниковедения Красноармейская 6, к. 20 т. 222 -36 -07, 209 -57 -06 E-mail: balykina@bsu. by; elena@balykina. info dmitry@buzun. com; buzun@bsu. by 64