Педагогическое тестирование Казначеева Н. Н. , к. п.

Педагогическое тестирование Казначеева Н. Н. , к. п. н. , доцент, Институт семьи и воспитания, Российская академия образования 1

Педагогическое тестирование Составляющим системы мониторинга является педагогическое тестирование знаний и умений учащихся. 2

Основные направления деятельности федеральной системы тестирования: n создание и постоянное совершенствование тестов как инструмента, обеспечивающего объективность измерения учебных достижений (Федеральный институт педагогических измерений); n организация и проведение массовых исследований уровня обученности; n аттестация выпускников общеобразовательных школ; n создание базы данных для обеспечения мониторинга качества обучения; n систематический сравнительный анализ учебных достижений (PISA); n обучение педагогов методам объективизации оценки уровня освоения учебного материала. 3

Стабилизирующей основой, обеспечивающей единство требований и подходов к оценке учебных достижений, являются образовательные стандарты (Рослова, Л. О. Настольная книга учителя математики / Л. О. Рослова. – Изд-во АСТ, 2004. – 429 с. ). 4

Положительные стороны тестирования: 1) тест – более качественный и объективный способ оценивания, так как стандартизирована процедура их проведения; 2) тест – более мягкий инструмент. Тестирование ставит всех учащихся в равные условия, используя единую процедуру и единые критерии оценки; 3) тест – широкий инструмент с точки зрения интервала оценивания. 5

Что такое тест? n n n проверка, испытание, но это не простое установление факта наличия или отсутствия какого-либо качества или свойства. в состав теста входят тестовые задания, тест должен быть стандартизирован, назначение теста — это выявление личностных особенностей или приращений. 6

Тестология – теоретико-прикладная наука, исследующая тестовые материалы с точки зрения их форм, содержания, функционального назначения, показателей качества; изучающая возможности применения тестов для установления уровня учебных достижений. 7

Тестирование – это процедура проведения испытаний (тестов) для измерения и оценки определенных качеств и навыков. 8

Измерение – операция, посредством которой определяется отношение одной (измеряемой) величины к другой однородной величине (принимаемой за единицу) [советская энциклопедия]. 9

Тест – это система заданий специфической формы, позволяющая измерить уровень обученности, совокупность представлений, знаний, умений и навыков на той или иной области содержания [Евстегнеев А. Е. ]. 10

Педагогический тест Система заданий специфической формы, определенного содержания, возрастающей трудности, позволяющая качественно оценить структуру и измерить уровень знаний, умений и навыков [В. С. Аванесов]. 11

ТЕСТ n Это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения. 12

Квалиметрия n n Квалиметрия (от латинского "qualis" - какой по качеству и греческого "метрео" - мерить, измерять) - научная дисциплина, в рамках которой изучаются методология и проблематика комплексной, количественной оценки качества объектов любой природы: одушевленных или неодушевленных, предметов или процессов, продуктов труда или продуктов природы, имеющих материальный или духовный характер (естественно, что объектом приложения методов Квалиметрии может быть и любое конструктивное и технологическое решение, если его качество требуется подвергнуть квалиметрическому анализу). Квалиметрия - область практической и науч. деятельности, связанная с разработкой теоретических основ и методов измерения и количественной оценки качества. 13

Тестовое задание – элемент теста, сформулированный в форме утверждения, служащее для моделирования исследуемой деятельности, актуализации изучаемых педагогических и психологических качеств испытуемых (знаний, умений, навыков, представлений, психологических свойств и пр. ) [Рыжова Н. И. ]. 14

Содержание теста можно определить как оптимальное отображение содержания образования в системе тестовых заданий. 15

Дистракторы (от английского distract — отвлечение внимания) – варианты неверных ответов. 16

Критерии тестов: n n n Объективность – измерение считается объективным, если удается максимально исключить воздействия исследователя. Надежность – характеристика теста, отражающая точность педагогических измерений, степень постоянства результатов тестирования, а также устойчивость результатов теста к действию посторонних случайных факторов. Валидность (достоверность) – комплексная характеристика качества теста, отражающая обоснованность, значимость его результатов, а также пригодность данного теста для целей, заявленных его разработчиками. 17

Тест n n n должен иметь три элемента — систему заданий, зафиксированную документально технологию предъявления и отработанную систему проверки обработки и анализа результатов 18

Виды тестовых заданий n закрытой формы, где даются готовые ответы, из которых один является правильным, остальные — дистракторы (не совсем правильные); n открытой формы, когда испытуемый, отвечая на задание, дописывает ответ на месте прочерка; n полуоткрытой формы, предполагающие дописывание испытуемым на месте прочерка только одного слова, в редких случаях — одного двучленного словосочетания; n на соответствие, которые предполагают необходимость устанавливать соответствие элементов одного множества элементам другого множества; n на установление правильной последовательности, где испытуемый располагает приведенные названия действий или частей текста в необходимом порядке. 19

ЗАКРЫТЫЕ ЗАДАНИЯ n n Эта форма заданий прочно вошла в практику современной школы. В таких заданиях дается несколько ответов, из которых хотя бы один правильный. Задания закрытой формы классифицируются по числу приведённых в них ответов. При составлении таких заданий могут применяться различные приемы: альтернативность, классификация, кумуляция, сочетание, а также их комбинации. 20

Закрытые задания n Альтернативность. Для выбора учащимся предлагается одно из двух, взаимно исключающих друга ответов. При этом эти ответы должны обязательно образовывать полное пространство ответов, то есть не должно быть никакого третьего ответа, отличного от них. ОБВЕСТИ КРУЖКОМ ПРАВИЛЬНЫЙ ОТВЕТ 1. Существительное "мышь" обозначает предмет а) одушевлённый; б) не одушевлённый. 2. Овца является животным а) диким; б) домашним. 3. Место, где река берет свое начало, называется а) истоком; б) устьем. 21

Закрытые задания n n n Каждое задание с закрытой формой должно быть максимально кратким по формулировке, ответы желательно перечислять через содержание, избегая таких слов как "да - нет", "верно - неверно". Ответы надо перечислять, начиная с позитивных, например, "положительный", "вверх", "увеличивается" и т. д. Главное слово или группа слов должны стоять как можно ближе к началу предложения. В наших примерах это слова: «овца» , «место» , «ласточка» . группа заданий закрытой формы должна сопровождаться общим указанием типа «ОБВЕСТИ КРУЖКОМ ПРАВИЛЬНЫЙ ОТВЕТ» 22

Закрытые задания n Например, задание Верно ли, ласточка является птицей перелетной? а) да; б) нет. n не удовлетворяет этому требованию. В этом примере нарушено и другое условие: задание должно представлять собой предложение, которое в зависимости от выбранного ответа может стать как истинным, так и ложным. Поэтому последний пример лучше сформулировать так: Ласточка является птицей а) перелетной; б) не перелетной. При этом последняя формулировка удовлетворяет и другому важному требованию: основная часть задания должна формулироваться предельно кратко, лаконично и недвусмысленно, включая в себя как можно меньше слов. 23

Закрытые задания n Классификация. На первый план выступает не противопоставление ответов другу, а их логическое упорядочение по некоторому признаку. Желательна полная классификация, которая предполагает исчерпывающий список всех возможных ответов, как это сделано в наших следующих примерах. 1. Треугольник, стороны которого равны 7, 9 и 15 является а) остроугольным; б) прямоугольным; в) тупоугольным; г) треугольника с такими сторонами не существует. 2. Предложение «Мама пошла в магазин» а) восклицательное; б) вопросительное; г) повествовательное. 3. Осадки в виде снега выпадают а) весной; б) летом; в) осенью; г) зимой. 24

Закрытые задания n Перечисление. n На практике не всегда удается выписать все возможные ответы (правильные или правдоподобные), так как пространство возможных ответов тестового задания может быть практически бесконечным или очень большим. Рекомендуется среди ответов предлагать наиболее или правдоподобные или содержащие ошибки учащихся. Наиболее распространены такие тестовые задания, в которых неверные ответы совпадают с типичными ошибками учащихся, которые повторяются из год в год. Многие из таких ошибок хорошо, известны учителям-предметникам. n 25

Закрытые задания n 1. Значимой частью слова является а) окончание; б) основа; в) суффикс; г) приставка; д) корень 2. Лиственным деревом является а) сосна; б) ель; в) береза; в) стол; г) ручка. 3. В метре сантиметров а) 0; б) 1; в) 10; г) 100; д) более 100. 4. К домашним животным относятся а) заяц; б) корова; в) курица; г) волк; д) собака. 5. Органами дыхания являются а) желудок; б) уши; в) нос; г) почки; д) легкие. 26

Закрытые задания n Кумуляция. Процесс увеличения или накопления какого-либо количества. Прием кумуляции предполагает в каждом последующем ответе его наращивание по сравнению с предыдущим. 1. Частями растений являются а) стебель; б) стебель и лист; в) стебель, лист и цветок; г) стебель, лист, цветок и корень; д) стебель, лист, цветок, корень, клубень. 27

Кумуляция n Слово «дорожка» состоит из а) корня; б) корня и окончания; в) корня, окончания и суффикса; г) корня, окончания, суффикса и приставки. 3. Когда человек рождается, то он а) видит; б) видит и слышит; в) видит и слышит, и ходит; г) видит и слышит, ходит и говорит. n Задание на кумуляцию или несколько таких заданий расположенных последовательно должны сопровождаться указанием типа: «ВЫБЕРИТЕ НАИБОЛЕЕ ПОЛНЫЙ И ПРАВИЛЬНЫЙ ОТВЕТ» или «ВЫБЕРИ ОДИН ПРАВИЛЬНЫЙ ОТВЕТ ИЗ ЧЕТЫРЕХ ПРЕДЛОЖЕННЫХ И ОБВЕДИ ЕГО» и т. п. 28

Закрытые задания n Сочетание. Этот прием основан на применение в ответах различных комбинаций из двух или трех логических утверждений, которые могут быть связаны между собой союзами «и» или «или» . 1. Главными членами предложения являются а) подлежащее и дополнение; б) подлежащее и определение; в) подлежащее и сказуемое; в) подлежащее и обстоятельство. 2. Лиственными деревьями являются а) береза и можжевельник; б) тополь и пихта; в) сосна и ель; г) сосна и дуб. 3. Горючими полезными ископаемыми являются а) газ и гранит б) газ и уголь в) нефть и известняк г) нефть и торф. 29

Закрытые задания n n n Вариантов ответов на каждое задание должно быть не более пяти, так как на выполнение одного задания теста должно уходит не более одной или двух минут, и ученик должен успеть просмотреть все ответы и проанализировать их. быстрота тестирования и простота подсчёта баллов. за каждый правильный ответ можно назначить один балл, а не неправильный ответ – нуль баллов. НО. тестовые задания закрытой формы допускают возможность угадывания. Варианты ответов не должны быть абсурдными и неправдоподобными. 30

Трудность и сложность задания Под трудностью задания будем понимать уровень усвоения деятельности, на диагностику которого оно направлено, Под сложностью — число существенных операций в нем, в том числе свернутых. 31

Задания 1 -го уровня трудности Это задания на узнавание. Они содержат одновременно и задание, и ответ (подсказку), а от испытуемого требуется узнать их соответствие. По форме различают три типа заданий первого уровня — опознание, различение и классификация. 32

Задания 2 -го уровня трудности Проверяют умение ученика воспроизводить усвоенную информацию по памяти без внешней подсказки и решать на этой основе типовые задачи. Типовой задачей считается такая задача, условия которой допускают непосредственное применение усвоенных алгоритмов, правил или формул для ее разрешения. Различают три разновидности заданий второго уровня — задания-подстановки, конструктивные задания и типовые задачи. Многие тестовые задания второго уровня строятся как задания на заполнение пропусков. Это распространенный прием тестирования в гуманитарных науках и по теоретическим разделам других предметов. 33

Задания 3 -го и 4 -го уровня трудности n Задания третьего уровня — это нетиповые эвристические задачи, которые требуют от ученика эвристической деятельности, т. е. преобразования исходных условий и часто — поиска дополнительных данных для подведения задачи под типовой алгоритм. n Задания четвертого уровня — это задачи творческого характера, которые требуют самостоятельной деятельности обучающегося по созданию новой (авторской) версии решения некой проблемы. Такие задания для разработчиков тестов представляют определенную трудность при проверке (даже при бланковом тестировании, не говоря уже о компьютерном), 34

Мера трудности n n Мера трудности определяется разработчиком ТЗ и указывает субъективную величину того, насколько тяжело будет решить данное тестовое задание испытуемому с минимальным уровнем подготовки. Мера трудности зависит от следующих факторов: - количество концептов, необходимых для решения ТЗ; - форма ТЗ; - уровень значимости ТЗ; - количество дистракторов. 35

Параметр ТЗ Мера трудности Знания и умения (количество концептов) «на опознание» или «на проверку знания» (1) на применение усвоенных ранее знаний в типовых ситуациях(2, 3) легкое ТЗ среднее ТЗ на проверку «знаний среднее ТЗ воспроизведения по образцу» (2, 3) на применение знаний и умений в сложное ТЗ нестандартных условиях (более 2, 3) на проверку «знаний и умения их сложное ТЗ применять» (более 2, 3) 36

Параметр ТЗ Мера трудности Форма ТЗ «один из нескольких» легкое ТЗ «много из нескольких» среднее ТЗ открытые ТЗ среднее ТЗ на соответствие и порядок среднее или сложное ТЗ 37

Сопоставительный анализ тестовых заданий Характеристики Задания на дополнения Задания на установление соответствия Годны Годны Негодны Годны Простота конструирования Есть Нет Исключение угадывания Нет Да Нет Объективность оценки Да Нет Да Да Исключение описок Нет Да Нет Возможность оригинального ответа Нет Да Да/Нет Проверка знания фактов Применение знаний по образцу Применения знаний в нестандартных ситуациях Задания закрытого типа Задания на установление последовательнос ти 38

Правила разработки теста: время теста для студентов 2 – 2: 30 часа для школьников 1 – 1: 30 часа время на тестовое задание приблизительно 1, 5 мин. (до 5 мин) благоприятное время проведения теста утром – с 9 по 12 вечером с 16 по 18 39

Требования к тестовым заданиям: n однозначность (смысл суждения должен быть понятен); n ясность (тестируемый должен понимать, что от него хотят (использование информационного окна инструкция); n краткость (не более 10 слов); 40

Требования к тестовым заданиям n истинное суждение (действие тестируемого должно превращать тестовое задание в истинное суждение); 41

Вопрос (много из нескольких) Неправильно Правильно Выберите из перечисленных понятий те, которые являются геометрическими фигурами. а) луч б) пирамида в) конус г) прямая д) треугольник е) окружность ж) шар Геометрическими фигурами являются. . . а) луч б) пирамида в) конус г) прямая д) треугольник е) окружность ж) шар 42

Требования к тестовым заданиям n тестовое задание не должно содержать подсказок (например, объединение вариантов ответа); 43

Неправильно Правильно Графиком четной функции является график под цифрой… 1) 2) 1) 2) 3) 4) все верны 3) 4) 44

Требования к тестовым заданиям: n тестовое задание не должно формулироваться в виде вопроса; 45

Вопрос (эталон строка): Неправильно Правильно Какая точка является точкой минимума функции Точкой минимума функции f(x)=log 2(x 2 -7 x+13)? ________ f(x)=log 2(x 2 -7 x+13) является ______ Ответ: 3, 5 Инструкция: Ответ запишите в виде целого числа или десятичной дроби. Например, 2 или -4 или 9, 6. 46

Вопрос (указание порядка): Неправильно Правильно Расположите числа в порядке возрастания Числа в порядке возрастания располагаются так. . . а) -2 б) -6 в) -1, 98 г) +3, 4 д) 0, 5672 47

Требования к тестовым заданиям: n n специфические признаки, ключевые слова выносятся в начало тестового задания. Нельзя начинать тестовое задание с предлога, союза, частицы; отсутствие частицы «не» ; 48

Вопрос (один из нескольких): Неправильно Правильно Множество значений функции y=cos x+5 … Отрезок, являющийся множеством значения функции y=cos x+5, . . . а) [4; 6] б) [-1; 1] в) [-1; 5] г) [5; 6] 49

Вопрос (много из нескольких): Неправильно Правильно Функции, не являющиеся четными, … Функции, являющиеся четными, … а) f(x)=log 2(x 2 -7 x+13) б) g(x)=x+2 в) h(x)=x 2+3 г) t(x)=1(x 4 -1) 50

Требования к тестовым заданиям: n правильный ответ не должен выделяться от остальных (по стилю написания, по количеству слов в тексте) 51

Вопрос (один из нескольких): Неправильно Правильно Значение выражения при с=0, 5 равно… а) 0, 2 б) 47658754 в) – 0, 32666(6) г) 87653, 89 а) 0, 04 б) 5 в) 0, 2 г) 25 52

n не допускается наличие повторяющихся фраз в вариантах ответов (лучше длинный вопрос и «короткие» ответы); n и др. 53

Неправильно Правильно Задачи по наличию алгоритма решения делятся на: а) стандартные задачи; б) нестандартные задачи; в) простые задачи; г) сложные задачи. Задачи по наличию алгоритма решения делятся на: а) стандартные; б) нестандартные; в) простые; г) сложные. 54