Тестирование результатов обучения Лекция
Часть1. • 1. 0. Постановка проблемы тестирований учебных достижений: почему мы обращаемся к тестированию? • 1. 1. Основные понятия • 1. 2. История тестирования в России и зарубежом • 1. 3. Педагогические измерения • 1. 4. Цели и виды тестов • 1. 5. Нормативно-ориентированный и критериальноориентированный подходы в педагогических измерениях •
1. 0. Постановка проблемы тестирования учебных достижений: почему мы обращаемся к тестированию? • Тестирование учебных достижений вошло в практику оценивания как альтернатива субъективному оцениванию, связанному с личным восприятием учителя успешности учащихся; как альтернатива слабо аргументированной педагогической оценке и отметке; как альтернатива расплывчатому качественному оцениванию учебных достижений • Тестирование учебных достижений существенно повышает объективность оценивания, устраняет субъективность позиции учителя, позволяет интенсифицировать процесс оценивания (за короткое время проверить качество знаний и умений большого массива учащихся); позволяет сократить время, затрачиваемое учителем на контроль учебных достижений
1. 0. Постановка проблемы тестирования учебных достижений: почему мы обращаемся к тестированию? • ПРИ ЭТОМ: тестирование не может быть признано единственным средством оценивания. Оно должно сочетаться с качественными средствами оценивания. Тестирование лишь тогда соответствует ожиданиям к нему, когда педагогические тесты построены в соответствии с нормами теории педагогических измерений
1. 1. Основные понятия • Тест (test – проба, испытание, проверка, исследование) – система заданий, позволяющих измерить уровень развития качества, свойства объекта • Тест – стандартизованные задания, по результатам выполнения которого судят о психофизиологических и личностных характеристиках, а также о ЗУН испытуемого • Тест - это совокупность заданий, опробованных на основе научных критериев для педагогического измерения в тех или иных целях • Тест – научно обоснованный метод измерения интересующих качеств и свойств личности
1. 1. Основные понятия • Тест это система, включающая выборку из тестовых заданий конкретной длины; формы тестовых заданий; процедуру предъявления тестовых заданий; время тестирования; правила оценивания каждого задания, знаний, качества обучения; рекомендации по интерпретации тестовых результатов • Тест это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизованной процедуры и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения
1. 1. Основные понятия (продолжение) • Педагогический тест – система заданий возрастающей трудности и специфической формы, позволяющая качественно оценить структуру и измерить уровень знаний • Педагогический тест – некоторое множество специально составленных заданий специфической формы, позволяющее по ответам испытуемых объективно измерить на определенной шкале уровень их подготовленности по разделам конкретной области знаний • Педагогический тест – средство измерения знаний, представляющее собой стандартизованную систему заданий специфической формы, позволяющее надежно и объективно оценить уровень усвоения ЗУН испытуемых и выразить результат в числовой форме • Тест учебных достижений (см. педагогический тест)
1. 1. Основные понятия (продолжение) • Тестирование – метод и процесс контроля, диагностики, использующий стандартизованные вопросы и задачи, имеющий определенную шкалу значений для оценки результатов тестирования • Тестирование (в широком смысле) – совокупность всех процедурных эталонов: планирования, составления, апробации, обработки и интерпретации результатов первичного, предварительного теста (предтеста, претеста), перепланирование, оформление и подготовка спецификаций, инструкций окончательного теста • Тестирование (в узком смысле) - средство контроля с помощью проведения и использования теста • Тестирование – целенаправленное, одинаковое для всех испытуемых обследование, проводимое в строго контролируемых условиях, позволяющее объективно измерить изучаемые характеристики испытуемого и педагогического процесса
1. 1. Основные понятия (продолжение) • Тестовое задание (ТЗ) - это высказывание, суждение, технология, образ, схема, конструкция и другие составляющие, которые должен принять, опровергнуть, выбрать, спроектировать, предложить тестируемый • Банк тестовых заданий (БТЗ) - множество тестовых заданий, покрывающих все дидактические единицы изучаемой дисциплины, на основе которого формируются тесты. Совокупность ТЗ, выявленных в процессе апробации при массовом тестировании, паспортизированных в соответствии с поставленными целями (КИМ) • Дидактическая единица – относительно самостоятельная в смысловом отношении часть системы знаний, определяющая содержание учебной дисциплины. К дидактическим единицам относятся разделы, подразделы, темы и т. п.
1. 1. Основные понятия (продолжение) • Форма тестового задания – способ представления ТЗ, структура тестового задания • Специфическая форма тестовых заданий - задания, сформулированные в форме высказываний, истинных или ложных, в зависимости от ответов • Дистрактор (distraktor, отвлекающий) – неправильный ответ на тестовое задание • Спецификация теста – содержательный план теста для разработчиков и экспертов, включающий весь перечень последовательных действий и основных требований для создания и параметризации теста
1. 1. Основные понятия (продолжение) • Процедура предъявления тестовых заданий – алгоритм, сценарий предъявления ТЗ случайным образом, либо в порядке возрастания сложности ТЗ, либо в зависимости от результатов выполнения предшествующих ТЗ • Оценивание ТЗ – принятие решения о правильном (неверном) выполнений тестового задания. Оценивание выполняется путем сравнения с эталоном. Эталон – правильный вариант (варианты) ответа. • Оценивание тестирования (оценка теста) – принятие решения о достаточном уровне знаний для допуска к экзамену, для зачета по тестируемой дисциплине, для оценивания знаний тестируемого на экзамене или другой форме контроля
1. 1. Основные понятия (продолжение) • Стандартизация педагогического теста – совокупность процедур отбора содержания образования, его квантификация, установление соответствия теста таким его качествам как валидность, надежность, технологичность, дифференцирующая сила тестовых заданий и т. д. • Валидность (valid) - действительный, пригодный, действенный) один из основных критериев оценки тестовых результатов, наряду с надежностью, репрезентативностью, объективностью, достоверностью и эффективностью. Критерий адекватности и действенности теста, показатель меры соответствия теста цели тестирования • Квантификация (quantificaion) — сведение качественных характеристик к количественным для следующего этапа — измерения, то есть придание результату численного значения.
1. 2. История тестирования учебных достижений: начало • В 1864 году англичанин • Джордж Фишер составил педагогические тесты для учеников школы гринвичского госпиталя. Им предлагались специальные шкалы, которые помогали оценивать успеваемость учащихся на разных этапах обучения. Попытки Фишера остались незамеченными современниками. Значение этого важного шага в истории тестирования учебных достижений не оценено по достоинству и в наше время Гальтон Френсис (1822 – 1911) — английский антрополог и психолог, основатель дифференциальной психологии: „Исследование человеческих способностей и их развитие“, Заложил теоретические основы тестирования
1. 2. История тестирования учебных достижений: начало • Кеттел Джеймс Маккин (25. 05. 1860 – 20. 01. 1944) — американский психолог, один из основателей психологического тестирования. В 1890 году ввел в обиход понятие теста как способа психологических экспериментов • Торндайк (Thorndike) Эдуард Ли (31. 8. 1874 – 10. 08. 1949) — американский психолог и педагог. В 1908 году составил первый стандартизованный педагогический тест. Торндайк разработал и реализовал процесс внедрения тестирования в практику американской школы
1. 2. История тестирования учебных достижений: начало • Маккол В. А. (США) разделил тесты на педагогические и психологические. По его мнению, основной задачей педагогических тестов являлось измерение успешности учащихся по тем или иным учебным школьным дисциплинам за определенный период обучения. Маккол обосновал цель использования педагогических тестов – объединение в группы учащихся, усваивающих равный по объему материал с равной скоростью. Маккол и его работы мало известны педагогическому сообществу. Его опыт по достоинству до сих не оценен • Альфред Бине (1857 - 1911), французский врач и психолог, разработчик тестов памяти, внимания, восприятия и т. д. Работа по диагностике интеллектуальных способностей (1908 г. ) считается отправной точкой в становлении научных подходов к измерениям в психологии и образовании
1. 2. История тестирования учебных достижений: начало • • • В конце 19 начале 20 века в России тесты широко применялись сторонниками экспериментальной педагогики (А. П. Болтунов, А. Ф. Лазурский, А. П. Нечаев, Ф. Е. Рыбаков и др) У истоков советской педологии, в первые годы советской власти, стояли известные ученые того времени (М. Я. Басо, Л. С. Выготский, П. П. Блонский, А. Р. Лурия и др. ), посвятившие свои работы оценке результатов обучения и развития детей В 1936 году вышло Постановление ВКП(б) «О педологических извращениях в системе Наркомпроса» , в котором тесты были объявлены вредным методом. Тестирование учебных достижений существовало в СССР практически полулегально, только в 90—е годы ХХ века этот способ контроля и оценки получил в России достойное признание • Болтунов Александр Павлович [1883 - 1942], психолог и педагог, заведовал школьно-психотехн. лабораторией. На основе теста А. Бине разработал "измерительную шкалу ума" - психодиагнос-тич. методику для группового применения. В работе "Трудовая школа в психол. освещении" (1923) стремился подвести психол. фундамент под проблему создания трудовой школы. Одним из первых в СССР разрабатывал вопросы профориентации школьников • Лазурский Александр Фёдорович [1874 -1917], психолог. Один из организаторов и активных участников рус. съездов по пед. психологии и эксперим. педагогике. Собранный Л. материал психол. наблюдений и составленные им характеристики школьников способствовали становлению отечественной тестологии
1. 2. История тестирования учебных достижений: начало • • • Блонский Павел Петрович (1884 – 1942) — российский педагог, психолог и философ С нач. 30 -х гг. Блонский заведовал лабораторией памяти, а затем лабораторией мышления и речи в Гос. н. -и, ин-те психологии (ныне Психол. ин-т РАО). Разработал тесты для учащейся молодежи, позволяющие соотносить состояние психических процессов и приобретаемые знания Блонский был убеждён, что правильно построить пед. процесс нельзя без знания возрастных и индивидуальных особенностей детей, без изучения особенностей их учебной деятельности
1. 2. История тестирования учебных достижений: продолжение поисков • • В 1925 году при педагогическом отделе Института методов школьной работы (СССР) была создана особая тестовая комиссия. В ее задачи входила разработка стандартизованных тестов для советской школы В педагогическом кабинете Академии коммунистического воспитания под руководством П. П. Блонского осуществлялась проверка шкалы А. Бине, создание школьных тестов и построение собственных стандартов В Ленинградском институте им. А. И. Герцена и Детском обследовательском центре им. А. С. Грибоедова разрабатывались тесты на одаренность и тесты школьной успеваемости для массовых обследований детей 30 -е годы в СССР – время массового и, к сожалению, неконтролируемого и непрофессионального применения тестов (г. о. психологических) в народном образовании. Под действие постановления ВКП(б) попали и педагогические тесты В США С. Пресси изобрел и внедрил автоматическое устройство для самостоятельной работы учащихся с заданиями на выбор ответа В США, начиная с 1915 года – тестовый «бум» . Преподаватели активно используют обучающие тесты по предметам. При этом тесты являлись весьма несовершенными, качеству заданий не уделялось достаточного внимания, валидность и надежность тестов никем не проверялось. Вместе с тем разработка квизов (учительских тестов) сыграла значительную роль в понимании измерений в педагогике В США для распространения тестов создается Служба тестирования в образовании (1947 г. ), объединившая научные силы, кадры тестологов, методистов, психологов, дидактов и др. , разрабатывающих стандартизованные педагогические тесты
1. 2. История тестирования учебных достижений: современность (тенденции) • • • Использование педагогических тестов получило новый импульс в связи с развитием теории и практики программированного обучения (50 -е – 70 -е г. г. ХХ века) Стремление к объективным, математическим, статистически выверенным основаниям разработки и апробации педагогических тестов Построение современной теории тестов (теории параметрических методов пед. измерений) – Item Response Theory (IRT). Неоспоримые преимущества IRT, связанные с валидностью, надежностью измерений, параметризацией подготовленности учащихся, не зависящей от трудности заданий теста, применяются на практике с к. 80 -х годов Сочетание аппарата классической теории и IRT при разработке тестов открыло новые возможности повышения качества педагогических измерений и применения тестирования в образовании Основное противоречие современности: высокая степень разработанности теории педагогических тестов и некомпетентность подавляющего большинства практикующих педагогов в разработке педагогических тестов
1. 2. История тестирования учебных достижений: современность (события) • Кон. 60 -х годов - Международная ассоциация по оценке учебных достижений • 1990 - Лаборатория централизованного тестирования учащейся молодежи (МПГУ). С 2004 г. - ФЦТ • 1990 – кафедра педагогических измерений в Исследовательском центре проблем качества подготовки специалистов (Московский институт стали и сплавов) • 1990 – Центр тестирования «Гуманитарные технологии» : аттестационное тестирование для старшеклассников «Телетестинг» (МГУ) • 2000 – Центр сертификации педагогических тестовых материалов (Московский институт стали и сплавов) • 2000 – Координационный совет Минобразования России по вопросам сертификации качества педагогических тестовых материалов • 2001 – начало эксперимента по введению ЕГЭ • 2001 – кафедра тестологии в РУДН. Профессиональная образовательная программа «Тестолог (специалист в области педагогических измерений)» • 2002 – Федеральный институт педагогических измерений • 2005 – Федеральный экзамен профессионального образования
1. 3. Педагогические измерения • Измерение это процедура приписывания чисел некоторым характеристикам объекта в соответствии с определенными правилами • Измерение это конструирование числовой функции, осуществляющей изоморфное отображение (см. изоморфизм) некоторой эмпирической структуры в соответствующую числовую структуру • Поскольку эмпирическая структура и строящаяся по результатам оценивания числовая структура (шкала) изморфны, то имея шкалу, можно не обращаясь непосредственно к измеряемым объектам, восстановить все их свойства, характерные для эмпирической структуры
Изоморфизм • И. это принцип взаимной упорядоченности двух множеств. Два множества являются изоморфными, если выполняются два условия: • во-первых, каждый элемент х, принадлежащий множеству Х, может быть однозначно сопоставлен с элементом у, принадлежащим множеству У , т. е. элемент х соответствует только одному конкретному элементу у; • во-вторых, каждая функция N, которая выражает отношения двух элементов, принадлежащих множеству X, может быть однозначно сопоставлена с функцией F , которая выражает отношение двух элементов, принадлежащих множеству У. Смысл данного условия состоит в том, что отношение между парой элементов одного множества должно соответствовать отношению в паре элементов другого множества.
1. 3. Компоненты педагогических измерений • Выбор предмета измерения (латентных характеристик объектов) и их числа • Выбор эмпирических референтов (наблюдаемых характеристик объектов) • Выбор измерительных процедур • Конструирование и использование измерительных инструментов • Выбор шкалы или шкал (в зависимости от количества измеряемых переменных) • Построение отображения результатов измерения на шкалу или шкалы • Обработка, анализ и интерпретация результатов
1. 3. Измерительные инструменты • Само измеряющее устройство, обычно это тест • Шкала – которая служит для фиксации результатов измерения и на которой откладываются оценки измеряемой переменной. В процессе упорядочения оценок каждому элементу совокупности наблюдаемых эмпирических данных ставится в соответствие определенный балл, устанавливающий положение наблюдаемого элемента на шкале. На шкале можно размещать сырые первичные баллы (сумма оценок отдельных заданий теста) или производные баллы. Шкала с отложенными на ней оценками является целью измерения
1. 4. Цели и виды тестов • При создании теста ставится задача отобразить в его содержании то главное, что должны знать ученики в результате обучения, поэтому ограничиться простым перечислением целей обучения нельзя. В тест хотелось бы включить все, но это невозможно. Для того чтобы не утратить самое главное, необходимо структурировать цели и ввести определенную иерархию в их взаимное расположение. • Наиболее технологичной с точки зрения большинства разработчиков тестов является система целей, построенная Б. С. Блумом.
1. 4. Цели по Блуму: знания • • • • знание названий, имен, фактов; фактологические знания; знание определений и понимание их смысла; сравнительные, сопоставительные знания; классификационные знания; знание противоположностей, противоречий, синонимичных и антонимичных объектов; ассоциативные знания; причинные знания; алгоритмические, процедурные знания; обобщенные, системные знания; оценочные знания; процессуальные знания; абстрактные знания; структурные знания; методологические знания.
1. 4. Цели тестов по уровню проверяемых качеств • Первого уровня – определяются на основании синонимов глагола “иметь представление”: быть знакомым, узнавать, видеть взаимосвязь, ориентироваться и т. д. • Второго уровня (знать – что): • Объекты, цели курса. • Понятийный аппарат курса • Фактологический материал курса • Системы, базовые объекты курса и их взаимосвязи, свойства и признаки • Законы и правила. • Способы решения задач, алгоритмы • Модели, схемы, структуры • Классификация объектов. • Оценки, границы, пределы, ограничения методов, моделей, теории и т. п. • Третьего уровня (уметь – что): строить модели, применять методы решения типовых задач и т. п.
1. 4. Пример: Объекты проверки аттестационной работы по химии ( «Элементарные основы неорганической химии» ). • • • • • знание понятий, определений, основных положений теорий и законов знание о свойствах атомов химических элементов знание о строении атомов химических элементов знание структуры Периодической системы умение характеризовать свойства атомов и образованных ими соединений в соответствии с положением химического элемента в Периодической системе знания состава и названий веществ умение производить простейшие расчеты по формуле вещества знание о строении вещества знание химических свойств вещества умение составлять уравнения химических реакций умение прогнозировать поведение веществ/частиц в реакции в зависимости от условий знание лабораторных/промышленных способов получения вещества знание качественных реакций и (или) умение выстраивать на их основе мысленный химический эксперимент умение устанавливать генетическую связь между веществами умение характеризовать вещества/частицы по их свойствам умение классифицировать объекты (частицы, вещества, реакции) по сходным признакам умение устанавливать последовательность умение производить расчеты по уравнению химической реакции
1. 4. Процесс операционализации (конкретизации) целей Условные обозначения: ООЦ – общая образовательная цель ЦООТ – цель обучения в общих терминах ПРО – планируемый результат обучения ДРО – диагностируемый результат обучения ООЦ ЦООТ ПРО ДРО
Педагогические тесты Задача 1. : Тестирование на входе в обучение Задача 2: Тестирование в процессе обучения Формирующие тесты (обычно критериально – ориентированный подход) Входные тесты Претест готовности к обучению (обычно критериально – ориентированн ый подход) Входной претест (обычно нормативно – ориентированн ый подход) Задача 3: Тестирование на выходе из обучения Диагностические тесты (специфический подход для выявления причин пробелов в знаниях) Нормативно – ориентирован ные тесты достижений Итоговые тесты Критериально – ориентирован ные тесты достижений
Входное тестирование (для определения входного уровня) Претест готовности (для выявления у учеников требуемых на начало обучения знаний) Обеспечить повторение базовых знаний Входной претест (для выявления у учеников, достигших отдельных планируемых результатов до начала обучения) Продолжать в соответствии с планом обучения Перевести учеников на более высокий уровень обучения.
Формирующее тестирование (для мониторинга учебных достижений) Есть ли ученики, достигшие планируемых результатов обучения? Обеспечить групповую или индивидуальную коррекцию Провести диагностическое тестирование (для выявления трудностей устойчивого характера) ДА НЕТ Обеспечить усиленное обучение на более высоком уровне Продолжить обучение в соответствии с планом
Итоговое тестирование (для определения итоговых достижений) Достигли ли ученики планируемых результатов обучения? нет Обеспечить дополнительное обучение не достигшим планируемых результатов да Выставить итоговый балл или отнести часть учеников к категории освоивших содержание обучения Оценить эффективность обучения
1. 5. Нормативно-ориентированные тесты • Предназначены для дифференциации учащихся по результатам выполнения теста. Позволяют распределить тестируемых по местам, или рейтингу. Эти цели теста могут быть достигнуты при сравнительно малом числе заданий в тесте • Интерпретация результатов проводится с опорой на среднюю арифметическую норму или процентильные нормы (рейтинг), когда каждый знает, сколько процентов испытуемых имеют тестовый результат хуже или лучше его • Выход на рейтинг: задания – ответы –выводы о знаниях испытуемых –рейтинг • Для корректной интерпретации результатов балл каждого ученика сравнивают с нормами выполнения теста. Нормы – совокупность показателей, отражающих результаты выполнения теста четко определенной выборкой испытуемых. К нормам относят среднее значение тестовых баллов и показатель разброса всех остальных баллов, полученных учениками, вокруг среднего значения • Используются для централизованного абитуриентского тестирования, ЕГЭ
1. 5. Критериально-ориентированные тесты • Предназначены для проверки усвоения определенного перечня ЗУН, аттестации выпускников на достижение ими минимально допустимого уровня компетентностей. Требуют большого количества заданий, чтобы можно было точно выяснить, что знает/не знает ученик • Вывод о результатах: задания –ответы—выводы о соответствии испытуемого заданным критериям. Критерии это стандарты выполнения, связанные с содержанием учебной дисциплины или с требованиями к учебным достижениям • Критериально-ориентированные тесты позволяют выявить освоенные/неосвоенные ЗУН, построить индивидуальную образовательную траекторию, разбить испытуемых на группы с помощью критериальных баллов ( « 2» , « 3» , « 4» , « 5» или иначе), ранжировать тестируемых по проценту выполнения (рейтинг) • Дихотомическое оценивание ( « 1» или « 0» ) – балл по тесту это отношение правильно выполненных заданий к общему числу заданий. Политомическое оценивание – отношение сырого балла к максимально возможному баллу по тесту. Затем % сравнивается с критериями. Этот вид тестов является основой в ЕГЭ
1. 5. Сравнение нормативно- и критериальноориентированных тестов Характеристики Норм-ориент. тесты Крит-ориент. тесты Сред. число учеников, 5 -10% прав-но выполн. тест 80 -90% Основание для сравнения рез-ов Рез-ты других учеников Содержание учеб. предмета, виды учеб. деят-ти Диапазон охвата целей контроля Широкий, охватывает многие цели и виды учеб. деят-ти Узкий Репрезентативность сод-я уч. предмета Умеренная; включает не все Высокая; включает то, разделы что м-но операц-ть Разброс результатов Высокий, т. к. основная цель Низкий –дифференц-я по уровню подготовки Трудность заданий 50 -70% заданий средней трудности 50 -70% заданий легких и средней трудности
Часть 2. 2. 1. Формы предтестов (заданий) 2. 2. Сравнительная характеристика свойств основных тестовых форм 2. 3. Этапы разработки педагогического теста
2. 1. Основные формы предтестовых заданий 1. 2. 3. 4. Задания закрытой формы (с множественным выбором, в которых учащиеся выбирают правильный ответ (правильные ответы) из данного набора ответов Задания на дополнение (открытые задания, т. е. задания с конструируемым ответом), требующие от ученика при выполнении самостоятельного получения ответов Задания на установление соответствия (с множественным выбором), выполнение которых связано с выявлением соответствия между элементами двух множеств Задания на установление правильной последовательности, в которых от учащегося требуется указать порядок элементов, действий или процессов
2. 1. Задания закрытой формы Задание – альтернатива (один верный выбор, один дистрактор) • Скорость химической реакции с увеличением температуры а) увеличивается б) уменьшается • Слова, противоположные по значению, называются а) синонимами б) антонимами • Верно ли следующее утверждение: в структуру педагогической деятельности входят гностический, конструктивный, организационный, коммуникативный, рефлексивный компоненты а) да б) нет Задания-альтернативы имеют высокий процент угадывания (50%/50%); сложно подобрать однозначные утверждения (особенно в гуманитарных предметах); если этот вид заданий преобладает в тесте, то тест признается несложным (на « 3» не менее 70% верных выборов)
2. 1. Задания закрытой формы Задания с одним верным выбором, дистракторов больше двух • Кадеты считали главным методом решения основных проблем России а) революционное восстание масс б) политический террор в) тактику давления на правительство через представительные органы, парламент г) всеобщую политическую стачку • Невская битва произошла в … году а) 1198 б) 1240 в) 1242 г) 1245 • Для развитых стран характерны а) низкая рождаемость и низкая смертность б) высокая рождаемость и низкая смертность в) высокая рождаемость и высокая смертность г) низкая рождаемость и высокая смертность Эти задания уменьшают % угадывания пропорционально количеству дистракторов; сложности в подборе большого количества правдоподобных дистракторов; не стоит применять больше четырех -пяти дистракторов; не рекомендуется представлять предмет выбора в начало предложения: • В … произошла Невская битва
2. 1. Задания закрытой формы Задания с верным выбором более одного, дистракторов один или более • В XVII веке Россия неоднократно воевала с а) Османской империей б) Польшей в) Персией г) Францией д) Швецией • Буква «о» пишется в словах а) пл_вец б) пок_рить вершину в) распол_гать г) осн_щенный д) ум_лять значение • Коммуникативные умения современного педагога представляют собой а) умение устанавливать эмоциональный контакт, завоевывать инициативу в общении; б) наблюдательность и переключаемость внимания; в) социальную перцепцию, т. е понимание психологического состояния учащегося по внешним признакам; д) способность переключать внимание на собственные проблемы
2. 1. Задания закрытой формы Графические задания с одним верным ответом или более • На рисунке отражено свойство восприятия а) структурность б) избирательность в) целостность г) апперцепция
2. 1. Задания закрытой формы Графические задания с одним верным ответом или более • Это а) Л. С. Выготский б) Карл Леонгард в) Джой Пол Гилфорд г) С. Л. Рубинштейн
На схеме «Классификация социальных групп» заполните пробелы 1) исключительные 2) организованные 3) группы членства 4) допустимые 5) условные 6) естественные 7) группы принадлежности Группы в Реальные Лабораторные Г Большие Неорганизованные б Малые Формальные Неформальные а Референтные Положительные Отрицательные
2. 1. Задания закрытой формы Графические задания с одним верным ответом или более • Графические задания могут воспроизводить фрагмент карты, схему, таблицу, график, диаграмму, рисунок, портрет, картину и т. п. • Эти задания оживляют тест, привлекают внимание учащихся • Эти задания позволяют соединить в тесте проверку знаний и умений учащихся • При тестовой проверке картографических умений являются не заменимыми • Графические задания могут создавать трудности для учителя, которые связаны с разработкой графического материала или его поиском • Графические задания занимают большое пространство теста
2. 1. Задания закрытой формы: фасетные задания • Фасет – форма записи нескольких вариантов одного и того задания • Применение фасета ассоциируется с практикой создания нескольких вариантов одинаково трудных заданий для контрольных работ
2. 1. Задания закрытой формы Фасетные задания • К дворцовым комплексам окрестностей Москвы Санкт-Петербурга относятся а) Павловск, Ораниенбаум; б) Архангельское, Царицыно; в) Петергоф, Гатчина г) Царское Село, Стрельна • Автор картин Явление Христа народу Демон …… а) Репин б) Рублев в) Иванов г) Врубель Фасетные задания могут представлены в открытой форме и как задание на соответствие. Фасетные задания особенно важны тогда, когда учитель разрабатывает несколько вариантов одного и того же теста. Тогда дворцовые комплексы окрестностей Москвы предназначены, скажем, для первого варианта, а дворцовые комплексы окрестностей СПБ – для второго варианта
Многофасетное задание 1)возрастает 2) убывает
Слайд 21 test_zadan Потребная уборке выпуске сила горизонтального полета при скорость закрылка шасси интерцептора 1) увеличивается 2) не изменяется 3) уменьшается !!! Количество вариантов задания – 2 х 3 = 12 12
2. 1. Задания закрытой формы • Задания на выбор неправильного ответа (неправильных) Найдите ошибку в управлении а) директор магазина б) руководитель учреждением в) обвинять в растрате г) заведующий аптеки д) критиковать за ошибки Укажите неверное утверждение: Первая русская революция 1. Нанесла удар по самодержавию 2. Сохранила основы самодержавия 3. Укрепила позиции царизма 4. Ввела элементы буржуазной демократии К основным задачам педагогической науки не относится 1. Разработка методов изучения качества образовательных систем 2. Разработка законодательных и нормативных актов образования 3. Разработка исследовательских проектов учащихся
2. 1. Задания закрытой формы: требования к разработке • Все дистракторы д. б. равновероятно привлекательными • Из числа дистракторов исключаются те, которые вытекают одно из другого. Ни один из дистракторов не должен быть частично правильным ответом • В формулировках дистракторов д. б исключены обороты «ни один из перечисленных» , «все перечисленные» , «никогда» , «всегда» • Из числа тестовых исключаются задания, требующие оценочного суждения ученика или его мнения по какомулибо вопросу • Все варианты ответа должны быть приблизительно одинаковой длины • Номер места верных ответов не должен устойчиво повторяться • Текст задания должен исключать всякую двусмысленность и возможность двоякого толкования
2. 1. Задания закрытой формы: требования к разработке (продолжение) • Текст задания должен исключать всякие вербальные ассоциации, способствующие выбору верного ответа с помощью догадки • Основная часть задания формулируется предельно коротко: одно предложение из семи - восьми слов. Синтаксическая структура простая – не больше одного придаточного предложения • Основная часть задания формулируется как утверждение, которое обращается в истинное или ложное после подстановки одного из ответов • Все ответы д. б. одинаковыми по конструкции и грамматически согласованными • Из ответов исключаются все повторяющиеся слова путем ввода их в основную часть задания (см. Слайд 50)
2. 1. Задания на дополнение (открытые задания, т. е. задания с конструируемым ответом) • Задания с конструируемым регламентированным ответом Область педагогики, изучающая особенности образовательных систем в разных странах, называется ____ К основным типам образовательных учреждений относятся дошкольные, _______, ________ Эти задания сложны в составлении, хотя внешне выглядят просто. Пример некорректного задания: Вставьте пропущенное имя государственного деятеля: «Зато и умел ____ ценить своих подвижников. Он уважал в них столько же таланты и заслуги, сколько и нравственные качества, особенно преданность» (В. О. Ключевский) Эти задания сложны в оценке, т. к. ученики могут вписывать синонимы, или изменить порядок следования элементов в формуле, или сделать произвольный выбор из множества допустимых выборов
2. 1. Задания на дополнение (открытые задания, т. е. задания с конструируемым ответом) • Задания с конструируемым регламентированным ответом: обратимые задания Обратимые задания принимают логическую форму тавтологии. Именно поэтому они никогда вместе не включаются в один тест. Например, нельзя включать в один тест такие задания: • ОПЕРАЦИЯ НАХОЖДЕНИЯ ПЕРВООБРАЗНОЙ НАЗЫВАЕТСЯ_______. • ИНТЕГРИРОВАНИЕМ НАЗЫВАЕТСЯ ОПЕРАЦИЯ НАХОЖДЕНИЯ________.
2. 1. Задания на дополнение (открытые задания, т. е. задания с конструируемым ответом • Задания со свободно конструируемым ответом (решение задачи, развернуты ответы, эссе) Решите задачу: «Чему равна гипотенуза равнобедренного прямоугольного треугольника, если катет равен 3 см? » Сформулируйте причины поражения немецких войск под Сталинградом Составьте план описания малой социальной группы. Опишите в соответствии с планом вашу семью как малую социальную группу Эта форма заданий особенно сложна при оценивании. Несмотря на необходимость свободно конструируемого ответа, у педагога всетаки должны быть точно сформулированные ожидания к ответу и область допустимого, возможного в ответе
2. 1. Задания на дополнение: требования к разработке А) Задания с конструируемым регламентированным ответом • Ответ на задание д. б. однозначным – только такой и никак иначе • Задание должно быть ориентировано на краткий ответ: число, символ, слово, словосочетание из двух – четырех слов • Пробел в основной части задания должен находиться в конце предложения. Пробел ставится на месте ключевого элемента. Пробел только один, в исключительных случаях – два пробела • Задания ориентированы на умения воспроизводить знания, применять их в знакомой ситуации
2. 1. Задания на дополнение: требования к разработке Б) Задания со свободно конструируемым ответом • Обязательны эталоны ответа, включающие ожидаемый учителем ответ с допустимыми отклонениями (разброс отклонений велик, но должен быть описан составителем теста) • Этот вид заданий предпочтителен для диагностики возможностей учащихся • Рекомендуется к заданию указывать рамки объема ответа (не менее/не более 0, 5 страницы, 1 страницы и т. п.
2. 1. Задания на установление соответствия • Задание начинается со слова «соотнесите» Метод обучения Характеристика метода 1. Объяснительноиллюстративный А). Предназначен для формирования умений действовать по образцу 2. Репродуктивный Б). Предназначен для совместного решения проблемной задачи 3. Эвристический В). Предназначен для самостоятельного решения учащимся проблемной задачи Г). Предназначен для передачи и усвоения готовых знаний
2. 1. Задания на установление соответствия • Фасетное задание Местоположение Дворцовые комплексы 1. Окрестности Москвы А) Павловск Б) Ораниенбаум В) Архангельское 2. Окрестности Санкт. Петербурга Г) Царицыно Д) Петергоф Е) Гатчина Ж) Царское Село З)Стрельна
2. 1. Задания на установление соответствия: неверная организация задания !!! • Не допускается одновременное отнесение элементов для выбора к нескольким элементам задающего множества Установите соответствие между признаком животных и классом, для которого этот признак характерен Класс Признак 1. Земноводные А) Оплодотворение внутреннее Б) Оплодотворение у большинства видов наружное В) Непрямое развитие 2. Пресмыкающиеся Г) Размножение и развитие происходит на суше Д) Тонкая кожа, покрытая слизью Е) Яйца с большим запасом питательных веществ
2. 1. Задания на соответствие: требования к разработке • Задание должно содержать только два множества • Каждое множество (столбец) должно иметь название • Элементы задающего множества (столбца) располагаются слева, элементы для выбора – справа • Элементы задающего множества предпочтительно обозначать цифрами, элементы для выбора - буквами • Предпочтительно, чтобы элементов для выбора было больше, чем элементов задающего множества. • Все задание должно располагаться на одной странице, без переноса на другие страницы • Не допускается одновременное отнесение элементов для выбора к нескольким элементам задающего множества (см. пред. слайд) • Ответ на задание должен записываться только шифром
2. 1. Задания на установление правильной последовательности • Последовательность исторических событий. • Последовательность технологических действий и операций. • Последовательность различных процессов. • Цепочка умственных действий, образующая систему знаний, умений, навыков и представлений.
2. 1. Задания на установление правильной последовательности Установите правильную последовательность этапов коллективного творческого дела: А) Коллективное целеполагание Б) Коллективное планирование В) Коллективное проведение Г) Педагогическое последействие Д) Коллективная организация
2. 1. Задания на установление правильной последовательности (фасет) Установите правильную последовательность при разработке технологической схемы а) производства; б) торговли; в) сферы услуг 1. Сырье 2. Ресурсы 3. Полуфабрикаты 4. Услуга 5. Производство готовой продукции 6. Розничная торговля 7. Оптовый покупатель 8. Покупатель 9. Потребитель
2. 1. Задания на последовательность: требования к разработке • Основная часть задания формулируется так: «Составьте правильную последовательность …. . (указывается процесс) • Элементы последовательности не должны содержать дистракторы • Формулировка элементов последовательности не должна содержать примеров и пояснений • Формулировка элементов последовательности должна быть однозначной и не допускать разночтений • В совокупность элементов последовательности включаются только ключевые элементы. Не допускается включение подэлементов
2. 2. Сравнительная характеристика свойств основных тестовых форм Свойство Задания с выбором (закрытые, на соответствие) Задания на допол-е с регламентир. ответом Задание на дополнение со свободным ответом Проверка фактологич. + мат-ла + +, мало используются из -за трудностей оценки Проверка репрод-х умений + +, но обладают неб. возмож-ми по охвату умений + Проверка умений применять знания в незнак-й сит-и - - ++ Простота конструирования - + + Исключение угадывания ответа - + + Простота оценки результата + - -- Объективность оценки + +- - Возможность оригинального ответа - - ++ Исключение фактора ошибки при написании ответа - ++
2. 3. Этапы разработки теста 1. Определение цели тестирования, выбор вида теста и подхода к его созданию. 2. Анализ содержания учебной дисциплины. 3. Определение структуры теста и стратегии расположения заданий. 4. Разработка спецификации теста, выбор длины теста и времени его выполнения. 5. Создание предтестовых заданий. 6. Отбор заданий в тест, их ранжирование согласно выбранной стратегии предъявления на основании авторских оценок трудности заданий.
2. 3. Этапы разработки теста 7. Экспертиза содержания предтестовых заданий и теста. 8. Экспертиза формы предтестовых заданий. 9. Переработка содержания и формы заданий по результатам экспертизы. 10. Разработка методики апробационного тестирования. 11. Разработка инструкций для учеников и преподавателей, проводящих апробацию теста. 12. Проведение апробационного тестирования. 13. Сбор эмпирических результатов.
2. 3. Этапы разработки теста: продолжение 14. Статистическая обработка результатов выполнения теста. 15. Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества. 16. Коррекция содержания и формы заданий на основании данных предыдущего этапа. Чистка теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения свойств теста. Оптимизация длины теста, времени его выполнения, порядка расположения заданий в тексте. 17. Повторение этапа апробации для выполнения очередных шагов по повышению качества теста. 18. Установление норм теста и создание шкалы для оценки результатов испытуемых.
2. 3. Этапы разработки теста 1. Определение цели тестирования, выбор вида теста и подхода к его созданию Например: • Цели тестирования: проверка знания имен, фактов; знания определений и понимание их смысла; сравнительных, сопоставительных знаний; классификационных знаний; умений классифицировать объекты по сходным признакам; умений устанавливать последовательность • Вид теста: формирующий (текущий контроль) • Подход: критериально-ориентированный
2. 3. Этапы разработки теста 2. Анализ содержания учебной дисциплины, т. е выделение единиц содержания, которые будут подвергнуты проверке Например: Обществознание. Раздел 5. Экономическая сфера жизни общества • 5. 1 Экономика: наука и хозяйство • 5. 2 Экономическая культура • 5. 3 Экономическое содержание собственности • 5. 4 Экономические системы • 5. 5 Многообразие рынков • 5. 6 Измерители экономической деятельности • 5. 7 Экономический цикл и экономический рост • 5. 8 Специализация • 5. 9 Обмен • 5. 10 Государственный бюджет
2. 3. Этапы разработки теста 4. Разработка спецификации теста (сокращенный вариант) 4. 1. Время, отведенное на выполнение теста 4. 2. Общее число заданий в тесте 4. 3. Стратегия расположения заданий в тесте 4. 4. Число параллельных вариантов теста 4. 5. Количество заданий различной формы 4. 6. Процентное и долевое соотношение заданий различной формы по целям тестирования 4. 7. Вес каждого задания в общей оценке результатов тестирования и расчет его стоимости. Выбор балльного значения каждого верного ответа 4. 8. Разработка системы оценивания теста: определение балла за каждое задание с учетом его веса; определение максимального «сырого» балла за весь тест; расстановка интервальной шкалы оценивания в соответствии с избранной шкалой оценивания
2. 3. Этапы разработки теста 4. Разработка спецификации теста (сокращенный вариант) Пример 4. 1. 45 минут 4. 2. 15 заданий 4. 3. Простые закрытые задания с одним верным выбором, сложные закрытые задания с множественным выбором, сложные задания на дополнение с регламентированным ответом, сложные задания на последовательность, сложные задания на соответствие; простые задания на соответствие 4. 4. Два параллельных варианта 4. 5. Закрытые задания с одним верным выбором – 4; закрытые задания с множественным выбором – 2; задания на дополнение с регламентированным ответом – 3; задания на последовательность – 2; задания на соответствие – 4
2. 3. Этапы разработки теста 4. Разработка спецификации теста (сокращенный вариант). Пример 4. 6. Процентное и долевое соотношение заданий различной формы по целям тестирования Цель Закрытые задания С одним верным выбором % Задания С множ-м на дополн на послед на -е -ть соответ-е верным выбором доля % доля 27 Знание определений и понимание их смысла 0, 27 13 0, 13 20 0, 20 - - 27 0, 27 Умения устанавливать последов-сть - - - 13 0, 13 - -
2. 3. Этапы разработки теста 4. 7. Вес каждого задания в общей оценке результатов тестирования № задания Форма Уровень сложности Вес (весовой коэффициент k) Цена задания с учетом k 3 Закрытое с одним верным выбором невысокий 0, 5 1 ответ: 1 балл х 0, 5 = 0, 5 7 Закрытое с множественным верным выбором средний 0, 7 4 ответа: 4 балла х 0, 7=2, 8 10 На соответствие высокий 0, 9 5 пар: 5 баллов х 0, 9=4, 5 12 На последов-сть высокий 1 5 элем-ов: 5 х1=5
2. 3. Этапы разработки теста 4. 8. Разработка системы оценивания теста Пример для сложного теста N – количество баллов по всему тесту с учетом весового коэффициента N=70 баллов (максимальный балл по тесту) 90%≤ N ≤ 100% - отлично, 63 ≤отлично ≤ 70 75 % ≤ N <90 % - хорошо, 53 ≤ хорошо < 63 50 % ≤ N <75 % - удовлетворительно, 35 ≤ удовлетворительно < 53 N < 50 % – неудовлетворительно, 35< неудовлетворительно Пример для простого теста N=50 (максимальный балл по тесту) 95 % ≤ N ≤ 100 % - отлично, 48 ≤ отлично ≤ 50 85 % ≤ N <95 % - хорошо, 43 ≤ хорошо<48 70 % ≤ N <85 % - удовлетворительно, 35 ≤ удовлетворительно < 43 N < 70 % – неудовлетворительно, 35 < неудовлетворительно
Литература • Звонников В. И. , Челышкова М. Б. Современные средства оценивания результатов обучения: Учебное пособие. М. , Академия, 2007 (доступно в интернет) • Челышкова М. Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М. , Логос, 2002 (доступно в интернет)
Скачать презентацию Тестирование результатов обучения Лекция Часть1 1
Лекция Тестирование.ppt