Разработка педагогических тестовых материалов Автор: Карданова Елена Юрьевна e_kardanova@mail. ru
Основные типы оценки в образовании • Первичная (поверхностная) оценка – делается педагогами в начале обучения (или даже перед началом) с целью – получить представление о будущих учениках • Оценка в процессе обучения – используется, чтобы планировать и проводить обучение, диагностировать проблемы и т. д. Проводится постоянно в течение учебного года • Официальная оценка – используется для оценивания академических успехов учащихся, принятия каких-либо официальных решений и т. д. Проводится периодически (в зависимости от цели)
Классификация оценочных процедур по степени стандартизации • Стандартизированная оценка – это процедура оценивания, которая предназначена для большой выборки учащихся. Стандартизированная оценка подразумевает - стандартизацию процедуры проведения оценивания - стандартизацию процедуры выставления тестовых баллов и интерпретации результатов • Нестандартизированная оценка – это процедура оценивания, которая используется педагогом в своей практике (для конкретных групп учащихся, в одном месте, в одно время)
Классификация оценочных процедур по цели и сфере использования результатов • формирующие оценки (formative assessment) – как правило, неформальные, неофициальные, нестандартизированные, имеющие целью дать педагогу информацию для принятия повседневных решений о проблемах учащихся и планирования дальнейшего обучения • итоговые оценки (summative assessment) – как правило, формальные, официальные, стандартизированные (но не обязательно), имеющие целью оценить результаты обучения
Характеристики оценки • Валидность – характеристика пригодности оценочной информации для принятия правильных решений на ее основе • Надежность – характеристика точности и устойчивости результатов оценки
Изменение инструментария и процедуры оценки • Современный тест, разработанный в соответствии со всеми требованиями теории педагогических измерений, может включать задания различных типов (например, эссе или сочинения), а также задания, оценивающие различные виды деятельности учащихся (например, коммуникативные умения, практические умения) • Тестовые процедуры (тестирование /testing/) в традиционном понимании стали заменять на assessment (оценка, проверка, контроль).
Тесты как метод оценки: • обеспечивают измерения • служат всем целям оценки • по типу оценки являются либо оценкой во время обучения, либо официальной оценкой • используют письменные методы сбора информации (иногда компьютерные) • являются формальной оценкой, планируемой заранее • как правило, это стандартизированная оценка (с различной степенью стандартизации в зависимости от цели оценки и сферы ее использования) • могут быть и формирующей, и итоговой оценкой • по форме проведения, как правило, это групповая оценка • качественный тест валиден и надежен
Основные преимущества стандартизированных тестов • Научная обоснованность: разрабатываются в строгом соответствии с теорией тестов (классической или современной) • Технологичность тестовых методов (использование компьютеров, эффективность, использование в различных целях, в том числе для самообразования, скорость сбора информации и т. д. ) • Возможность оценить точность измерений • Наличие единых для всех испытуемых условий проведения педагогического контроля и единой системы оценивания
Основные подходы в оценке образовательных достижений • критериально-ориентированный, позволяющий оценить насколько учащиеся достигли заданного уровня знаний, умений и отношений, например, определенного как обязательный результат обучения (образовательный стандарт) • ориентированный на индивидуальные нормы конкретного ученика, реального уровня его развития в данный момент времени • нормативно-ориентированный, ориентированный на статистические нормы, определяемые для данной совокупности учащихся
Основные понятия теории педагогических измерений • Педагогические измерения – это процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками числовой шкалы. При педагогическом измерении в качестве характеристик обучаемых обычно выступают знания и умения, освоенные учениками на момент измерения. Роль единицы измерения играют тестовые задания, объектом измерения являются сами ученики, а результатом измерения – шкала баллов тестируемых учеников • Теория тестов (тестология) – краткое название прикладной науки о разработке тестов • Цель теории тестов – разработка тестов, как части методов педагогических измерений, с помощью которых можно получать качественные результаты и сделать обоснованные выводы об уровне и структуре подготовленности учащихся
Основные понятия теории педагогических измерений • Тестирование – это специально разработанная, научно обоснованная и оптимизированная процедура, позволяющая максимально объективно оценивать уровень достижений учащихся и выражать этот уровень количественно в форме числа (чисел) • Педагогический тест – это система заданий специфической формы, определенного содержания, упорядоченных в рамках определенной стратегии предъявления, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков по учебной дисциплине • Задание в тестовой форме – это единица контрольного материала, содержание, логическая структура и форма представления которого удовлетворяют ряду специфических требований
Основные понятия теории педагогических измерений • Тестовое задание - задание в тестовой форме, прошедшее экспертизу и апробацию, и при условии, что качественные и количественные оценки его характеристик удовлетворяют определенным критериям, нацеленным на проверку качества содержания, формы и на выявление системообразующих свойств заданий теста
Общие требования к заданиям в тестовой форме • наличие стандартной инструкции и ее одинаковость для всех испытуемых • адекватность инструкции форме и содержанию задания • расположение элементов задания и инструкции на определенных местах, фиксированных в рамках выбранной формы • наличие эталона правильного ответа к заданию и правила оценки результатов его выполнения • правильность выбора формы задания • наличие определенного места для ответов • краткость
Этапы разработки педагогического теста I. Планирование теста • Определение цели тестирования • Выбор вида теста и подхода к его созданию • Определение условий проведения тестирования, включая время тестирования • Примерное определение числа заданий в тесте и числа вариантов • Выявление ресурсов и затрат на разработку всего теста II. Анализ содержания учебной дисциплины • Операционализация целей тестирования • Планирование содержания теста • Разработка примерного плана теста
Этапы разработки педагогического теста III. Разработка спецификации теста • Определение структуры теста и стратегии расположения заданий • Априорный выбор длины теста и времени его выполнения • Разработка спецификации теста IV. Разработка заданий в тестовой форме • Создание заданий в тестовой форме • Экспертиза содержания тестовых заданий и теста в целом • Экспертиза формы тестовых заданий • Переработка заданий по результатам экспертизы • Клиническая апробация заданий и анализ характеристик заданий • Переработка заданий по результатам клинической апробации • Отбор заданий в тест и их ранжирование согласно выбранной стратегии расположения в тесте
Этапы разработки педагогического теста V. Апробационное тестирование • Разработка методики апробационного тестирования • Разработка инструкций для участников и для преподавателей, проводящих апробацию теста • Проведение апробационного тестирования • Сбор эмпирических результатов • Статистическая обработка результатов выполнения теста • Интерпретация результатов обработки, проверка соответствия характеристик теста научно-обоснованным критериям качества • Переработка заданий по результатам апробации; в случае необходимости разработка новых заданий • Оптимизация длины теста и времени его выполнения на основании результатов апробации. Оптимизация расположения заданий в тесте. Оптимизация схемы оценивания заданий • В случае необходимости (значительных изменений в тесте) повторная апробация
Этапы разработки педагогического теста VI. Конструирование теста Отбор заданий, прошедших апробацию Выравнивание вариантов Разработка инструкций для участников тестирования Определение проходного балла (если требуется) и/или установление норм • Разработка методики шкалирования результатов тестирования • Апробация теста с целью проверки параллельности вариантов (если не планируется выравнивание), валидности проходного балла, функционирования шкалы тестовых баллов VII. Подготовка пакета документов для проведения тестирования • •
Классификация тестов В зависимости от характера задач, решаемых преподавателем с помощью тестов в процессе обучения, тесты делятся на - Входные - Текущие - Итоговые
Задачи тестов и подходы к их разработке • Входное тестирование: - для выявления степени владения базовыми знаниями, умениями, навыками с целью получения информации о готовности обучаемых к освоению данного курса (КРОТ) - для определения степени владения новым материалом до начала его изучения (НОРТ) • Текущее тестирование: формирующие тесты для решения текущих задач процесса обучения (и НОРТ, и КРОТ) • Итоговое тестирование: обеспечение объективной оценки результатов обучения по завершению некоторого курса (и НОРТ, и КРОТ или их объединение)
Два вида критериально-ориентированных тестов • Тесты, ориентированные на область содержания (domain-referenced tests) - предназначены для оценки доли от полного объема учебного материала, которую усвоил испытуемый • Квалификационные тесты (mastery tests) - предназначены для классификации испытуемых, разделения их на группы на основании заранее выбранного критерия
Виды тестов в зависимости от содержания • Гомогенный тест- тест на основе содержания одной дисциплины • Гетерогенный тест – тест на основе содержания разных дисциплин: - Полидисциплинарные тесты (состоят из гомогенных субтестов по отдельным учебным дисциплинам) - Междисциплинарные тесты
Содержание тестовых заданий и теста • Содержание теста - оптимальное отображение содержания учебной дисциплины в системе тестовых заданий • То, насколько оптимально отобрано содержание, характеризуется так называемой содержательной валидностью теста • Анализ и отбор содержания – компетенция преподавателей-разработчиков теста
Классификация уровней учебной деятельности (И. Я. Лернер, В. П. Беспалько) • Непосредственное воспроизведение по памяти содержания изученного материала и его узнавание • Понимание и применение знаний в знакомой ситуации по образцу, выполнение действий с четко обозначенными правилами • Применение знаний в измененной или незнакомой ситуации
Классификации учебных целей (И. Я. Лернер, В. П. Беспалько) Уровни усвоения материала Обобщенные учебные цели, планируемые преподавателем Конкретизированные учебные цели (в терминах внешней деятельности) Воспроизведение знаний Знать терминологию, специфические факты, критерии, методы, принципы, законы, теории и т. д. Дать определение, называть, формулировать, описывать, установить соответствие (между термином и определением), показывать (находить), распознавать, пересказывать, перечислять (особенности), выбирать и т. д. Понимание и применение знаний в знакомой ситуации Понимать факты, законы, принципы, критерии, теории; понимать прочитанный текст. Применять знания для объяснения, сравнения, для решения задач; правильно использовать методы, алгоритмы, процедуры; строить графики, диаграммы, таблицы и т. д. Интегрировать знания из разных разделов для решения различных проблем, анализировать, обобщать, оценивать, конструировать, планировать деятельность, эксперимент Объяснять, соотносить, характеризовать (приводить характеристики), сравнивать, устанавливать (различия, зависимость, причины), выделять существенные признаки, рассчитывать (по формулам или алгоритмам), решить, выполнить в соответствии с правилами, продемонстрировать, измерить, продолжить/закончить (предложение), вставить пропущенные слова (буквы) и т. д. Составить устный или письменный ответ на проблемный вопрос, написать сочинение, проводить исследование, формулировать выводы (гипотезу), обосновать точку зрения, предсказать последствия, анализировать информацию, находить ошибку, давать отзыв или рецензию, высказывать суждение, свое мнение, строить модель, реконструировать, составить план эксперимента, решения, рассказа и т. д. Применение знаний в измененной или незнакомой ситуации
Планирование теста Разделы Знания и умения 1 раздел 20% Знание понятий, определений, терминов (10%) Знание законов и формул (30%) Умение применять формулы и законы (30%) Умение находить сходства и различия (20%) Умение интерпретировать материал на графиках и схемах (10%) Всего Кол-во заданий 2 раздел 3 раздел 4 раздел 1 30% 1 40% 3 10% 1 20% 6 1 4 5 7 2 18 4 2 4 5 1 12 2 1 3 2 0 6 1 12 18 24 6 60 12
Спецификация теста • • • Цель создания теста. Обоснование выбора подхода к его созданию. Описание возможных сфер применения. Перечень нормативных документов, используемых при планировании содержания теста (ГОС, программа, учебники). Описание общей структуры теста, перечень субтестов (если они есть) с указанием подходов к их разработке. Планируемое количество заданий. Тип заданий с указанием процентного содержания или количества заданий каждой формы, указанием числа ответов к закрытым заданиям. Число параллельных вариантов теста, либо указания для выравнивания (например, ссылка на якорные задания). Рекомендации автора по оцениванию заданий (дихотомическая или политомическая оценка). Рекомендуемое время выполнения теста, в том числе и на каждый субтест, среднее время выполнения каждого задания с учетом специфики формы. Соотношение заданий по различным разделам и видам деятельности – план теста. Рекомендуемая автором стратегия расположения заданий в тесте, т. е. композиция теста. Рекомендации автора по контингенту учащихся для апробации теста. Для аттестационных тестов: охват требований стандарта; перечень требований стандартов, не вошедших в тест; рекомендации по использованию других средств оценки.
Композиция заданий в тест • Располагайте задания каждого типа вместе • По возможности располагайте задания по возрастанию трудности • В рамках ограничений 1) и 2) располагайте задания случайным образом, насколько это возможно • Правильно оцените время выполнения каждого задания и всего теста в целом
Основные формы тестовых заданий • задания закрытой формы, в которых испытуемый выбирает правильный ответ из данного набора ответов • задания открытой формы, требующие от испытуемого самостоятельного получения ответа • задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств • задания на установление правильной последовательности, в которых требуется указать правильный порядок действий или процессов
Общие правила • каждое задание имеет свой порядковый номер • задания одной формы сопровождаются стандартной инструкцией, предваряющей формулировку задания в тесте • каждое задание имеет эталон правильного ответа • все элементы в задании располагаются на четко определенных местах, фиксированных в рамках выбранной формы • для каждого задания вырабатывается правило выставления оценки (дихотомической или политомической) • задание должно быть кратким по форме предъявления и по времени выполнения
Задания закрытой формы (Задания с выбором правильного ответа) (Multiple - Choice Items) Достоинства: • • • полнота охвата по содержанию полнота охвата по проверяемым уровням учебной деятельности эффективность технологичность простота подсчета первичных баллов учеников объективность возможность обратной связи хорошо развита теория разработки и анализа заданий грамотно написанные задания этой формы валидны и надежны.
Задания закрытой формы Недостатки: • возможность угадывания • ограниченность применения • трудность разработки
Формы заданий с выбором правильного ответа • задания с выбором одного правильного ответа (предлагается несколько ответных альтернатив, но только один ответ – правильный) • задания с выбором наиболее правильного ответа (предлагается несколько ответных альтернатив, в числе которых могут быть и неправильные, и правильные, но в разной степени. От испытуемого требуется выбрать наиболее правильный ответ) • задания с выбором всех правильных ответов (предлагается несколько ответных альтернатив, в числе которых может быть несколько правильных. Испытуемый должен выбрать все правильные ответы)
Задания с выбором одного правильного ответа Основные элементы: • Инструкция: Выберите номер правильного ответа • Основная часть, содержащая постановку проблемы • Готовые ответы (один правильный и дистракторы)
Дистракторы • Неправильные, но похожие на правильные и потому правдоподобные ответы • Число дистракторов колеблется от одного до трех-четырех (в отдельных случаях, когда есть такая необходимость, может быть больше)
Требования к ответам и основной части заданий закрытой формы • в тексте задания не должно быть двусмысленности или неясности формулировок • основная часть задания должна быть предельно краткой и иметь простую синтаксическую конструкцию • основной текст следует включать в основную часть задания, оставляя для ответа только наиболее важные, ключевые слова • все ответы к одному заданию должны быть примерно одной длины • частота выбора одного и того же номера правильного ответа должна быть примерно одинаковой, либо номер правильного ответа выбирается в случайном порядке
Требования к ответам и основной части заданий закрытой формы • основная часть задания должна быть освобождена от всякой посторонней для данной проблемы информации • как правило, основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов • из ответов необходимо исключить все повторяющиеся слова путем ввода их в основной текст задания • при формулировке дистракторов не рекомендуется использовать без необходимости слова: все, ни одного, никогда, всегда и т. д. и выражения: ни один из перечисленных, все перечисленные и т. д. , так как они могут способствовать угадыванию правильного ответа
Требования к ответам и основной части заданий закрытой формы • при формулировке дистракторов не рекомендуется использовать без необходимости слова: иногда, часто и т. д. , т. к. они понимаются испытуемыми субъективно • все дистракторы должны быть равновероятно привлекательны для испытуемых, не знающих правильного ответа • все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания • ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста • ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ
Принципы композиции заданий закрытой формы Принцип однородности: подбираются такие ответы, которые относятся к одному роду, виду, или отображают различные стороны, грани явления КОСТИТУЦИОННЫЙ КОНТРОЛЬ ВО ФРАНЦИИ ОСУЩЕСТВЛЯЕТ 1) Государственный совет 2) Конституционный совет 3) Коституционный суд ПРИ РАНЕНИЯХ ПЕЧЕНИ РАЗВИВАЕТСЯ КРОВОТЕЧЕНИЕ 1) артериальное 3) паренхиматозное 2) венозное 4) капилярное
Принципы композиции заданий закрытой формы Принцип кумуляции: содержание каждого ответа вбирает в себя (аккумулирует) содержание предыдущего. ТОЛЕРАНТНЫМ НАЗЫВАЕТСЯ ОТНОШЕНИЕ 1) рефлексивное 2) рефлексивное и симметричное 3) рефлексивное, симметричное и транзитивное
Принципы композиции заданий закрытой формы Принцип сочетания: используется сочетание слов (знаков) по два, три, четыре в каждом ответе МЕХАНИЧЕСКАЯ РАБОТА, СОВЕРШЕННАЯ ТЕЛОМ ПРИ ПОСТУПАТЕЛЬНОМ ДВИЖЕНИИ, ЗАВИСИТ ОТ 1) силы и времени 2) силы и перемещения 3) силы и пройденного пути
Принципы композиции заданий закрытой формы Принцип градуирования: используется для заданий с тремя и с пятью ответами ФЕДЕРАЛЬНЫЙ БЮДЖЕТ РФ НА 2010 ГОД СОСТАВЛЕН 1) с первичным профицитом 2) с профицитом 3) сбалансированным 4) с дефицитом 5) с относительным дефицитом
Принципы композиции заданий закрытой формы Принцип удвоенного противопоставления (принцип двойной альтернативы): при конструировании ответов используется противопоставление, построенное на принципе противоречия или принципе противоположности ДЛЯ РАЗВИТЫХ СТРАН ХАРАКТЕРНЫ: 1) низкая рождаемость и низкая смертность 2) высокая рождаемость и низкая смертность 3) высокая рождаемость и высокая смертность 4) низкая рождаемость и высокая смертность
Принцип импликации Задание формулируется в логической форме условной связи, имеет форму условного суждения вида «если …, то …» ЕСЛИ ЖЕСТКОСТЬ ПРУЖИНЫ РАВНА к, ТО ЖЕСТКОСТЬ ТРЕХ ТАКИХ ПРУЖИН, СОЕДИНЕННЫХ ПОСЛЕДОВАТЕЛЬНО, РАВНА 1) К 2) 3 к 3) к/3 4) 9 к 5) к/9
Задания с двумя ответами В зарубежной литературе выделяют два типа заданий с двумя вариантами ответов: • задания альтернативного выбора • задания TF (True/False, т. е. Истинно/Ложно, Да/Нет).
Задания с двумя ответами • В альтернативных заданиях ответы подбираются по принципу противоречия или противоположности ОРГАНИЧЕСКОЕ СТЕКЛО – ЭТО ПЛАСТМАССА, СОСТОЯЩАЯ ИЗ ТЕРМОПЛАСТИЧЕСКОЙ СМОЛЫ 1) с наполнителями 2) без наполнителей • TF задания позволяют тестировать один фрагмент информации, либо известный испытуемому, либо нет КОРРЕЛЯЦИЯ УКАЗЫВАЕТ СТЕПЕНЬ СОГЛАСОВАННОСТИ МЕЖДУ ДВУМЯ МНОЖЕСТВАМИ ПОКАЗАТЕЛЕЙ Да/Нет
Задания с двумя ответами • Преимущества : - скорость тестирования (студенты отвечают 3 -4 вопроса за одну минуту) - широкий охват содержания • Недостатки: - более легкие - малоинформативны (обладают низкой дииференцирующей силой) - высокая вероятность угадывания - для высокой надежности требуется большое число заданий
Multiple True/False На графике представлено распределение уровня интеллекта в большой выборке мужчин и женщин. Исходя из информации, представленной на этом графике, являются ли следующие утверждения истинными или ложными: а) Больше мужчин, чем женщин, имеют очень низкий IQ<45 б) Распределение уровня интеллекта среди мужчин приближается к бимодальному в) Среднее значение IQ для мужчин и женщин примерно одинаково Д/Н Д/Н
Оценка заданий закрытой формы • Обычно используют дихотомическую оценку: за правильный ответ испытуемый получает 1 балл, за неправильный ответ или за отсутствие ответа 0 баллов • Суммирование всех единиц позволяет вычислить индивидуальный балл испытуемого (первичный балл)
Типичные ошибки при разработке заданий закрытой формы • логические ошибки, вытекающие из несоответствия инструкции содержанию задания и содержанию ответов: ни один ответ не должен отрицать право на существование основной части задания • нарушение правила подбора ответов по одному основанию • лексическая избыточность задания, т. е. либо в основную часть задания, либо в ответы вводится избыточная информация • содержание задания лучше не предъявлять в форме отрицания, так как теряется логическая определенность задания. Однако в определенных случаях это допустимо
Типичные ошибки при разработке заданий закрытой формы • отсутствие согласованности в числе, падеже или роде между основной частью задания и ответами к нему • нарушение правильных пропорций в задании (громоздкие ответы и т. д. ) • отсутствие стандартной инструкции, попытка внести ее в формулировку задания
Задания с выбором наиболее правильного ответа • Инструкция: «Выберите номер наиболее правильного ответа» • При этом предполагается, что все остальные ответы к заданиям правильные, но в различной мере (хотя допускаются и неправильные ответы).
Пример удачного задания 2 • РЕШЕНИЕ НЕРАВЕНСТВА (x+2)(x+3) <0 1) x<-2 4) -3<x<-2 или x<-3 2) x<-3 5) -1<x<-3 или x<-3 3) x>-3 6) -3<x<-2 или x>-3 • все ответы правильны лишь отчасти, и только один ответ – четвертый – считается полностью правильным • В этом примере дистракторы не помогают, а напротив, затрудняют что -либо «распознать»
Задания с выбором нескольких правильных ответов Могут быть двух типов: • Число правильных ответов неизвестно испытуемому. Инструкция к таким заданиям имеет вид: «Выберите номера всех правильных ответов» • Число правильных ответов известно испытуемому. Инструкция к таким заданиям имеет, например, вид: «Выберите три правильных ответа»
Число правильных ответов неизвестно испытуемому Выберите все правильные ответы. В ЧЕМ СХОДСТВО ПРИРОДНОЙ И ИСКУССТВЕННОЙ ЭКОСИСТЕМ? А)небольшое число видов Б)наличие цепей питания В)замкнутый круговорот веществ Г)использование солнечной энергии Д)использование дополнительных источников энергии Е)наличие продуцентов, консументов, редуцентов
Число правильных ответов известно испытуемому КАКИЕ ТРИ ИЗ ПЕРЕЧИСЛЕННЫХ НИЖЕ СРЕДСТВ ВЫРАЗИТЕЛЬНОСТИ ИСПОЛЬЗОВАНЫ В ТЕКСТЕ? 1)метафоры 2)парцелляция 3)инверсия 4)экспрессивный повтор 5)сравнение
Принцип фасетности ДЛЯ ЛЕЧЕНИЯ { атеросклероза, стенокардии … } ИСПОЛЬЗУЮТ 1) клофелин 4) анаприлин 7) нифедипин 2) адельфан 5) мисклерон 8) холестирамин 3)нитросорбид 6) празозин 9) дихлотиазид
Задания открытой формы • задания на дополнение • задания со свободно конструируемым ответом
Задания на дополнение • Формулируются в виде утверждений, которые превращаются в истинное высказывание, если ответ правильный, и в ложное высказывание, если ответ неправильный • Заранее определяется то, что однозначно считается правильным ответом • Обычно он бывает достаточно кратким – одно слово, число, символ и т. д.
Пример • МОНАРХИЯ, ПРИ КОТОРОЙ ВСЯ ПОЛНОТА ВЛАСТИ ПРИНАДЛЕЖИТ ИСКЛЮЧИТЕЛЬНО МОНАРХУ, НАЗЫВАЕТСЯ ________
Общие требования к заданиям на дополнение • каждое задание, как правило, должно быть нацелено только на одно дополнение, место для которого обозначается прочерком, точками или рамкой • прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала • дополнение лучше выносить в конец предложения. Ответ должен генерироваться по мере чтения задания • все прочерки рекомендуется делать одной длины • после прочерка, если это возможно, указываются единицы измерения • текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания • в тексте задания исключаются повторы и двойное отрицание
Принципы композиции заданий на дополнение • Принцип логической определенности. Задание является логически определенным, если оно способно продуцировать у знающих учеников правильный ответ и если содержание и форма задания помогают организовать мыслительный процесс нахождения такого ответа • Принцип фасетности ТОК СИЛОЙ {I}, ПРОХОДЯ ПО ПРОВОДНИКУ {R} ЗА ВРЕМЯ {t} СЕКУНД, ВЫДЕЛЯЕТ _________ ДЖОУЛЕЙ ТЕПЛА
Принципы композиции заданий на дополнение • Принцип логической соразмерности объема определяющего понятия объему определяемого ПЕРВЫМ ПРЕЗИДЕНТОМ США БЫЛ ________ ФАМИЛИЯ ПЕРВОГО ПРЕЗИДЕНТА США БЫЛА ________ • Принцип краткости • Принцип неотрицательности БАНКИ НЕ СТАВЯТСЯ НА __________
Элементы композиции заданий открытой формы • Инструкция для испытуемых : ДОПОЛНИТЕ • Иногда инструкция может быть более конкретной (особенно в языковых предметах): поставить «не» или «ни» , дополнить, где требуется и т. д. • Содержательная основа задания • Ответы к заданиям открытой формы испытуемым не даются, они должны найти их сами и вписать в том месте, где стоит пропуск, или набрать ответ на клавиатуре • Оценка. Обычно задания на дополнение оцениваются дихотомически: за правильный ответ испытуемый получает 1 балл, за неправильный – 0 баллов.
Задания со свободно конструируемым ответом • Нет никаких ограничений на содержание и форму представления ответов • Для объективной проверки необходимо наличие эталона, в качестве которого обычно выступает наиболее правильный ответ с описывающими его характеристиками и признаками качества • Интересны и разнообразны в содержательном плане • С их помощью можно оценить умения, характеризующие познавательную деятельность учащихся, выявить способы решения задач, проанализировать типичные ошибки • Требуют значительных затрат преподавательского труда при проверке • Нетехнологичны: проверка результатов их выполнения субъективна, а интерпретация результатов значительно затруднена
Преимущества заданий со свободно конструируемым ответом • легко разрабатывать • интересны и разнообразны в содержательном плане • позволяют студентам продемонстрировать свои способности, выразить мысли • стимулируют к учебе • отсутствует угадывание
Недостатки заданий со свободно конструируемым ответом • нетехнологичны (не поддаются автоматической проверке, требуют времени на проверку) • субъективны в проверке, поэтому потенциально менее надежны • требуют большего времени на выполнение, поэтому позволяют проверить меньшее содержание, потенциально имеют более низкую валидность • интерпретация результатов значительно затруднена
Задания на установление соответствия • Слева приводятся элементы задающего множества, содержащие постановку проблемы • Справа приводятся элементы, подлежащие выбору • Задание завершается строкой ответов, в которой испытуемый проставляет на месте прочерков буквы, соответствующие выбранным элементам из правого множества • Инструкция к заданиям на установление соответствия стандартная: УСТАНОВИТЕ СООТВЕТСТВИЕ.
Два типа заданий на установление соответствия • Соответствия взаимно - однозначные: любому элементу из левого столбца соответствует только один элемент из правого столбца и наоборот • Соответствия не взаимно - однозначные: различным элементам из левого столбца может соответствовать один и тот же элемент из правого столбца
Соответствия взаимно - однозначные 1. СОЗВЕЗДИЕ ЯРЧАЙШАЯ ЗВЕЗДА 1) Лира 2) Волопас 3) Возничий 4) Близнецы 5) Дева А) Вега Б) Регул В) Кастор Г) Сириус Д) Спика Е) Арктур Ж) Альтаир З) Капелла И) Альдебаран Ответы: 1 ____ , 2 ____ , 3 ____ , 4 ____ , 5____
Соответствия не взаимно - однозначные Установите соответствие между особенностями обмена веществ и организмами, для которых они характерны ОСОБЕННОСТИ ОБМЕНА ВЕЩЕСТВ ОРГАНИЗМЫ 1) использование энергии солнечного света А) автотрофы для синтеза АТФ Б) гетеротрофы 2) использование энергии, заключенной в пище, для синтеза АТФ 3) использование только готовых органических веществ 4) синтез органических веществ из неорганических 5) выделение кислорода в процессе обмена веществ
Общие требования к заданиям на установление соответствия • задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств (столбцов) с соответствующими названиями, обобщающими все элементы столбца • правый столбец должен содержать хотя бы несколько дистракторов • все дистракторы в одном задании должны быть равновероятно правдоподобны • элементы столбцов должны быть выбраны по одному основанию • всё задание необходимо располагать на одной странице, не допуская переноса отдельных элементов.
Основные элементы композиции заданий на соответствие • Основные элементы композиции заданий этой формы: инструкция, названия двух столбцов, элементы этих столбцов с номерами и буквами, строку ответов • Названия двух столбцов должны относиться ко всем элементам представляемого класса • Элементы столбцов выражают содержание задания (число элементов в правом столбце должно быть примерно в два раза больше числа элементов в левом столбце) • Для идентификации элементов используются номера (для элементов левого столбца) и буквы (для элементов правого столбца) • Строка ответов композиционно завершает задание и указывает испытуемому место, куда нужно заносить ответы
Подходы к оцениванию задания на установление соответствия • оценка в 1 балл дается за правильное выполнение всего задания, в противном случае – 0 баллов, даже за одну допущенную ошибку • по одному баллу дается за каждое правильно установленное соответствие • за все правильные ответы дается 2 балла, за одну допущенную ошибку – 1 балл, за две ошибки и более – 0 баллов.
Задания на установление правильной последовательности • Предназначены для оценки уровня владения последовательностью действий, процессов и т. д. • В задании приводятся в произвольном случайном порядке действия, процессы, элементы, связанные с определенной задачей. Испытуемый должен установить правильный порядок предложенных действий и указать его с помощью цифр в специально отведенном для этого месте • Инструкция к заданиям на установление правильной последовательности имеет вид: УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ
Последовательность исторических событий СОБЫТИЯ ФЕВРАЛЯ-ОКТЯБРЯ 1917 Г. • • VI съезд РСДРП (б) отречение царя Николая II приезд Ленина создание Петроградского совета взятие Зимнего дворца Корниловский мятеж ликвидация двоевластия II съезд Советов
Последовательность технологических действий и операций КОМПЛЕКТОВАНИЕ КОЛЕСНО-МОТОРНОГО БЛОКА • • • напрессовать малую шестерню на вал якоря смонтировать моторно-осевые подшипники установить колесную пару в корпус двигателя установить большую шестерню на вал якоря отрегулировать зубчатую передачу установить кожухи редуктора
Последовательность умственных действий РАЗБОР СЛОВА ПО СОСТАВУ • выделить суффикс • • • выделить корень найти основу подобрать однокоренные слова выделить окончание выделить приставку
Элементы композиции заданий на установление правильной последовательности • К элементам композиции заданий данной формы относят Инструкцию к заданию, название задания, его содержание и место для ответов • Инструкция: УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ • Из названия задания испытуемый узнает, о чем его спрашивают и знание чего он должен продемонстрировать. Ключевое слово в названии лучше писать в именительном падеже • Содержание задания включает в себя ранжируемые элементы • Место для ответов – это прямоугольники, нарисованные слева (против названия каждого элемента) или строка ответов внизу
Пример задания по биологии Установите правильную последовательность процессов энергетического обмена А) образование пировиноградной кислоты Б) ферментативное окисление глюкозы В) участие кислорода в энергетическом обмене Г) гидролиз высокомолекулярных органически веществ Д) образование углекислого газа и воды Правильный ответ: ГБАВД
Особенности заданий на установление правильной последовательности • Довольно специфичны, содержание многих дисциплин не поддается трансформации в эту форму • Проверяют определенные знания: алгоритмические, процессуальные, процедурные, технологические • Более трудные для учащихся по сравнению с заданиями других форм • Трудны в разработке
Оценивание заданий на установление правильной последовательности • Преимущественно используется дихотомическая оценка: 1 балл дается за правильную расстановку всех рангов в задании, 0 баллов – при ошибке в ответе • Иногда используется политомическая оценка, например: за верный ответ испытуемый получает 2 балла; если в ответе неверно определена последовательность двух последних элементов или они отсутствуют, испытуемый получает 1 балл; в других случаях - 0 баллов
Системы заданий в тестовой форме • Цепные - правильный ответ на одно задание зависит от правильного ответа на предыдущее задание • Тематические задания - совокупность заданий любой формы, созданных для контроля знаний по одной изученной теме • Текстовые задания представляют собой совокупность заданий открытой формы, созданных для контроля знания или понимания учебного текста • Ситуационные задания разрабатываются для проверки знаний и умений испытуемых действовать в практических, экстремальных и других ситуациях
Пример цепного задания 1. СТРАНА – РОДИНА ПЕРВОЙ В МИРЕ КОДИФИЦИРОВАННОЙ КНСТИТУЦИИ ________ (США) 2. ВЫСШИМ СУДЕБНЫМ ОРГАНОМ ЭТОЙ СТРАНЫ ЯВЛЯЕТСЯ _________ (Верховный Суд США) 3. СУДЬИ ЭТОГО ОРГАНА НАЗНАЧАЮТСЯ ПРЕЗИДЕНТОМ 1) на 10 лет с согласия Сената 2) на 10 лет с согласия Конгресса 3) пожизненно с согласия Сената + 4) пожизненно с согласия Конгресса
Пример тематического задания ВОСТОЧНАЯ ПЛОДОЖОРКА Обвести кружком номера всех правильных ответов 1. ВОСТОЧНАЯ ПЛОДОЖОРКА ОТНОСИТСЯ К ОТРЯДУ 1) Diptera 3) Coleoptera 2) Homoptera 4) Lepidoptera 2. ОНА ПОВРЕЖДАЕТ 1) почки 3) бутоны 2) плоды 4) молодые побеги 3. ПРОТИВ НЕЕ ПРИМЕНЯЮТ 1) акарициды 3) феромонные ловушки 2) инсектициды 4) биологические препараты
Пример текстового задания • The oldest of universities in England are _______ (1) and _______ (2). Their history goes back to the _______th (3) centuries. But there is a large number of other universities, many of which have opened since_______ (4). The latest of these is the _______ (5) University, a unique institution which is opened to all.
Пример ситуационного задания В ПАРИЖЕ ВЫ ЗАБЛУДИЛИСЬ НА ОДНОЙ ИЗ ПАРИЖСКИХ УЛИЦ. МИМО ПРОХОДИТ ДЕВУШКА 1. ВЫ ОСТАНАВЛИВАЕТЕ ЕЕ СЛОВАМИ 1. Ma cherie 2. Madame 3. Mademoiselle 4. Ma petite 5. Eh! amie! 2. ИЗВИНЯЕТЕСЬ ЗА БЕСПОКОЙСТВО 1. Pardon! 2. Excusez-moi! 3. Pardonnez-moi! 3. ПРОСИТЕ УКАЗАТЬ ДОРОГУ К ЛАТИНСКОМУ КВАРТАЛУ 1. Montrez-moi le chemin jusqu'au Quartier Latien. 2. Le Quartier Latin c'est ou ? 3. Le Quartier Latin c'est loin d'ici ? 4. Comment aller au Quartier Latin ? 4. ВЫ НЕ ПОНЯЛИ ОТВЕТ. ВАША РЕПЛИКА: _______ 5. ВЫ БЛАГОДАРИТЕ СОБЕСЕДНИКА СЛОВАМИ ______
Основные элементы заданий в тестовой форме • Инструкция. Пишется в соответствии с формой заданий. Если испытуемые уже имеют достаточный опыт тестирования, то можно ее не писать • Содержание заданий. Содержание систем заданий подбирается так, чтобы по ответам испытуемых можно было сделать обоснованные выводы об их знаниях в проверяемой области • Ответы в таких заданиях могут выбираться или дополняться, в зависимости от используемой формы • Оценка – по усмотрению разработчика и преподавателя
Скачать презентацию Разработка педагогических тестовых материалов Автор Карданова Елена Юрьевна
db77d2671f7bda45d0b5550986280aa9.ppt