ОСНОВЫ ТЕОРИИ РАЗРАБОТКИ ТЕСТОВ
Педагогический тест – это система заданий специфической формы, определенного содержания, упорядоченных в рамках определенной стратегии предъявления, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков по учебной дисциплине. Основные преимущества качественных тестов n Научная обоснованность (существование документации) n Технологичность тестовых методов (использование компьютеров, эффективность, использование в различных целях, в том числе для самообразования, скорость сбора информации и т. д. ) n Возможность оценить точность измерений (коэффициент надежности в КТТ) n Наличие единых для всех испытуемых условий проведения педагогического контроля и единой системы оценивания.
Классификация видов педагогических тестов Педагогические тесты 1 задача: 2 задача: тестирование на входе в обучение тестирование в процессе обучения Формирующие тесты (обычно КОРТ) Входные тесты Претест готовности к обучению (обычно КОРТ) Входной претест (обычно НОРТ) 3 задача: тестирование на выходе из обучения Диагностирующие тесты (специфические, для выявления причин пробелов в знаниях) Итоговые тесты Нормативноориентированные тесты достижений Критериальноориентированные тесты достижений
Этапы разработки педагогического теста n n n n n Определение цели тестирования, выбор вида теста и подхода к его созданию. Анализ содержания учебной дисциплины. Определение структуры теста и стратегии расположения заданий. Разработка спецификации теста, априорный выбор длины теста и времени его выполнения. Создание тестовых заданий. Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий. Экспертиза содержания тестовых заданий и теста. Экспертиза формы тестовых заданий. Переработка содержания и формы по результатам экспертизы.
Этапы разработки педагогического теста n n n n n Разработка методики апробационного тестирования. Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста. Проведение апробационного тестирования. Сбор эмпирических результатов. Статистическая обработка результатов выполнения теста. Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно-обоснованным критериям качества. Коррекция содержания и формы на основании данных предыдущего этапа. Чистка заданий и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация расположения заданий в тесте. Повторение этапа апробации для выполнения очередных шагов по повышению качества теста. Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов тестирования.
Композиция заданий в тест n n Располагайте задания каждого типа вместе. Это дает возможность испытуемым приспособиться к данному типу заданий, а, следовательно, достаточно понимания одной инструкции для выполнения ряда заданий. По возможности располагайте задания по возрастанию трудности. Это предотвратит случаи, когда слишком старательный испытуемый тратит все свое время (или слишком много времени) на выполнение задания, которое он не может выполнить, и, таким образом, решает себя возможности попытаться выполнить другие задания, по которым он мог бы получить баллы. В результате оценка его уровня подготовленности будет искажена. В рамках ограничений 1) и 2) располагайте задания случайным образом, насколько это возможно. Это снижает монотонность и связанное с ней утомление. Правильно оцените время выполнения каждого задания и всего теста в целом.
Виды тестовых заданий: а) закрытой формы б) открытой формы в) на установление соответствия г) на установление правильной последовательности
Задания с выбором одного правильного ответа (задания закрытой формы) Достоинства: n быстрота тестирования n простота подсчета первичных баллов n возможность более полно охватить содержание n универсальность n Формы заданий закрытой формы n задания с выбором одного правильного ответа n задания с выбором всех правильных ответов
Ответы и основная часть заданий должны удовлетворять ряду требований n n n n в тексте задания не должно быть двусмысленности или неясности формулировок; основная часть задания должна быть предельно краткой (обычно одно предложение из семи-восьми слов) и иметь простую синтаксическую конструкцию; основной текст следует включать в основную часть задания, оставляя для ответа не более двух-трех наиболее важных, ключевых слов для данной проблемы; все ответы к одному заданию должны быть примерно одной длины; частота выбора одного и того же номера правильного ответа должна быть примерно одинаковой, либо номер правильного ответа выбирается в случайном порядке; основная часть задания должна быть освобождена от всякой посторонней для данной проблемы информации; как правило, основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов; из ответов необходимо исключить все повторяющиеся слова путем ввода их в основной текст задания; при формулировке дистракторов не рекомендуется использовать без необходимости слова: «все» , «ни одного» , «никогда» , «всегда» и т. д. и выражения : «ни один из перечисленных» , «все перечисленные» и т. д. , так как они могут способствовать угадыванию правильного ответа; все дистракторы должны быть равновероятно привлекательны для испытуемых, не знающих правильного ответа; все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания; ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста; ни один из дистракторов не должен являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ.
1. Принцип противоречия. Данный принцип является самым распространенным при создании заданий с двумя ответами. При использовании принципа противоречия ответы подбираются так, чтобы второй отрицал первый. При этом отрицание достигается, главным образом, посредством использования в одном из ответов отрицательной частицы “не”, а также использования отрицающих предлогов и слов. В СЛОЖНЫХ РАЗРЕЗАХ ГРАНИЦА МЕЖДУ СЕКУЩИМИ ПЛОСКОСТЯМИ 1) изображается 2) не изображается ОРГАНИЧЕСКОЕ СТЕКЛО – ЭТО ПЛАСТМАССА, СОСТОЯЩАЯ ИЗ ТЕРМОПЛАСТИЧЕСКОЙ СМОЛЫ 1) с наполнителями 2) без наполнителей
2. Принцип противоположности. В отличие от противоречивых, противоположные ответы допускают возможность потенциального существования других переходных понятий и состояний. При противоречии используется отрицание; при противоположности – один содержательный ответ заменяется другим, антонимичным по смыслу. Возможность промежуточных состояний при использовании принципа противоречия позволяет увеличить число ответов, что снижает вероятность угадывания. 1. ОТЛОЖЕНИЕ ЛИГНИНА В ОБОЛОЧКЕ РАСТИТЕЛЬНОЙ КЛЕТКИ ПРОИСХОДИТ 1) внутри 2) снаружи 2. ГРАФИК НЕЧЕТНОЙ ФУНКЦИИ СИММЕТРИЧЕН ОТНОСИТЕЛЬНО 1) оси абсцисс 2) оси ординат 3) начала координат 3. ПО ФОРМЕ ПРАВЛЕНИЯ ФРАНЦИЯ ЯВЛЯЕТСЯ РЕСПУБЛИКОЙ 1) парламентской 2) президентской 3) смешанного типа
3. Принцип однородности. Подбираются такие ответы, которые относятся к одному роду, виду, или отображают различные стороны, грани явления. Этот принцип применяется в заданиях с разным числом ответов. 1. СТИХОТВОРЕНИЕ ПРОСЛАВЛЯЮЩЕЕ НОВОБРАЧНЫХ, НАЗЫВАЕТСЯ 1) дифирамб 2) эпиталама 2. КОСТИТУЦИОННЫЙ КОНТРОЛЬ ВО ФРАНЦИИ ОСУЩЕСТВЛЯЕТ 1) Государственный совет 2) Конституционный совет 3) Коституционный суд При создании заданий по принципу однородности существенным фактором усиления их эффективности является использование сходных по написанию или звучанию букв, цифр, знаков, слов и словосочетаний. Это позволяет сделать ответы правдоподобными и логически безупречными. Например: ТИП ПИТАНИЯ ТИОНОВЫХ БАКТЕРИЙ 1) фотоавтотрофный 3) фотогетеротрофный 2) хемоавтотрофный 4) хемогетеротрофный n
4. Принцип кумуляции. Этот принцип означает, что содержание каждого ответа вбирает в себя (аккумулирует) содержание предыдущего. 1. ПРИ ЙОДОМЕТРИИ ОПРЕДЕЛЯЮТ СОДЕРЖАНИЕ 1) окислителей 2) окислителей, воcстановителей 3) окислителей, восстановителей, кислот 2. ГЕРУНДИЙ ОБЛАДАЕТ СВОЙСТВАМИ 1) глагола 2) глагола и существительного 3) глагола, существительного и наречия n В заданиях, построенных по принципу коммуляции, учащиеся, приученные давать полные и правильные ответы, выбирают обычно последний ответ, ошибочно полагая, что он – самый правильный. Поэтому при разработке заданий, соответствующих этому принципу, полезно иметь это ввиду и не всегда ставить правильный ответ на последнее место.
5. Принцип сочетания. Используется сочетание слов (знаков) по два, три, четыре в каждом ответе. 1. СТРАНЫ, ВЫШЕДШИЕ ИЗ МЕЖДУНАРОДНОЙ ИЗОЛЯЦИИ ПОСЛЕ ГЕНУЭЗСКОЙ КОНФЕРЕНЦИИ 1) Россия и Германия 2) Россия и Италия 3) Россия и Австрия
6. Принцип удвоенного противопоставления (принцип двойной альтернативы). . Этот принцип применяется преимущественно в заданиях с четырьмя ответами. При конструировании ответов используется противопоставление, построенное на принципе противоречия или принципе противоположности. ДЛЯ РАЗВИТЫХ СТРАН ХАРАКТЕРНЫ: 1) низкая рождаемость и низкая смертность 2) высокая рождаемость и низкая смертность 3) высокая рождаемость и высокая смертность 4) низкая рождаемость и высокая смертность
Главный принцип разработки содержания заданий закрытой формы принцип фасетности. Фасет – это форма записи нескольких вариантов одного и того же задания. Применение принципа фасетности позволяет создавать сразу несколько вариантов одного и того же задания, а, следовательно, и вариантов теста. ГЛАГОЛ { бежать, думать, спать … } 1)переходный 2)непереходный
При разработке заданий в закрытой форме часто используют принцип импликации. Задание формулируется в логической форме условной связи, имеет форму условного суждения вида «если …, то …» . Такие задания, в частности, могут использоваться для проверки знаний причинно-следственных отношений. ЕСЛИ ЖЕСТКОСТЬ ПРУЖИНЫ РАВНА к , ТО ЖЕСТКОСТЬ ТРЕХ ТАКИХ ПРУЖИН, СОЕДИНЕННЫХ ПОСЛЕДОВАТЕЛЬНО, РАВНА 1) к 2)3 к 3)к/3 4)9 к 5)к/9
Третий принцип разработки содержания заданий – это краткость. Содержание задания формулируется как можно короче и яснее. Краткость обеспечивается тщательным подбором слов, символов, позволяющих минимумом средств добиться максимума ясности смысла задания. Полностью исключаются повторы слов, малопонятные или редко употребляемые или неизвестные учащимся символы, иностранные слова, затрудняющие восприятие смысла.
Оценка заданий закрытой формы. При подсчете результатов обычно используют дихотомическую оценку: за правильный ответ испытуемый получает 1 балл, за неправильный ответ или за отсутствие ответа 0 баллов. Суммирование всех единиц позволяет вычислить индивидуальный балл испытуемого. Однако, величина индивидуального балла может быть искажена за счет эффекта угадывания ответов. Поэтому индивидуальные баллы можно скорректировать с поправкой на угадывание. Общая формула коррекции тестового балла на случайное угадывание имеет вид : Xci = Xi – (Wi / (N-1)), где Xi - индивидуальный балл i-го испытуемого; Xci – скорректированный индивидуальный балл i-го испытуемого; Wi – число неправильных ответов i-го испытуемого; N – число ответов на задание теста.
Если испытуемый наберет, например, 50 баллов в тесте из 70 заданий с тремя вариантами ответов к каждому заданию, то его скорректированный балл равен: Xci= 50 – (20 / (3 – 1 )) = 40 Значение коррекции на угадывание убывает по мере увеличения числа правильных ответов в заданиях теста. Это вполне согласуется с педагогической логикой : коррекция нужна для тех, кто плохо знает. Баллам тех испытуемых, кто все знает, коррекция не повредит.
Типичные ошибки при разработке заданий закрытой формы
нарушение правила подбора ответов по одному основанию В ТРЕУГОЛЬНИКЕ ВЫСОТА ЯВЛЯЕТСЯ МЕДИАНОЙ И БИССЕКТРИСОЙ n верно n если треугольник равнобедренный n неверно Первый и третий ответы этого задания образуют , вместе с содержанием задания, безусловные и неверные утверждения в то время, как второй ответ порождает верное условное утверждение. НА ЭЛЕКТРОН, ДВИЖУЩИЙСЯ В МАГНИТНОМ ПОЛЕ, ДЕЙСТВУЕТ СИЛА 1) Кулона 3) Ампера 2) Лоренца 4) Кориолиса 5) тяжести В данном примере пятый ответ не однороден, так как не соответствует содержанию остальных ответов и потому является некорректным.
содержание задания лучше не предъявлять в форме отрицания, так как теряется логическая определенность задания. Однако в определенных случаях это допустим В РАЗБАВЛЕННОЙ СЕРНОЙ КИСЛОТЕ НЕ РАСТВОРЯЮТСЯ 1) Ag 2) Fe 3) Cr
Задания с выбором нескольких правильных ответов Недостатки первых двух вариантов заданий с выбором одного ответа компенсируются достоинствами третьего варианта с выбором нескольких правильных ответов. Инструкция для испытуемых: «Обвести кружком номера всех правильных ответов» . При автоматизированном контроле : «Отвечая на задание теста, нажимайте на клавиши с номерами всех правильных ответов» . НА МНОЖЕСТВЕ НАТУРАЛЬНЫХ ЧИСЕЛ ВСЕГДА ВОЗМОЖНО 1) вычитание и деление 2) сложение и вычитание 3) сложение и умножение 4) вычитание и умножение n
Задания открытой формы В заданиях открытой формы готовые ответы не даются, их должен получить или придумать сам испытуемый. Задания открытой формы бывают двух типов: задания на дополнение; задания со свободно конструируемым ответом
Задания на дополнение формулируются в виде утверждений, которые превращаются в истинное высказывание, если ответ правильный, и в ложное высказывание, если ответ неправильный. Таким образом, заранее определяется то, что однозначно считается правильным ответом. Обычно он бывает достаточно кратким – одно слово, число, символ и т. д. Иногда – более длинным, но не превышающим двух-трех слов. Отличительная особенность заданий на дополнение – они должны порождать только один, запланированный разработчиком, правильный ответ. В силу однозначности правильного ответа проверка результатов носит объективный характер. Однако, на практике неоднозначность ответов затрудняет проверку результатов выполнения. n ПЕРВЫМ ГРЕЧЕСКИМ ФИЛОСОФОМ СЧИТАЕТСЯ _________ n ПОЛОЖИТЕЛЬНЫЙ ЗАРЯД ЯДРА ОПРЕДЕЛЯЕТСЯ ЧИСЛОМ __________
Общие требования к заданиям на дополнение: n n n n каждое задание, как правило, должно быть нацелено только на одно дополнение, место для которого обозначается прочерком, точками или рамкой; прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала; дополнение лучше выносить в конец предложения. Ответ должен генерироваться по мере чтения задания; все прочерки рекомендуется делать одной длины; после прочерка, если это возможно, указываются единицы измерения; текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания; в тексте задания исключаются повторы и двойное отрицание.
Принципы композиции заданий на дополнение.
n n Принцип логической определенности. Задание является логически определенным, если оно способно продуцировать у знающих учеников правильный ответ и если содержание и форма задания помогают организовать мыслительный процесс нахождения такого ответа. Принцип фасетности. Использование фасетов помогает провести проверку знаний сразу у всех испытуемых, без риска списывания и тому подобных искажений педагогической информации. 1. ТОК СИЛОЙ {I}, ПРОХОДЯ ПО ПРОВОДНИКУ {R} ЗА ВРЕМЯ {t} СЕКУНД, ВЫДЕЛЯЕТ _________ ДЖОУЛЕЙ ТЕПЛА. 2. {ФУГА} № {1} {Шостаковича} НАПИСАНА В ТОНАЛЬНОСТИ__________
n С принципом фасетности тесно связан другой принцип – принцип параллельности. Он включает в себя три понятия, связанные между собой: параллельность заданий (или вариантов заданий) по содержанию; параллельность по форме; параллельность по трудности. n принцип обратимости. Задания, построенные по принципу обратимости, полезно использовать в различных вариантах тестов, способствуя созданию параллельных вариантов; 1. ОПЕРАЦИЯ НАХОЖДЕНИЯ ПРОИЗВОДНОЙ НАЗЫВАЕТСЯ ___________. 2. ДИФФЕРЕНЦИРОВАНИЕМ НАЗЫВАЕТСЯ ОПЕРАЦИЯ НАХОЖДЕНИЯ ___________ n Принцип обратимости необходимо дифференцировать от тавтологии, которая появляется в том случае, если обратимые задания находятся в одном тесте. Если испытуемые хотя бы немного ориентируются в учебной дисциплине, то в случае тавтологии ответ для одного задания они найдут из содержания другого.
n принцип логической соразмерности объема определяющего понятия объему определяемого. Задания на дополнение могут порождать несколько правильных, но логически несоразмерных ответов, что недопустимо с точки зрения однозначной оценки. 1. ПЕРВЫМ ПРЕЗИДЕНТОМ США БЫЛ _________ 2. ФАМИЛИЯ ПЕРВОГО ПРЕЗИДЕНТА США БЫЛА __________ Принцип краткости n Принцип неотрицательности. В основе задания не рекомендуется использовать отрицательные частицы, а также определение понятия через перечисление элементов, не входящих в него. n БАНКИ НЕ СТАВЯТСЯ НА __________
n n n Открытые задания второго типа – задания со свободно конструируемым ответом. Здесь нет никаких ограничений на содержание и форму представления ответов. Учащиеся могут писать все, что угодно, за отпущенное время. Однако для объективной проверки необходимо наличие эталона, в качестве которого обычно выступает наиболее правильный ответ с описывающими его характеристиками и признаками качества. Задания со свободно конструируемым ответом наиболее близки к традиционным контрольным заданиям. Они интересны и разнообразны в содержательном плане. С их помощью можно оценить умения, характеризующие познавательную деятельность учащихся, выявить способы решения задач, вычленить этапы мысленного процесса, проанализировать типичные ошибки. Однако, такие задания требуют значительных затрат преподавательского труда при проверке. Они нетехнологичны: проверка результатов их выполнения субъективна, а интерпретация результатов значительно затруднена. Поэтому применение таких заданий должно быть крайне ограничено.
Задания на установление соответствия n В заданиях на установление соответствия проверяется знание связей между элементами двух множеств. Такие задания позволяют проверить так называемые ассоциативные знания – знания о взаимосвязи определений и фактов, форм и содержания, о соотношении между различными предметами, свойствами, законами, формулами, датами. n Обычно слева приводятся элементы задающего множества, содержащие постановку проблемы. Справа – элементы, подлежащие выбору. Каждое задание завершается строкой ответов, в которой испытуемый проставляет на месте прочерков буквы, соответствующие выбранным элементам из правого множества. Как правило, одному элементу левого множества соответствует только один элемент правого, хотя возможны и другие варианты, что определяется спецификой содержания дисциплины.
Общие требования к заданиям на установление соответствия: n n n задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств (столбцов) с соответствующими названиями, обобщающими все элементы столбца; правый столбец должен содержать хотя бы несколько дистракторов. Еще лучше, когда число элементов правого столбца приблизительно в два раза больше числа элементов левого столбца; все дистракторы в одном задании должны быть равновероятно правдоподобны; элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста; всё задание необходимо располагать на одной странице, не допуская переноса отдельных элементов.
Принципы композиции заданий на установление соответствия: основной принцип композиции заданий данной формы - принцип фасетности. Он позволяет заменять основные элементы задания, активизируя самостоятельную работу студентов, и исключить условия для списывания. 3. СТЕБЛИ КУЛЬТУРА 1) ползучий А) кукуруза 2) прямостоящий Б) свекла 3) полегающий В) арбуз Г) лен кудряш Д) горох Ответы: 1____ , 2 ____ , 3 ____ n
Применение некоторых заданий повышает учебный интерес. Например, задание по комедии А. С. Грибоедова «Горе от ума» : РЕПЛИКИ ПЕРСОНАЖИ 1) Счастливые часов не наблюдают А) Фамусов 2) Ох! Басни – смерть моя! Б) Молчалин 3) Ей сна нет от французских книг, В) Чацкий А мне от русских больно спится. Г) Софья 4) Дома новы, а предрассудки стары. Д) Хлестова 5) И впрямь с ума сойдешь от этих Е) Загорецкий от одних от пансионов, школ, Ж) Скалозуб лицеев … З) Репетилов Ответы: 1___ , 2 ___ , 3 ___ , 4 ___ , 5 ___ n Оценка. При оценке заданий на установление соответствия используются различные подходы. При первом подходе оценка в 1 балл дается за правильное выполнение всего задания, в противном случае – 0 баллов, даже за одну допущенную ошибку. При другом подходе по одному баллу дается за каждое правильно установленное соответствие. Третий подход: за все правильные ответы давать 2 балла, за одну допущенную ошибку – 1 балл, за две ошибки и более – 0 баллов.
Задания на установление правильной последовательности n Задания на установление правильной последовательности предназначены для оценки уровня владения последовательностью действий, процессов и т. д. В задании приводятся в произвольном случайном порядке действия, процессы, элементы, связанные с определенной задачей. Испытуемый должен установить правильный порядок предложенных действий и указать его с помощью цифр в специально отведенном для этого месте (как правило, в прямоугольниках, стоящих слева перед каждым элементом задания). Можно выделить несколько вариантов применения таких заданий. 1) последовательность исторических событий. 2) последовательность технологических действий и операций. 3) последовательность различных процессов. 4) цепочка умственных действий, образующая систему знаний, умений, навыков и представлений.
Инструкция к заданиям на установление правильной последовательности имеет вид: УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ. СОБЫТИЯ ФЕВРАЛЯ-ОКТЯБРЯ 1917 Г. - VI съезд РСДРП (б) - отречение царя Николая II - приезд Ленина - создание Петроградского совета - взятие Зимнего дворца - Корниловский мятеж - ликвидация двоевластия - II съезд Советов n n Задания на установление правильной последовательности особенно эффективны на заключительной стадии профессиональной подготовки, что объясняется важной ролью алгоритмов в профессиональной деятельности. Цель введения таких заданий в учебный процесс – формирование алгоритмического мышления и алгоритмических знаний, умений и навыков.
Системы заданий в тестовой форме n n Задание может быть тестовым по форме и по содержанию, но не соответствовать специальным тестологическим требованиям к тестовым заданиям. Тест в научном понимании этого слова не могут образовывать задания, если правильный ответ на одно задание зависит от правильного ответа на другое. Статистически, использование таких заданий приводит к нарушению аксиомы о локальной независимости. Однако, такие задания и системы таких заданий могут представлять интерес в учебной работе, а также для организации самоконтроля. Рассмотрим 4 основные типа таких заданий: n цепные n тематические n текстовые n ситуационные задания
Цепные - это такие задания, в которых правильный ответ на одно задание зависит от правильного ответа на предыдущее задание. Т. е. если испытуемый не ответит правильно на предыдущее задание, то он не справится и с последующими. Цепные задания могут быть любой формы. 1. ХУДОЖЕСТВЕННОЕ НАПРАВЛЕНИЕ В ИСКУССТВЕ, ВОЗНИКШЕЕ КАК РЕАКЦИЯ НА ИТОГИ ФРАНЦУЗСКОЙ РЕВОЛЮЦИИ 1789 г. НАЗЫВАЕТСЯ _________ 2. ОДНИМ ИЗ АВТОРОВ ЭТОГО НАПРАВЛЕНИЯ В ЗАПАДНОЕВРОПЕЙСКОМ ИСКУССТВЕ ЯВЛЯЕТСЯ 1) Бах 2) Скотт 3) Шарден 4) Вольтер 3. ЭТОТ АВТОР РАБОТАЛ В ТАКИХ ЖАНРАХ КАК 1) мессы и кантаты 2) повести и трагедии 3) натюрморты и бытовые полотна 4) баллады и исторические романы 4. ЕГО ЗНАМЕНИТЫМ ПРОИЗВЕДЕНИЕМ ЯВЛЯЕТСЯ 1) “Брут” 2) “Прачка” 3) “Айвенго” 4) “Кофейная кантата” 5. ЭТО ПРОИЗВЕДЕНИЕ ПО СВОЕМУ ХАРАКТЕРУ ЯВЛЯЕТСЯ 1) бытовым 2) историческим 3) драматическим 4) юмористическим n
n Тематические задания - это совокупность заданий любой формы, созданных для контроля знаний по одной изученной теме. Название темы пишется в самом начале контрольного материала, перед инструкцией. ВОСТОЧНАЯ ПЛОДОЖОРКА Обвести кружком номер всех правильных ответов 1. ВОСТОЧНАЯ ПЛОДОЖОРКА ОТНОСИТСЯ К ОТРЯДУ 1) Diptera 3) Coleoptera 2) Homoptera 4) Lepidoptera 2. ОНА ПОВРЕЖДАЕТ 1) почки 3) бутоны 2) плоды 4) молодые побеги 3. ПРОТИВ НЕЕ ПРИМЕНЯЮТ 1)акарициды 3) феромонные ловушки 2) инсектициды 4) биологические препараты
ИНФИНИТИВ Обвести кружком номер правильного ответа 1. ИНФИНИТИВ СООТНОСИТСЯ С 1) глаголом 2) местоимением 3) существительным 2. ЯВЛЯЕТСЯ ФОРМОЙ 1) Личной 2) Неличной 3. В РУССКОМ ЯЗЫКЕ СООТВЕТСТВУЮЩАЯ ФОРМА n имеется n не имеется 4. ПОСЛЕ МОДАЛЬНЫХ ГЛАГОЛОВ can, may, must ЧАСТИЦА to ПЕРЕД ИНФИНИТИВОМ n употребляется n не употребляется 5. ИНФИНИТИВ В ФУНКЦИИ СКАЗУЕМОГО УПОТРЕБЛЯТЬСЯ n может n не может 6. to be spoken – ЭТО ИНФИНИТИВ 1) пассивный 3) длительный 2) перфектный 4) перфектно-длительный
Текстовые задания представляют собой совокупность заданий открытой формы, созданных для контроля знаний целостно осмысленного учебного текста (или фрагмента такого текста). Пример из М. Ю. Лермонтова: n «И вспомнил я отцовский _______ (1) n Ущелье наше и кругом В тени рассыпанный _____ (2) n Мне слышался вечерний ____(3) n Домой бегущих________ (4) n И дальний лай знакомых _______ (5) n Я вспомнил смуглых ______ (6) n При свете лунных _______(7) n Против отцовского ______ (8) n Сидевших с важностью _____(9)» . n
Ситуационные задания разрабатываются для проверки знаний и умений испытуемых действовать в практических, экстремальных и других ситуациях. Можно использовать принцип фасетности. В ПАРИЖЕ ВЫ ЗАБЛУДИЛИСЬ НА ОДНОЙ ИЗ ПАРИЖСКИХ УЛИЦ. МИМО ПРОХОДИТ n 1. ВЫ ОСТАНАВЛИВАЕТЕ СЛОВАМИ 1. Ma cherie 2. Madame 3. Mademoiselle 4. Ma petite 5. Eh! amie! 2. ИЗВИНЯЕТЕСЬ ЗА БЕСПОКОЙСТВО 1. Pardon! 2. Excusez-moi! 3. Pardonnez-moi! 3. ПРОСИТЕ УКАЗАТЬ ДОРОГУ К 1. Montrez-moi le chemin jusqu'au Quartier Latien. 2. Le Quartier Latin c'est ou ? 3. Le Quartier Latin c'est loin d'ici ? 4. Comment aller au Quartier Latin ? 4. ВЫ НЕ ПОНЯЛИ ОТВЕТ. ВАША РЕПЛИКА: Vous dites ? _______ 5. ВЫ БЛАГОДАРИТЕ СОБЕСЕДНИКА СЛОВАМИ Merci bien. _____
n n Основные элементы заданий в тестовой форме 1. Инструкция. Пишется в соответствии с формой заданий. Если испытуемые уже имеют достаточный опыт тестирования, то можно ее не писать. 2. Содержание заданий. Содержание систем заданий подбирается так, чтобы по ответам испытуемых можно было сделать обоснованные выводы об их знаниях в проверяемой области. 3. Ответы в таких заданиях могут выбираться или дополняться, в зависимости от используемой формы. 4. Оценка – по усмотрению разработчика и преподавателя.
АПРОБАЦИЯ ТЕСТА – это предварительное педагогическое тестирование на определенный выборке учащихся для установления соответствия педагогического теста его целям и заданным характеристикам. n Апробация проводится после того как составлена спецификация теста, в которой указывается цель тестирования, контингент учащихся. n ЦЕЛЬ АПРОБАЦИИ ТЕСТА: 1. Проверка корректности и параллельности заданий теста. 2. Уточнение времени необходимого для выполнения теста. 3. Апробация инструкций. 4. Установление соответствия теста цели тестирования. n
Характеристики тестовых заданий и теста в рамках классической теории тестирования n Процесс научного обоснования теста включает в себя несколько этапов: n сбор эмпирических результатов тестирования n их математическо-статистическая обработка n интерпретация результатов обработки с целью получения параметров качества теста. На этапе сбора данных необходимо принять специальные меры, обеспечивающие единообразие процедуры выполнения теста. Стандартизация процедуры затрагивает такие вопросы как n - формирование репрезентативной выборки n испытуемых n - правильное инструктирование n - выбор оптимального времени тестирования n - качественные материалы n подходящая окружающая обстановка n подготовка преподавателей, проводящих тестирование n предотвращение списывания n - др. После сбора эмпирических данных начинается этап математикостатистической обработки, которая проводится, как правило, с помощью специального программного обеспечения. Обработка результатов тестирования с целью получения характеристик тестовых заданий и теста в целом в рамках классической теории тестов включает в себя несколько этапов.
Формирование матрицы ответов n n Матрица ответов (матрица результатов тестирования) А={а} представляет собой результаты испытуемых по всем заданиям. Количество строк матрицы равно количеству испытуемых; количество ее столбцов равно количеству заданий в тесте. Элемент а матрицы представляет собой оценку выполнения i-ым испытуемым j-го задания теста. При дихотомической оценке
n n n Таким образом, матрица результатов тестирования отражает результаты взаимодействия множества испытуемых со множеством заданий. Матрицу А удобно представлять в виде таблицы, пример которой приведен в табл. 1. Здесь n=15 - количество испытуемых, m=10 - количество заданий в тесте; xиндивидуальный тестовый балл (первичный балл) iго испытуемого (в общем случае – количество правильно выполненных заданий); R- количество правильных ответов на j-ое задание (первичный балл задания) ; W= n-R - количество неправильных ответов на j-ое задание. В классической теории тестовый балл студента принимается равным Х=Т+Е, где Х – первичный балл (полученный в результате тестирования), Т – истинный балл, Е – погрешность измерения.
Матрица результатов тестирования 1 2 3 4 5 6 7 8 9 10 1 1 1 1 0 0 0 7 2 1 1 0 0 0 0 2 3 0 0 0 0 1 4 1 1 0 1 1 1 1 9 5 1 0 1 1 0 0 4 6 1 1 1 0 0 0 0 3 7 1 1 0 0 0 4 8 1 1 0 0 0 4 9 1 1 1 1 0 0 8 10 1 1 1 0 0 0 6 11 1 0 0 1 5 12 0 0 1 1 0 0 1 0 5 13 1 0 0 1 1 1 0 0 0 1 5 14 0 0 1 1 0 0 1 0 3 15 1 1 0 0 0 6 12 9 9 9 6 3 3 6 6 6 9 12 12 12
2. Выбраковка Перед тем, как перейти к анализу данных по результатам тестирования, проводят выбраковку – удаляют строки и столбцы, состоящие полностью из 0 и 1 , т. е. удаляют задания, которые не смог выполнить никто или, наоборот, выполнили все. Аналогично с испытуемыми – для тех, кто выполнил все задания или не справился ни с одним заданием, истинный балл не может быть определен с помощью данного теста. 3. Упорядочение матрицы ответов Производят перестановку строк и столбцов, располагая первичные баллы в порядке убывания. Анализ профилей. 4. Графическая интерпретация эмпирических данных Как правило, для графической интерпретации используют гистограмму. Гистограмма иллюстрирует плотность распределения тестовых баллов и позволяет показать соотношение размеров различных групп испытуемых, получивших низкие, средние и высокие баллы. При этом по оси абсцисс откладывается тестовый балл (или процент выполнения заданий теста при большом количестве заданий), высота столбцов соответствует частоте этого балла (или проценту испытуемых, имеющих результат в данном интервале, при большом количестве испытуемых).
На рис. приведена гистограмма, соответствующая матрице результатов тестирования, приведенной в табл. 1.
5. Подсчет средних значений первичных баллов Среднее значение индивидуальных баллов рассчитывается как среднее арифметическое всех баллов: Аналогично, - среднее значение первичных баллов заданий В рассматриваемом примере имеем: .
6. Расчет дисперсии тестовых баллов Дисперсия (вариация) тестовых баллов характеризует меру рассеивания индивидуальных баллов вокруг среднего значения x ср: или Как следует из формулы, дисперсия выражается в квадратных единицах. Чтобы этого избежать, в качестве меры рассеивания берут среднее квадратическое отклонение – квадратный корень из дисперсии: В нашем примере: Дисперсия играет важную роль в оценке качества теста при нормативно-ориентированной интерпретации. Слабая вариация результатов испытуемых говорит о низком качестве теста, т. к. указывает на низкую дифференциацию испытуемых по уровню подготовки. Излишне высокая дисперсия, характерная для случая, когда все испытуемые отличаются по числу выполненных заданий, также требует переработки теста. Превышение разумных пределов дисперсии приводит к искажению вида распределения, которое начинает существенно отличаться от планируемой теоретической нормальной кривой.
7. Проверка гипотезы о нормальности распределения тестовых баллов. В хорошо сбалансированном по трудности тесте распределение индивидуальных баллов имеет вид нормальной кривой. Нормальное распределение характеризуется тем, что крайние значения признака в нем встречаются достаточно редко, а значения, близкие к средней величине достаточно часто. Наиболее удобна на практике нормированная нормальная кривая со средним значением и стандартным отклонением Такая кривая называется единичной кривой (т. к. площадь под кривой равняется 1) (см. график на рис. 2). Для совмещения любой нормальной кривой с единичной достаточно выполнить преобразование исходных баллов по формуле:
n n n Отметим некоторые свойства нормального распределения: 1) 68 % площади под кривой лежит в пределах одного стандартного отклонения, откладываемого влево и вправо от среднего значения (т. е. ); 2) 95 % площади под кривой лежит в пределах двух стандартных отклонений, откладываемых влево и вправо от среднего значения ( ); 3) 99, 7 % площади под кривой лежит в пределах трех стандартных отклонений, откладываемых влево и вправо от среднего значения ( ). В профессионально разработанных нормативно-ориентированных тестах типичным является результат, когда приблизительно 70% учеников выполняют правильно от 30 до 70 % заданий теста, а наиболее часто встречается результат в 50 %. Эта логика согласуется с идеей нормального распределения тестовых баллов. Отметим, что оптимальное распределение трудностей заданий теста тоже имеет вид нормальной кривой. Нормальность распределения можно проверить путем расчета показателей асимметрии и эксцесса и сопоставления их с критическими значениями.
Асимметрия оценивает степень отклонения распределения от симметричного распределения, характерного для нормальной кривой. Наличие асимметрии можно установить визуально, анализируя гистограмму. Однако, более тщательный анализ подразумевает использование статистических характеристик Показатель асимметрии (А) вычисляется по формуле: Рассчитаем показатель асимметрии для теста, матрица ответов которого представлена в таблице 1: Для нормального распределения характерна нулевая асимметрия: А=0. Если А>0, то основная часть значений индивидуальных баллов больше среднего значения что обычно характерно для излишне легких тестов. И наоборот, отрицательная асимметрия (А<0) встречается в излишне трудных тестах, не сбалансированных правильно по трудности при отборе заданий в тест. На рис. 3 представлены кривые распределения с отрицательной, нулевой и положительной асимметрией (слева направо) соответственно.
Эксцесс дает представление о том, является ли распределение островершинным или плоским. Показатель эксцесса (Е) вычисляется по формуле: Для нормального распределения Е=0. Если кривая распределения – островершинная, то Е>0. Это бывает в тех случаях, когда какие-либо причины способствуют преимущественному появлению индивидуальных баллов, близких к среднему значению. Если же в распределении преобладают крайние значения, причем одновременно и более низкие, и более высокие, то кривая распределения будет плосковершинной и показатель эксцесса Е<0. На рис. 4 изображены кривые с положительным, нулевым и отрицательным эксцессом (слева направо) соответственно.
8. Коэффициент решаемости задания вычисляется по формуле: Очевидно, значение kj совпадает со значением pj - вероятности правильного ответа на j-ое задание теста, следовательно, Чем больше kj, тем легче данное задание, и, наоборот, чем меньше kj, тем оно труднее. Коэффициент решаемости 5 -го задания в рассматриваемом примере равен: Коэффициент решаемости удобно представлять в виде карты Шухарта, где по оси абсцисс откладываются номера заданий, а по оси ординат – соответствующие коэффициенты решаемости. На рис. 6 представлена карта Шухарта для рассматриваемого примера. Коэффициент решаемости задания ассоциируется с мерой его трудности. Оптимальное значение меры трудности для задания 0, 5, но в тесте должны присутствовать и легкие задания (коэффициент решаемости и сложные
карта Шухарта Однако, чаще под мерой трудности задания понимают qjвероятность неправильного ответа на j-ое задание теста. Очевидно, что pj+qj=1. Чем выше значение qj, чем ближе оно к 1, тем труднее задание. Величина dj=pj*qj представляет дисперсию тестового задания и характеризует разрешающую способность задания. Максимальное значение дисперсии dj=0. 25, оно же является и оптимальным.
9. Дифференцирующая способность задания При оценке качества заданий важно понять, существует ли тенденция, когда одни и те же ученики добиваются успеха в какой-либо паре заданий теста. Либо, наоборот, такой тенденции, указывающей на связь результатов, нет, и состав учеников, добивающихся успеха меняется при переходе от одного задания к другому. Другими словами, задание должно обладать способностью различать испытуемых с различным уровнем подготовки. Если на какое-либо задание теста отвечают все испытуемые, независимо от уровня их подготовки, то такое задание не дифференцирует сильных студентов от слабых. Аналогичная ситуация с заданием, на которое нет ни одного правильного ответа. Расчет показателя дифференцирующей способности задания. Этот показатель встречается в зарубежных изданиях. Пусть kj'- коэффициент решаемости j-го задания лучшей половиной тестируемых, kj'' - коэффициент решаемости j-го задания худшей половиной тестируемых. Тогда Иногда отбирают 27 % испытуемых, имеющих высокие баллы и 27 % испытуемых, имеющих низкие баллы. Очевидно, что Dj. Если задание правильно выполняет больше лучших, чем худших тестируемых, то Dj>0; в противном случае Dj<0. Если задание выполнит одинаковое количество лучших и худших, то Dj=0, задание не дифференцирует испытуемых. Обычно считается, что для заданий с коэффициентом решаемости коэффициент Dj должен быть не менее 0, 25. Для заданий с коэффициентом решаемости коэффициент Dj должен быть не менее 0, 15.
10. Надежность теста. n n Надежностью называется характеристика теста, отражающая точность тестовых результатов, а также их устойчивость к действию случайных факторов. Тест считается надежным, если он обеспечивает устойчивость результатов с минимальной ошибкой измерения. Следовательно, термин «надежность» имеет два значения: 1) тест считается надежным, если он обеспечивает высокую точность измерений 2) тест считается надежным, если он дает при повторном выполнении близкие результаты (при условии, что подготовка ученика не изменилась за время до повторного тестирования). Фактором, влияющим на надежность теста, является внутренняя согласованность теста, обеспечиваемая высокой однородностью содержания заданий при отборе их в тест. Точность тестовых оценок возрастает по мере повышения однородности (гомогенности) теста, когда содержание всех задания нацелено на измерение единственной характеристики ученика (например, уровня его подготовленности по предмету). В целом при создании теста следует стремиться к однородности, но в тех пределах, которые не нарушают правильность пропорций содержательных элементов. Можно показать, что надежность повышается с увеличением длины теста. В гипотетической ситуации, когда число заданий стремится к бесконечности, наблюдаемый балл приближается к истинному баллу при уменьшении ошибки измерения. Однако, с другой стороны по мере увеличения длины теста увеличивается утомляемость учеников и снижается мотивация к выполнению заданий теста, что в совокупности ведет к росту ошибки измерения. Поэтому при выборе оптимальной длины теста необходимо руководствоваться группой факторов, среди которых высокая дисперсия тестовых баллов, нормальный характер их распределения, форма используемых заданий , возраст учеников и т. д
Скачать презентацию ОСНОВЫ ТЕОРИИ РАЗРАБОТКИ ТЕСТОВ Педагогический тест
Основы теории разработки тестов.ppt