Лекция 6. Тема: Тестирование в диагностической, обучающей, контрольной и коррекционной деятельности учителя
План: 1. Современные тенденции к определению тестового инструментария и процедуры контроля. 2. Классификации тестов. 3. Классификации тестов по различным основаниям
1. Современные тенденции к определению тестового инструментария и процедуры контроля.
Для зарубежной образовательной практики в настоящее время характерно преобладание педагогических заданий в тестовой форме. Например, в Германии тесты используются для мониторинга качества образования в отдельных землях и по стране при соблюдении конфиденциальности. Во Франции стандартизированные тесты применяются для оценки качества образования в стране. Время проведения мониторинга образовательных достижений выбирают в начале учебного года для того, чтобы учителя могли организовать учебный процесс с учетом полученных результатов тестирования.
В Англии учащиеся в возрасте 7, 11 и 14 лет в мае месяце ежегодно выполняют национальные тесты, что является одним из элементов отчетности английской школы перед учащимися, их родителями и обществом. Стандартизированные тесты используются в школах США с целью управления образовательным процессом, совершенствования системы преподавания и обучения, мониторинга результатов школы, распределения учащихся по разноуровневым классам или курсам, для сертификации учащихся. -В последнее время в мире меняется отношение к тому, что педагогический тест призван выявлять. Специалисты в области педагогических измерений отмечают следующие основные изменения, происходящие в данной области:
переход от оценки результатов обучения к рассмотрению процесса обучения; от пассивного ответа на заданный вопрос к активному конструированию содержания ответа; от оценки отдельных, изолированных умений к интегрированной и междисциплинарной оценке; к пониманию «знающий» и «умеющий» как способный применять и использовать знания и умения; изменение формы оценки – переход от письменной проверки к аутентичной проверке: включение оценки индивидуальной динамики достижений; использование заданий с социально и личностно значимым контекстом; включение заданий с несколькими правильными ответами; изменение характера оценки – от единовременного измерения к портфолио (оценке работ, выполненных учащимися за определенное время); переход от одномерного к многомерному измерению – от оценки только одной составляющей образовательных достижений (например, только учебной, знаниевой) к одновременной оценке многоаспектной системы достижений и способностей; переход от оценки исключительно индивидуальных достижений учащихся к оценке достижения группы учащихся – оценка умений работать в коллективе; оценка результатов групповой работы.
2. Классификации тестов. Различают два подхода нормативноориентированный и критериальноориентированный к тестам.
В рамках нормативно-ориентированного подхода разрабатываются тесты для сравнения учеников по уровню учебных достижений. Сравнимость достигается путем сопоставления результата каждого учащегося с результатами других, выполнявших тот же самый тест. Сообразно двум подходам к интерпретации результатов тестирования выстраиваются два подхода к созданию педагогических тестов. Оба они перспективны и важны, имеют свою сферу применения, свои преимущества и недостатки.
При критериально-ориентированном подходе создаются тесты для сопоставления учебных достижений каждого ученика с плани руемым к усвоению объемом знаний, умений или навыков. В этом случае в качестве интерпретационной системы отсчета используется конкретная область содержания, а не та или иная выборка учеников. При этом упор делается на то, что может выполнить ученик и что он знает, а не на то, как он выглядит на фоне других.
3. Классификации тестов по различным основаниям.
1. По процедуре создания выделяют стандартизированные и нестандартизированные тесты. Стандартизируются процедура и условия проведения тестирования, способы обработки и интерпретации результатов, которые должны привести к созданию равных условий для испытуемых и минимизировать случайные ошибки и погрешности как на этапе проведения, так и на этапе обработки результатов и интерпретации данных. В образовании можно выделить ряд задач, которые могут быть решены нестандартизированными тестами. Для целей мониторинга необходимо использовать только стандартизированные тесты.
2. По степени однородности задач выделяют гомогенные и гетерогенные тесты. Предельно однородные по типу задания, целевой направленности, требуемому виду деятельности обследуемого или по структуре называют гомогенными, они имеют одну шкалу для оценки одного свойства или качества личности. Разнородные тесты – это гетерогенные тесты, имеющие несколько шкал, которые позволяют оценить разнообразные характеристики личности и включают задания, отличающиеся по характеру, содержанию.
- бланковые тесты ( «бумага и карандаш» ). Их в свою очередь можно разделить на два вида: 1) с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты; 2) с использованием бланков, в которых испытуемые отмечают или вписывают правильные ответы (фиксируют ответы). Бланки предъявляются отдельно от заданий: - предметные, в которых необходимо манипулировать материальными объектами, результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий; - аппаратурные – тесты с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления; - практические, появившиеся относительно недавно. Эти тесты сходны с известными у нас лабораторными работами (по химии, физике, биологии и пр. ), однако снабженные соответствующими инструкциями и имеющие тестовое оснащение; - компьютерные тесты. Нельзя сравнивать результаты тестирования, полученные на основе разных способов их предъявления.
4. По направленности развития и формирования человеческих качеств: – тесты интеллекта, выявляющие особенности последнего; – тесты общих умственных способностей, умственного развития; – тесты специальных способностей в различных областях деятельности; – тесты обученности, успеваемости, академических достижений; – тесты для определения отдельных качеств (черт) личности, личностные тесты (иногда называемые тестами темперамента), с помощью которых изучаются особенности личности испытуемого (память, мышление, характер, эмоции и др. ); – тесты для определения уровня воспитанности (сформированности общечеловеческих, социально нравственных, общеинтеллектуальных, общекультурных и других качеств); – тесты достижений. К тестам учебных достижений (обученности) предъявляют следующие требования: краткосрочными, чтобы не требовались большие затраты времени; однозначными, не допускающими произвольного толкования тестового задания; правильными, исключающими возможность формулирования многозначных ответов; краткими, требующими сжатых ответов; информационными, т. е. такими, которые обеспечивают возможность соотнесения количественной оценки за выполнение теста с порядковой или даже интервальной шкалами измерений; удобными, т. е. пригодными для быстрой математической обработки результатов; стандартными, пригодными для широкого практического использования – измерения уровня обученности возможно более широких групп учеников, овладевающих одинаковым объемом знаний на одном и том же уровне обучения.
5. По характеру действий. Вербальные (связанные с необходимостью произведения умственных действий – словесно логические тесты, вопросники на проверку знаний, установление закономерностей и пр. ). Данные тесты требуют сформированности навыков и наличия определенных знаний. Невербальные (практические), связанные с практическим манипулированием предметами – карточками, блоками, деталями. Невербальные тесты, по мнению многих английских педагогов, меньше зависят от школьной успеваемости, домашних условий воспитания, социального положения. При выполнении этих тестов учащийся должен анализировать, сравнивать, делать выводы на основе наборов картинок, диаграмм, предметов, фигур и т. д. С заданиями невербальных тестов нередко лучше справляются учащиеся с высоким уровнем интеллекта из семей с низким социальным статусом, отличающиеся плохим поведением, частыми нарушениями дисциплины и т. д.
6. По ведущей ориентации. Тесты скорости, содержащие простые задачи, время решения которых ограничено настолько, что ни один испытуемый не успевает решить все задачи в заданное время. Тесты мощности или результативности, включающие трудные задачи, время решения которых либо вовсе не ограничено, либо мягко лимитировано. Оценке подлежит успешность и способ решения задачи. Примером такого рода тестовых заданий могут быть задания для письменных итоговых экзаменов за курс школы. Смешанные тесты, которые объединяют в себе черты двух вышеперечисленных. В таких тестах представлены задачи различного уровня сложности. Время испытания в данном случае ограничено, но достаточное для решения предлагаемых задач большинством обследуемых. Оценкой в данном случае служат как скорость выполнения заданий (количество выполненных заданий), так и правильность решения. Эти тесты наиболее часто применяются на практике, и именно к ним относится большинство тестов учебных достижений, которые можно использовать для нужд мониторинга.
4. Классификация тестовых заданий (заданий в тестовой форме)
Тестовые задания подразделяются по типам, формам: типы: открытые, закрытые; формы: дополнения, свободного изложения, альтернативных ответов, множественного выбора, восстановления соответствия, восстановления последовательности;
Тест представляет собой систему заданий, которые принято называть тестовыми заданиями. Тестовое задание направлено на проверку определенного элемента содержания и должно отвечать ряду требований. Структура тестового задания следующая: стандартная инструкция по выполнению задания; основное содержание задания, где формулируется проблема, вопрос, задача, которые должен решить испытуемый; эталонный ответ и правила для оценки его выполнения.
Задания закрытого типа с выбором правильных ответов предполагают выбор правильного ответа из предложенных вариантов. Задание такой формы состоит из инструкции, основной части и вариантов ответов. Инструкция для такой формы заданий рекомендует, что должен сделать испытуемый для правильного выполнения задания. Например, ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА. В КИМах ЕГЭ дается следующая инструкция, которая приводится перед целым блоком заданий такого типа: При выполнении заданий этой части укажите в бланке ответов цифру, которая обозначает выбранный Вами ответ, поставив знак «Х» в соответствующей клеточке бланка для каждого задания.
Требования к заданиям с выбором ответов Разработчики, создавая задания с выбором ответов, должны учитывать ряд требований, которые выработались в результате тестологической теории и практики. 1. Инструкция, основной текст задания и варианты ответов должны быть хорошо понятны испытуемыми. 2. Текст задания должен формулироваться четко, по возможности кратко, а также быть свободен от двусмысленности. 3. В основной текст задания включается максимальное количество информации, относящейся к проблеме. В вариантах ответов не используются повторяющиеся слова и выражения, они помещаются в основной текст задания. 4. Основной текст задания и ответы формулируются с соблюдением правил грамматики и должны сочетаться между собой грамматически. 5. В тексте задания исключается двойное отрицание. Среди вариантов ответа должен существовать только один правильный или наиболее правильный ответ. Варианты ответов должны быть краткими, иметь примерно одинаковую длину. В ответах не рекомендуется употреблять слова «все» , «ни одного» , «никогда» , «всегда» и выражения «все перечисленные» , «ни один из перечисленных» , так как они могут способствовать угадыванию правильного ответа. Дистракторы должны быть одинаково привлекательны для испытуемых, не знающих правильного ответа. Дистракторы одного задания должны быть связаны с содержанием тестируемого раздела. Тестовое задание составляется таким образом, чтобы ни его основной текст, ни варианты ответов не являлись ключом для других заданий. При составлении группы заданий, относящихся к одному тексту, графику, схеме, необходимо обеспечить независимость заданий друг от друга, чтобы правильность выполнения одного задания, не зависела от правильности выполнения другого. Не рекомендуется включать задания, выполнение которых основывается на субъективном мнении испытуемого. Разновидностью заданий закрытого типа считаются задания альтернативных ответов (задания с двумя ответами). В таком задании только два варианта ответов (да-нет, правильно-неправильно). При составлении такого задания формулировать основной текст надо таким образом, чтобы не возникало возможности двусмысленного ответа (и «да» , и «нет» ). Например Задание: Квадратное уравнение с отрицательным дискриминантом не имеет действительных корней а) да
Задания на установление соответствия – это такие задания, когда испытуемый должен определить соответствия между элементами двух множеств. Задания на установление соответствия используются для проверки классификационных, систематических и фактических знаний, то есть понимание связей между различными предметами, явлениями, законами, формулами, классами и др. Инструкция к таким заданиям имеет вид: УСТАНОВИТЕ СООТВЕТСТВИЕ. Далее предлагается два множества, в виде списков элементов. Слева – элементы задающего множества (постановка проблемы), которые кодируются с помощью цифр, справа – элементы, которые надо выбрать по принципу соответствия, кодируются буквами русского алфавита.
Задания на установление правильной последовательности Тестовые задания этой формы предназначены для проверки знаний последовательности определенных действий, процессов, алгоритмов выполнения, последовательности событий во времени и др. Задание предполагает, что испытуемый должен установить правильный порядок предложенных элементов: действий, событий и др. , связанных определенной задачей. Порядок указывается с помощью цифр в специально отведенном месте. Инструкция к заданию на установление правильной последовательности имеют следующий вид: УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ
Задания открытого типа Отличительной особенностью заданий открытого типа является то, что в процессе их выполнения испытуемый сам записывает правильный ответ (слово, выражение, число, формулу и т. д. ). Различают две формы заданий открытого типа: задания на дополнение и задания со свободно конструируемыми ответами (задания свободным развернутым ответом).
Стандартизация теста Стандартизация – комплекс процедур, позволяющий создать для всех испытуемых равные условия. Стандартизация включает ряд требований по организации тестирования: ни одному испытуемому не дается никаких преимуществ перед другими; группа тестируемых выровнена по мотивации; тестирование различных групп испытуемых занимает одинаковое время и проводится в равных условиях; содержание теста должно соответствовать требованиям стандартов образования; все испытуемые выполняют одни и те же задания (подобные, параллельные формы заданий); в тест включены задания одной формы либо разных форм с соответствующими весовыми коэффициентами, значения которых получены статистическим путем; заранее разработанная система подсчета баллов применяется ко всем ответам испытуемых без исключения.
Чтобы соблюдались условия стандартизации, тест сопровождается руководством, в котором заключена следующая информация для пользователя: назначение и содержание; показания для применения и ограничения; состав теста; информация об апробации теста (цели апробации, объем и состав выборки, основные статистические характеристики); инструкция по процедуре проведения тестирования; ключи; данные о трудности и дискриминативности заданий; данные о надежности и валидности теста; другие статистические материалы; правила (инструкция) для обработки данных; устройство шкалы; правила и особенности интерпретации результатов.
Сбор и статистическая обработка результатов тестирования Статистическая обработка полученных данных тестирования (результатов испытуемых) позволяет определить количественные характеристики тестовых заданий и всего теста, что позволяет использовать тест как научно обоснованный, объективный инструмент педагогических измерений. Статистическая обработка результатов тестирования проводится с помощью программного обеспечения. Для удобства обработки тестовых данных результаты заносятся в специальную таблицу – матрицу тестовых результатов. При дихотомической системе оценивания: один балл за правильный ответ, ноль баллов – за неправильный ответ или пропуск задания. Пусть x – результат выполнения i тым испытуемым j-того задания, тогда x=1, если ответ на задание правильный и x= 0, если ответ неправильный.
Надежность – это характеристика теста, отражающая точность педагогического измерения, а также устойчивость результатов тестирования к воздействию посторонних (случайных) факторов. Статистическая оценка надежности теста предполагает учет ошибки измерения. По классической теории тестов наблюдаемый балл (X) включает в себя истинный балл (T) испытуемого и некоторую ошибку измерения (E). Формула наблюдаемого балла будет выглядеть следующим образом: X=T+E Истинный балл определяется как показатель испытуемого в гипотетической генеральной совокупности заданий бесконечного теста. Ошибка измерения – статистическая величина, отражающая степень отклонения наблюдаемого балла от истинного балла испытуемого. Дисперсия (мера рассеивания, отклонения от среднего) наблюдаемых тестовых баллов будет равна сумме дисперсий истинных и ошибочных составляющих . Соответственно, чем ближе показатель дисперсии наблюдаемых баллов к дисперсии баллов истинных, тем выше корреляция между множеством наблюдаемых баллов (Х) и множеством истинных баллов (Т), т. е. тест надежнее. Поэтому надежность теста (коэффициент надежности теста rн) определяется через отношение дисперсии истинного балла к дисперсии наблюдаемого тестового балла. . Стандартная ошибка измерения находится как корень квадратный из дисперсии ошибочной компоненты.
Способы повышения надежности теста Увеличение количества заданий теста. Согласно классической теории тестов наблюдаемый балл состоит из истинного балла и ошибочной компоненты. Теоретически, чтобы уменьшить ошибку, надо дать как можно больше заданий. Существуют специальные методики определения оптимальной длины теста для достижения необходимой надежности. Но на практике не всегда возможно и целесообразно удлинение теста. Проанализировать тестовые задания с точки зрения соответствия формы и содержания тестовой теории. Удалить неудачные задания, подкорректировать задания с некоторыми неточностями. Применение методов, учитывающих вероятность угадывания в заданиях закрытого типа.
Валидность еще одна важная характеристика теста, определяющая его качество. Валидность (от англ. Validity – значимость, обоснованность, пригодность) – это способность теста измерять то, для чего он предназначен. Выделяют несколько видов валидности, которые отражают различные аспекты этого критерия качества теста: содержательную, критериальную и конструктную (концептуальную) валидность.
Методы шкалирования Процесс шкалирования состоит в конструировании шкалы по определенным правилам и включает в себя два этапа. На первом этапе осуществляется сбор данных. На втором этапе происходит их обработка и анализ, по результатам которого выстраивается оценочная шкала. Для определения положения тестируемого относительно выборки стандартизации набранные им «сырые» баллы переводят в некоторую относительную меру. По возможности следует перейти от порядковой к интервальной шкале, допускающей некоторое упорядочивание с учетом различий в уровне подготовки тестируемых путем введения фиксированной единицы измерения. Полученные преобразованные показатели позволят сравнить результаты учащихся, полученные по разным тестам, и определить место учащегося относительно других в нормативной выборке
Психолого-педагогическая поддержка обучающихся в процессе тестирования Важно выделить некоторые наиболее значимые психологические характеристики личности, которые требуются в процессе проведения тестового контроля образовательных достижений: высокая мобильность, переключаемость; высокий уровень организации деятельности; высокая и устойчивая работоспособность; высокий уровень концентрации внимания, произвольности; четкость и структурированность мышления; сформированность внутреннего плана действий. Таким образом, сама процедура проведения тестирования объективно связана с наличием внутриличностного напряжения, что может вызывать у учеников ряд трудностей психологического характера. Об этих трудностях необходимо знать самому учителю и важно донести эту информацию до учеников.
Индивидуальные особенности учащихся и тестовый контроль Помимо знания общих психологических трудностей при организации тестирования необходимо учитывать индивидуальные особенности ребенка, связанные со спецификой мышления, памяти, внимания, учебной мотивации и т. д. Для описания возможных путей оказания психолого педагогической поддержки школьникам выделяют отдельные группы (типы) учащихся, которым в большинстве случаев может потребоваться помощь.
Правополушарные дети. Дети с доминирующим правополушарным мышлением лучше запоминают невербальные зрительно пространственные сведения, у них богатое воображение и развитая интуиция. Такие дети часто отдают предпочтение гуманитарным дисциплинам. Для них понятны метафоры, сравнения, но им сложно оперировать логическими категориями и запоминать абстрактные теоретические знания. Именно поэтому в ситуации тестирования у них возникают затруднения, связанные с необходимостью отвлечения от эмоционально образной составляющей учебного материала, применения структурированного логического мышления, сосредоточения на фактах и концептуальных построениях.
Тревожные дети. Эта группа детей легко различима в среде сверстников своей застенчивостью, робостью, ранимостью и обидчивостью. Они стесняются явно выражать свои эмоции, боятся обращать на себя внимание, но в то же время ситуация тестирования воспринимается ими как опасная, вызывает огромное напряжение. Эти дети часто перепроверяют уже сделанное, исправляют ответы. Отмечаются бессознательные телесные проявления – грызут ручки, теребят пальцы или волосы.
Дети, испытывающие недостаток произвольности и самоорганизации. Учителям часто приходится сталкиваться с детьми, которые не могут слишком долго сосредоточиваться на предлагаемой деятельности. О таких детях делается заключение – «невнимательные» , «рассеянные» . Такие дети отличаются неустойчивой работоспособностью, колебаниями темпа деятельности, легкостью переключения и отвлечения внимания. Понятно, что ситуация тестирования, требующая высокой организованности, будет для этих детей сложной. Подчеркнем: даже при высоком уровне познавательного развития и вполне достаточном объеме знаний эти дети могут нерационально использовать время.
Астеничные дети. Астеники испытывают трудности в обучении из за малой эффективности и неуспешности в деятельности. Такое положение дел на фоне повышенной чувствительности нервной системы приводит к складыванию негативного самоотношения.
Гипертимные дети (дети с повышенной психологической активностью). Дети с гипертимной акцентуацией характера отличаются повышенной психической активностью. Они импульсивны и несдержанны. Они могут выполнять тестовые задания очень быстро, перекрывая большой объем работы, но при этом мало внимания уделяют точности и качеству выполнения. Этим детям очень трудно возвращаться к уже пройденной информации, а потому они часто пренебрегают этапом проверки собственных ответов. Сильная сторона этих детей – высокая мобильность и переключаемость, но без специфической психолого педагогической поддержки на общий результат тестирования могут повлиять именно их недостатки: отсутствие собранности, тщательности, аккуратности. Необходимо обратить внимание на еще одно свойство, достаточно характерное для этой категории детей, – сниженная учебная мотивация, индифферентность к учебным достижениям. Именно поэтому стратегия работы с гипертимными детьми выстраивается в двух направлениях: развитие у них функции контроля, навыков самопроверки, а также стимулирование учебной мотивации.
Спасибо за внимание!!!
Скачать презентацию Лекция 6 Тема Тестирование в диагностической обучающей контрольной
Лекция 6 тестир 2 Шмидт.pptx