Теория и практика педагогического тестирования Современные подходы Автор

Теория и практика педагогического тестирования. Современные подходы Автор: Карданова Елена Юрьевна e_kardanova@mail. ru Центр повышения квалификации ГУ-ВШЭ 2010

Программа курса • • • Основы теории педагогических измерений Этапы разработки педагогического теста Содержание теста Формы тестовых заданий Обоснование качества теста в рамках классической теории тестирования Обоснование качества теста в рамках современной теории тестирования IRT Шкалирование и интерпретация результатов тестирования Компьютерное тестирование Практические вопросы разработки тестовых материалов

Оценка в образовании Peter W. Airasian “Classroom Assessment: Concepts and Applications” Главная цель оценки в образовании – получение информации для принятия эффективных решений Основные задачи оценки: • • • планировать дальнейшее обучение ранжировать учащихся, поделить их на группы обеспечить обратную связь повысить у учащихся мотивацию к учебе диагностировать проблемы учащихся оценить академические успехи учащихся (выставить оценки)

Уровни использования результатов оценки • национальный и региональный уровень (получение объективной информации о функционировании системы образования; проверка выполнения требований стандартов и т. д. ) • уровень образовательного учреждения (мониторинг; аттестация педагогов; принятие решений об использовании различных программ обучения; своевременное обнаружение проблем в обучении; подготовка к аттестации и/или аккредитации и т. д. ) • уровень педагога (отслеживание прогресса учащихся; повышение мотивации; выявление пробелов в знаниях; обеспечение обратной связи; ранжирование учащихся; выставление оценок и т. д. )

Standards for Teacher Competence in Educational Assessment of Students (1990) • American Federation of Teachers • National Council of Measurement in Education • National Education Association

Учителя должны быть компетентными в следующих областях: • выбор подходящего метода оценки • модификация готовых и разработка собственных инструментов оценки • проведение оценки и интерпретация результатов • использование результатов оценки для принятия решений • оценивание учащихся по результатам оценки • сообщение результатов оценки студентам, администрации и другим заинтересованным лицам • способность распознавания неэтичных, незаконных и других неподходящих оценочных методов

Некоторые англоязычные термины • Assessment (оценивание) – процесс сбора, анализа и интерпретации информации с целью принятия каких-либо решений • Test (тест в широком смысле) – формальная, систематическая, обычно в письменной форме, процедура сбора оценочной информации • Measurement (измерение) – процесс установления соответствия между оцениваемыми характеристиками и точками числовой оси (шкалы) • Evaluation (критериальное оценивание) – процесс принятия экспертных решений о качестве подготовки учащихся, возможных действиях и т. д

Основные типы оценки в образовании • Первичная (поверхностная) оценка – делается педагогами в начале обучения (или даже перед началом) с целью – получить представление о будущих учениках • Оценка в процессе обучения – используется, чтобы планировать и проводить обучение, диагностировать проблемы и т. д. Проводится постоянно в течение учебного года • Официальная оценка – используется для оценивания академических успехов учащихся, принятия каких-либо официальных решений и т. д. Проводится периодически (в зависимости от цели)

Оценка любого типа может быть • формальной - планируемой заранее (например, итоговое тестирование) • неформальной - незапланированной (например, наблюдение за поведением учащихся во время перерыва)

Классификация оценочных процедур по методу сбора информации • письменные методы (контрольные работы, тесты, эссе, отчеты по лабораторным работам, курсовые работы и т. д. ) • - наблюдения (включают наблюдения за учащимися, выполняющими какую-либо работу (наблюдение процесса) и оценивание конечного результата работы (наблюдение продукта) • - устные опросы (устные ответы учащихся и во время обучения, и на экзаменах, интервью и т. д. )

Классификация оценочных процедур по степени стандартизации • Стандартизированная оценка – это процедура оценивания, которая предназначена для большой выборки учащихся. Стандартизованная оценка подразумевает - стандартизацию процедуры проведения оценивания - стандартизацию процедуры выставления тестовых баллов и интерпретации результатов • - Нестандартизированная оценка – это процедура оценивания, которая используется педагогом в своей практике (для конкретных групп учащихся, в одном месте, в одно время)

Классификация оценочных процедур по цели и сфере использования результатов • формирующие оценки (formative assessment) – как правило, неформальные, неофициальные, нестандартизированные, имеющие целью дать педагогу информацию для принятия повседневных решений о проблемах учащихся и планирования дальнейшего обучения • итоговые оценки (summative assessment) – как правило, формальные, официальные, стандартизированные (но не обязательно), имеющие целью оценить результаты обучения

Классификация оценочных процедур по форме проведения • индивидуальная оценка (может быть формальной и неформальной) • групповая оценка (может быть стандартизированной или нестандартизированной)

Характеристики оценки • Валидность – характеристика пригодности оценочной информации для принятия правильных решений на ее основе • Надежность – характеристика точности и устойчивости результатов оценки

Современные тенденции в оценке результатов обучения H. Wood “Assessment, not testing: the issues for key stages 1 and 2” (British Journal of Curriculum and Assessment, 3, 1993) Измерения в образовании должны оценивать индивидуальные достижения учащихся по отношению к самому себе, а не к другим учащимся, они должны быть направлены больше на помощь ученику в обучении, чем на выставление отметок, в большей степени оценивать компетентность, а не интеллектуальное развитие.

Основные тенденции развития систем оценки результатов обучения Herman J. L. A practical guide to alternative assessment (Association for Supervision and Curriculum Development, 1992) Переход к новому пониманию оценки Изменение формы оценки Изменение характера оценки Переход от одномерного к многомерному измерению • Переход от оценки исключительно индивидуальных достижений учащихся к оценке достижения группы учащихся • •

Изменение инструментария и процедуры оценки • Современный тест, разработанный в соответствии со всеми требованиями теории педагогических измерений, может включать задания различных типов (например, эссе или сочинения), а также задания, оценивающие различные виды деятельности учащихся (например, коммуникативные умения, практические умения) • Тестовые процедуры (тестирование /testing/) в традиционном понимании стали заменять на assessment (оценка, проверка, контроль).

Тесты и их роль в системе методов педагогических измерений • Педагогический тест - это инструмент, измеряющий у учащихся уровень их овладения знаниями и умениями в результате обучения

Тесты как метод оценки: • обеспечивают измерения • служат всем целям оценки • по типу оценки являются либо оценкой во время обучения, либо официальной оценкой • используют письменные методы сбора информации (иногда компьютерные) • являются формальной оценкой, планируемой заранее • как правило, это стандартизированная оценка (с различной степенью стандартизации в зависимости от цели оценки и сферы ее использования) • могут быть и формирующей, и итоговой оценкой • по форме проведения, как правило, это групповая оценка • качественный тест валиден и надежен

Виды тестов • Стандартизированные тесты - используются в основном для итогового контроля или экзаменов, по результатам которых принимаются важные решения • Авторские тесты - разработанные учителями или специалистамипредметниками, но не отвечающие всем требованиям, предъявляемым к стандартизированным тестам

Отличия тестов (стандартизированных) от других методов оценки • тесты разрабатываются в строгом соответствии с теорией тестов (классической или современной) • тесты имеют устойчивые статистические характеристики для выборки учащихся, для оценки достижений которых они разрабатывались • процедура тестирования стандартизирована (т. е. выполнение тестов, проверка, обработка и интерпретация их результатов проводится по единым правилам) • тесты ориентированы не на констатацию наличия у учащихся отдельных усвоенных знаний или умений (хотя данная информация может быть получена по результатам выполнения тестов), а на определение уровня усвоения определенной совокупности учебного материала

Основные преимущества стандартизированных тестов • Научная обоснованность (в частности, существование документации) • Технологичность тестовых методов (использование компьютеров, эффективность, использование в различных целях, в том числе для самообразования, скорость сбора информации и т. д. ) • Возможность оценить точность измерений • Наличие единых для всех испытуемых условий проведения педагогического контроля и единой системы оценивания

Крупнейшие научные центры в области педагогических измерений • Служба тестирования в образовании (ETS), США • Национальный фонд исследований в области образования (NFER) , Англия • Институт педагогических измерений (CITO), Нидерланды • Институт педагогических исследований, Даниии • Австралийский центр исследований в области образования (ACER)

Некоторые направления научных исследований в области современной теории тестирования: • выравнивание результатов, полученных по различным вариантам теста и, возможно, в разное время (Test Equating) • назначение проходного балла и наложение пятибалльной (или любой другой) шкалы на шкалу тестовых баллов (Standard Setting) • обнаружение искажений в измерении участников тестирования и, в частности, обнаружение недостоверных результатов тестирования (Detecting Disturbances) • анализ деятельности экспертов, оценивающих выполнение заданий (Judges’ Behavior Analysis) • различное функционирование заданий по отношению к различным группам испытуемых (Differential Items Functioning)

Основные подходы в оценке образовательных достижений • критериально-ориентированный, позволяющий оценить насколько учащиеся достигли заданного уровня знаний, умений и отношений, например, определенного как обязательный результат обучения (образовательный стандарт) • ориентированный на индивидуальные нормы конкретного ученика, реального уровня его развития в данный момент времени • нормативно-ориентированный, ориентированный на статистические нормы, определяемые для данной совокупности учащихся

Образовательные стандарты и оценка их достижения • В англоязычной педагогической литературе под термином “standards” понимается “степень или уровень требований, уровень совершенства или уровень достижений”

Виды стандартов • Минимальные стандарты - это уровень, который должны достичь все, заканчивающие данный курс или программу обучения, т. е. - это та граница, которая разделяет разные уровни достижений учащихся, соответствующие освоению или не освоению курса. • Относительные стандарты всегда определяются относительно группы испытуемых, для которых предназначен тест • Абсолютные стандарты устанавливают (описывают в содержательно-деятельностной форме) то, что учащиеся должны знать или уметь в конце обучения по определенной программе

Система оценки минимальной компетентности учащихся (США) • Оценивают не образовательные достижения вообще, а компетентность учащегося в контексте принятия решения (на основе результатов тестирования) о дальнейшем пути испытуемого • Разрабатываются как критериально-ориентированные для проверки достигнутых образовательных целей или требований к уровню подготовки учащихся • Проходной балл, стандарт достижения показывает, что ученики, получившие балл ниже проходного, не овладели необходимыми умениями, т. е. необходимым уровнем компетентности

Требования к тестам минимальной компетентности и сфере их использования • На этапе планирования теста разрабатывается спецификация, понятно сформулированная и доступная для всех заинтересованных лиц, в которой подробно описываются структура теста и все проверяемые умения. • Тест должен оценивать умения, значимые для дальнейшей жизни испытуемых, включая и когнитивные умения. Получение положительной оценки за выполнение теста должно быть социально значимо • Стандарты достижения должны быть определены и сформулированы в терминах школьных программ • Проверяемые компетентности и задания теста не должны дискриминировать ни одну из групп обучающихся • “Минимум” должен разделять учащихся по уровню подготовки • В связи с тем, что не бывает идеальных тестов, окончательные решения о судьбе обучающихся не должны приниматься только на основе результатов выполнения тестов. Необходимо учитывать и другие оценки, полученные в течение года, мнения учителей и др.

Критика тестов минимальной компетентности • Несоответствие тестов проверяемой программе • Установление ненадежного проходного балла • Влияние содержания тестов на программы обучения • Уменьшение внимания талантливым детям • Узконаправленное обучение на формирование основных умений, проверяемых в рамках тестов • Обеспечение секретности содержания тестов, особенно в случаях повторного тестирования

Основные понятия теории педагогических измерений • Педагогические измерения – это процесс установления соответствия между оцениваемыми характеристиками обучаемых и точками числовой шкалы. При педагогическом измерении в качестве характеристик обучаемых обычно выступают знания и умения, освоенные учениками на момент измерения. Роль единицы измерения играют тестовые задания, объектом измерения являются сами ученики, а результатом измерения – шкала баллов тестируемых учеников • Теория тестов (тестология) – краткое название прикладной науки о разработке тестов • Цель теории тестов – разработка тестов, как части методов педагогических измерений, с помощью которых можно получать качественные результаты и сделать обоснованные выводы об уровне и структуре подготовленности учащихся

Основные понятия теории педагогических измерений • Тестирование – это специально разработанная, научно обоснованная и оптимизированная процедура, позволяющая максимально объективно оценивать уровень достижений учащихся и выражать этот уровень количественно в форме числа (чисел) • Педагогический тест – это система заданий специфической формы, определенного содержания, упорядоченных в рамках определенной стратегии предъявления, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков по учебной дисциплине • Задание в тестовой форме – это единица контрольного материала, содержание, логическая структура и форма представления которого удовлетворяют ряду специфических требований

Общие требования к заданиям в тестовой форме • наличие стандартной инструкции и ее одинаковость для всех испытуемых • адекватность инструкции форме и содержанию задания • расположение элементов задания и инструкции на определенных местах, фиксированных в рамках выбранной формы • наличие эталона правильного ответа к заданию и правила оценки результатов его выполнения • правильность выбора формы задания • наличие определенного места для ответов • краткость

Основные понятия теории педагогических измерений • Тестовое задание - задание в тестовой форме, прошедшее экспертизу и апробацию, и при условии, что качественные и количественные оценки его характеристик удовлетворяют определенным критериям, нацеленным на проверку качества содержания, формы и на выявление системообразующих свойств заданий теста

Этапы разработки педагогического теста I. Планирование теста • Определение цели тестирования • Выбор вида теста и подхода к его созданию • Определение условий проведения тестирования, включая время тестирования • Примерное определение числа заданий в тесте и числа вариантов • Выявление ресурсов и затрат на разработку всего теста II. Анализ содержания учебной дисциплины • Операционализация целей тестирования • Планирование содержания теста • Разработка примерного плана теста

Этапы разработки педагогического теста III. Разработка спецификации теста • Определение структуры теста и стратегии расположения заданий • Априорный выбор длины теста и времени его выполнения • Разработка спецификации теста IV. Разработка заданий в тестовой форме • Создание заданий в тестовой форме • Экспертиза содержания тестовых заданий и теста в целом • Экспертиза формы тестовых заданий • Переработка заданий по результатам экспертизы • Клиническая апробация заданий и анализ характеристик заданий • Переработка заданий по результатам клинической апробации • Отбор заданий в тест и их ранжирование согласно выбранной стратегии расположения в тесте

Этапы разработки педагогического теста V. Апробационное тестирование • Разработка методики апробационного тестирования • Разработка инструкций для участников и для преподавателей, проводящих апробацию теста • Проведение апробационного тестирования • Сбор эмпирических результатов • Статистическая обработка результатов выполнения теста • Интерпретация результатов обработки, проверка соответствия характеристик теста научно-обоснованным критериям качества • Переработка заданий по результатам апробации; в случае необходимости разработка новых заданий • Оптимизация длины теста и времени его выполнения на основании результатов апробации. Оптимизация расположения заданий в тесте. Оптимизация схемы оценивания заданий • В случае необходимости (значительных изменений в тесте) повторная апробация

Этапы разработки педагогического теста VI. Конструирование теста Отбор заданий, прошедших апробацию Выравнивание вариантов Разработка инструкций для участников тестирования Определение проходного балла (если требуется) и/или установление норм • Разработка методики шкалирования результатов тестирования • Апробация теста с целью проверки параллельности вариантов (если не планируется выравнивание), валидности проходного балла, функционирования шкалы тестовых баллов VII. Подготовка пакета документов для проведения тестирования • •

Цикл жизни задания (ЦЖЗ) • • • • Разработка задания автором Экспертиза задания другими авторами Принятие решения о доработке или о допуске задания к дальнейшей апробации Доработка задания после экспертизы в случае принятия соответствующего решения Проведение клинической (качественной) апробации (качественное исследование свойств задания на малой выборке) Принятие решения о доработке или о допуске задания к дальнейшей апробации Доработка задания после клинической апробации в случае принятия соответствующего решения Включение задания в тест для проведения апробации, компоновка теста Проведение апробации (количественной) на значительном массиве участников Первичное оценивание заданий после апробации Обработка результатов апробационного тестирования: вычисление статистических характеристик заданий, интерпретация результатов, исследование качества заданий и первичный анализ всего теста Принятие решения о включении задания в окончательный инструмент, об оставлении в резерве или об отправке на доработку Включение задания в итоговый тест или хранение его в банке заданий

Перечень ролей при разработке заданий и всего инструмента в целом • Автор задания. Обязанности: – – – Разработка текста задания (п. 1 ЦЖЗ) Передача текста задания методисту для проведения апробации Авторская экспертиза (вычитка) заданий других авторов (п. 2 ЦЖЗ) Присутствие на клинической апробации (п. 4 ЦЖЗ) Доработка задания (внесение необходимых корректировок в текст задания по результатам экспертизы и/или апробации (п. 4 и п. 7 ЦЖЗ) • Методист (составитель тестов). Обязанности: – Сбор текстов заданий с авторов – Проведение клинической апробации (п. 4 ЦЖЗ) – Передача результатов клинической (качественной) апробации авторам – Компоновка заданий в тесты для проведения количественной апробации (п. 8 ЦЖЗ)

Перечень ролей при разработке заданий и всего инструмента в целом • Методист (проводящий апробацию). Обязанности: - Проведение количественной апробации (п. 9 ЦЖЗ) - Первичное оценивание заданий и подготовка данных к отправке статистикам (п. 10 ЦЖЗ) - Передача результатов количественной апробации статистикамтестологам - Передача результатов количественной апробации авторам - Передача заданий, успешно прошедших все стадии апробации, администратору банка заданий - Запрос у администратора банка заданий тестовых заданий с необходимыми свойствами - Конструирование непосредственно тестов

Перечень ролей при разработке заданий и всего инструмента в целом • Статистик-тестолог. Обязанности: – Обработка данных количественной апробации (п. 11 ЦЖЗ) – Интерпретация результатов обработки – Анализ заданий и тестов в целом с точки зрения валидности и надежности – Выработка рекомендаций авторам заданий – Передача результатов количественной апробации методисту • Администратор банка заданий. Обязанности: – Учет заданий (где, когда и как использовалось то или иное задание) – Получение заданий от методиста и последующее хранение (п. 13 ЦЖЗ) – Выдача по запросу методиста набора заданий с определенными свойствами

Классификация тестов Gronlund N. E. How to Construct Achievement Test (1998) В зависимости от характера задач, решаемых преподавателем с помощью тестов в процессе обучения, тесты делятся на - Входные - Текущие - Итоговые

Задачи тестов и подходы к их разработке • Входное тестирование: - для выявления степени владения базовыми знаниями, умениями, навыками с целью получения информации о готовности обучаемых к освоению данного курса (КРОТ) - для определения степени владения новым материалом до начала его изучения (НОРТ) • Текущее тестирование: формирующие тесты для решения текущих задач процесса обучения (и НОРТ, и КРОТ) • Итоговое тестирование: обеспечение объективной оценки результатов обучения по завершению некоторого курса (и НОРТ, и КРОТ или их объединение)

Два вида критериально-ориентированных тестов • Тесты, ориентированные на область содержания (domain-referenced tests) - предназначены для оценки доли от полного объема учебного материала, которую усвоил испытуемый • Квалификационные тесты (mastery tests) - предназначены для классификации испытуемых, разделения их на группы на основании заранее выбранного критерия

Виды тестов в зависимости от содержания • Гомогенный тест- тест на основе содержания одной дисциплины • Гетерогенный тест – тест на основе содержания разных дисциплин: - Полидисциплинарные тесты (состоят из гомогенных субтестов по отдельным учебным дисциплинам) - Междисциплинарные тесты

Содержание тестовых заданий и теста • Содержание теста - оптимальное отображение содержания учебной дисциплины в системе тестовых заданий • То, насколько оптимально отобрано содержание, характеризуется так называемой содержательной валидностью теста • Анализ и отбор содержания – компетенция преподавателей-разработчиков теста

Общие принципы отбора содержания теста (Аванесов В. С. Композиция тестовых заданий) • Значимость • Научная достоверность • Соответствие содержания теста уровню современного состояния науки • Репрезентативность • Возрастающая трудность учебного материала • Вариативность • Системность • Комплексность и сбалансированность • Взаимосвязь содержания и формы

Основные этапы отбора содержания теста • операционализация целей • планирование теста • экспертиза содержания теста

Таксономия целей Блума (Bloom B. S. Taxonomy of Educational Objectives. The classification of educational goals, 1956) • • • Знание Понимание Применение Анализ Синтез Оценивание

Подуровни категории Знание знание терминологии знание специфических фактов знание общих правил знание классификаций и категорий знание критериев знание методологии в данной предметной области • знание теоретических принципов. • • •

Двумерная таксономия L. Anderson и D. Krathwohl, 2001 (W. James Popham. Classroom assessment. What teachers need to know, 2002) • 4 вида знания: конкретное (фактуальное), концептуальное, процедурное и абстрактное (метакогнитивное) • 6 категорий когнитивного процесса: запоминание, понимание, применение, анализ, оценивание, создание

Классификация уровней учебной деятельности (И. Я. Лернер, В. П. Беспалько) • Непосредственное воспроизведение по памяти содержания изученного материала и его узнавание • Понимание и применение знаний в знакомой ситуации по образцу, выполнение действий с четко обозначенными правилами • Применение знаний в измененной или незнакомой ситуации

Классификации учебных целей (И. Я. Лернер, В. П. Беспалько) Уровни усвоения материала Обобщенные учебные цели, планируемые преподавателем Конкретизированные учебные цели (в терминах внешней деятельности) Воспроизведение знаний Знать терминологию, специфические факты, критерии, методы, принципы, законы, теории и т. д. Дать определение, называть, формулировать, описывать, установить соответствие (между термином и определением), показывать (находить), распознавать, пересказывать, перечислять (особенности), выбирать и т. д. Понимание и применение знаний в знакомой ситуации Понимать факты, законы, принципы, критерии, теории; понимать прочитанный текст. Применять знания для объяснения, сравнения, для решения задач; правильно использовать методы, алгоритмы, процедуры; строить графики, диаграммы, таблицы и т. д. Интегрировать знания из разных разделов для решения различных проблем, анализировать, обобщать, оценивать, конструировать, планировать деятельность, эксперимент Объяснять, соотносить, характеризовать (приводить характеристики), сравнивать, устанавливать (различия, зависимость, причины), выделять существенные признаки, рассчитывать (по формулам или алгоритмам), решить, выполнить в соответствии с правилами, продемонстрировать, измерить, продолжить/закончить (предложение), вставить пропущенные слова (буквы) и т. д. Составить устный или письменный ответ на проблемный вопрос, написать сочинение, проводить исследование, формулировать выводы (гипотезу), обосновать точку зрения, предсказать последствия, анализировать информацию, находить ошибку, давать отзыв или рецензию, высказывать суждение, свое мнение, строить модель, реконструировать, составить план эксперимента, решения, рассказа и т. д. Применение знаний в измененной или незнакомой ситуации

Классификация целей, разработанная Клариным М. В. Обобщенные учебные цели, планируемые преподавателем Примеры конкретизированных учебных целей, достигнутых учеником Знание на уровне запоминания и воспроизведения Знает смысл употребляемых терминов, основные понятия и определения, формулы, законы, принципы Знания на уровне понимания Понимает и интерпретирует термины, понятия и определения, преобразует словесный материал в математические выражения, умеет использовать схемы и графики Умения по применению знаний в известной ситуации Умеет применять термины, понятия, определения, формулы, законы и принципы в знакомой ситуации, Умения по применению знаний в незнакомой ситуации Использует законы и принципы в новых ситуациях, осуществляет перенос известных методов на незнакомые ситуации Анализ Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, проводит различия между фактами и следствиями

Планирование теста Разделы Знания и умения 1 раздел 20% Знание понятий, определений, терминов (10%) Знание законов и формул (30%) Умение применять формулы и законы (30%) Умение находить сходства и различия (20%) Умение интерпретировать материал на графиках и схемах (10%) Всего Кол-во заданий 2 раздел 3 раздел 4 раздел 1 30% 1 40% 3 10% 1 20% 6 1 4 5 7 2 18 4 2 4 5 1 12 2 1 3 2 0 6 1 12 18 24 6 60 12

Спецификация теста • • • Цель создания теста. Обоснование выбора подхода к его созданию. Описание возможных сфер применения. Перечень нормативных документов, используемых при планировании содержания теста (ГОС, программа, учебники). Описание общей структуры теста, перечень субтестов (если они есть) с указанием подходов к их разработке. Планируемое количество заданий. Тип заданий с указанием процентного содержания или количества заданий каждой формы, указанием числа ответов к закрытым заданиям. Число параллельных вариантов теста, либо указания для выравнивания (например, ссылка на якорные задания). Рекомендации автора по оцениванию заданий (дихотомическая или политомическая оценка). Рекомендуемое время выполнения теста, в том числе и на каждый субтест, среднее время выполнения каждого задания с учетом специфики формы. Соотношение заданий по различным разделам и видам деятельности – план теста. Рекомендуемая автором стратегия расположения заданий в тесте, т. е. композиция теста. Рекомендации автора по контингенту учащихся для апробации теста. Для аттестационных тестов: охват требований стандарта; перечень требований стандартов, не вошедших в тест; рекомендации по использованию других средств оценки.

Композиция заданий в тест • Располагайте задания каждого типа вместе • По возможности располагайте задания по возрастанию трудности • В рамках ограничений 1) и 2) располагайте задания случайным образом, насколько это возможно • Правильно оцените время выполнения каждого задания и всего теста в целом

Направления экспертизы содержания теста • анализ содержания каждого задания • анализ содержания теста в целом • общее заключение экспертов о соответствии теста целям тестирования

Примерные критерии оценки содержания по заданиям • значимость задания • предполагаемая сложность задания (например, как ожидаемый процент его выполнения) • уровень базовости задания • предполагаемое время выполнения задания учащимся со средней подготовкой • оценка логической определенности задания (основная часть задания должна порождать ответ) и качества формулировок его содержательной основы

Примерные критерии оценки содержания теста в целом • полнота охвата требований к уровню подготовленности учащихся • правильность пропорций содержания теста, его сбалансированность • соответствие содержания теста спецификации