Организационные аспекты мониторинговых исследований в Томской области

Из истории Первое мониторинговое исследование проходило в 1998 -1999 учебном году. Особенности: l По итогам 1 полугодия учебного года; l По всем предметам БУПа; l Общее количество школ, участвующих в исследовании, составляло не менее 25% от общего числа школ в муниципальном образовании; l Общее количество обучающихся в классе, участвующих в исследовании, составляло не менее 85% от общего числа обучающихся в классе.

Схема проведения мониторинговых исследований Заявка на участие в мониторинге Разработка КИМов Проведение мониторинга Обработка результатов Выпуск статистического сборника

Проблемы создания измерительных материалов l Отсутствие кодификатора по предметам; l Отсутствие спецификации; l Огромное количество различных учебников и образовательных линий; l Различие в прохождении материала по разным учебникам и образовательным линиям; l Отсутствие схемы разработки и рецензирования измерительных материалов; l Недостаточное количество подготовленного персонала.

Существовавшие проблемы организации и проведения мониторинговых исследований l Отсутствие единого сценария подготовки и проведения мониторинговых исследований; l Отсутствие программного обеспечения для автоматизированной обработки результатов мониторинговых исследований (обработка вручную); l Отсутствие схемы анализа и интерпретации результатов мониторинговых исследований.

Развитие l Для составления контрольно-измерительных материалов взяты кодификаторы ФИПИ; l Разработана и введена схема разработки и рецензирования измерительных материалов; l Организовано обучение специалистов по разработке и рецензированию измерительных материалов; l Разработано руководство по подготовке и проведению мониторинговых исследований; l Организована автоматизированная обработка результатов мониторинга.

Нормативные документы l l l Положение о региональном мониторинге качества образования в образовательных учреждениях общего образования Томской области Регламент проведения мониторинговых исследований на 2010 -2014 годы в образовательных учреждениях Томской области Распоряжение Департамента общего образования Томской области «О проведении регионального мониторинга качества образования в образовательных учреждениях системы общего образования Томской области»

Этапы организации педагогических измерений l l l l Определение цели тестирования, выбор вида теста и подхода к его созданию. Анализ содержания учебной дисциплины, составление кодификатора. Определение структуры теста и стратегии расположения заданий. Разработка спецификации теста, априорный выбор длины теста и времени его выполнения. Создание предтестовых заданий. Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий. Экспертиза содержания и формы предтестовых заданий. Переработка содержания и формы заданий по результатам экспертизы. Разработка методики апробационного тестирования. Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста. Проведение апробационного тестирования. Сбор эмпирических результатов. Статистическая обработка результатов выполнения теста. Интерпретация результатов обработки в целях улучшения качества теста.

Схема разработки и рецензирования измерительных материалов Разработка контрольно-измерительного материала; l Предметная экспертиза (КИМа и спецификации); l Если предметная экспертиза не пройдена, то контрольно-измерительный материал возвращается на доработку разработчику; l Если предметная экспертиза пройдена, то контрольноизмерительный материал передается на тестологическую экспертизу; l Если тестологическая экспертиза не пройдена, то контрольно-измерительный материал возвращается на доработку разработчику; l Если тестологическая экспертиза пройдена, то контрольно-измерительный материал передается для занесения в банк данных. l

Содержательная экспертиза контрольно-измерительных заданий Определение уровня сложности каждого задания l Соответствие каждого задания теста спецификации l Оценка уровня значимости каждого задания l Выявление неработающих (некорректных) дистракторов l Номер правильного ответа для каждого задания l Указание предполагаемого процента испытуемых, которые правильно выполнят каждое задание теста. l Указание ожидаемого времени выполнения тестового задания l Общие рекомендации по устранению замечаний и улучшению качества теста. l

Руководство по подготовке и проведению мониторинговых исследований (обновляется) l Руководство для муниципального и школьного координаторов l Руководство для эксперта-наблюдателя l Руководство для проводящего тестирование l Инструкции для обучающихся

Развитие l l l Утвержден регламент проведения мониторинговых исследований на 2010 -2014 гг. ; Изменены сроки проведения мониторинговых исследований (начало года и конец года); Изменены форма и содержание спецификации; Сбор первичной информации с помощью АСК «Символ. Тест» ; Внедрение ИС «Портфолио» для внутришкольной оценки и регионального мониторинга;

АСК «Символ-Тест»

ИС «Портфолио»

Технологии проведения мониторинговых исследований 1. ИС «Мониторинг» (региональный уровень) 2. ИС «Портфолио» (уровень ОУ)

ИС «Мониторинг» (региональный уровень) 1. 2. 3. Измерительные материалы становятся доступны для скачивания на сайте за сутки до проведения мероприятия Результаты передаются на обработку по эл. почте или загружаются на сайт Исследования в образовательном учреждении организуются в соответствии с Руководством по подготовке и проведению оценочных мероприятий

ИС «Мониторинг» (региональный уровень) Результаты на сайте ИС «Мониторинг» : 1. Расшифровки результатов по классу 2. Сводные отчеты для образовательного учреждения (по классам, параллелям, решаемости заданий по предметам)

Цель l ИС Портфолио (РИС МКОТО) – региональная информационная система мониторинга качества образования Томской области l Используется в образовательных учреждениях общего образования

ИС «Портфолио» 1. Образовательное учреждение получает измерительные материалы в ИС Портфолио за 2 дня до проведения мероприятия 2. Исследования в образовательном учреждении организуются в соответствии с Руководством по подготовке и проведению оценочных мероприятий 3. После проведения результаты передаются при помощи встроенного механизма передачи данных в центральное хранилище

ИС «Портфолио» Результаты в ИС Портфолио: 1. Расшифровка результатов по классам 2. Сводные отчеты по образовательному учреждению 3. Анализ по элементам кодификатора

Измерительные материалы - 43 комплекта измерителей по 14 предметам: русский язык (5, 6, 7, 8, 10) математика (5, 6, 7, 8, 10) география (6, 7, 8, 10) физика (7, 8, 10) биология (7, 8, 10) химия (8, 10) история (7, 8, 10) обществознание (8, 10) иностранные языки (5, 6, 7, 8, 10) информатика (10) ОБЖ (8) и другие… - более 100 оригинальных вариантов в год

Измерительные материалы Рабочие группы (коллектив педагогов по каждому предмету, разработчики, эксперты) Квалифицированные Тестологи Измерительные материалы ОУ, участвующие в апробации измерителей и оценочных мероприятиях Сотрудники ЦОКО (куратор, тех. поддержка)

Разработка измерительных материалов - осуществляется творческой рабочей группой (ЦОКО организует деятельность рабочих групп) Рабочая группа является открытой, в её состав входят: - куратор (сотрудник ЦОКО, орг. -метод. обеспечение) - руководитель рабочей группы - разработчики - эксперты - тестологи - все заинтересованные педагоги

Рабочие группы Деятельность регламентирована двумя документами*: 1. Положение о рабочих группах 2. Порядок разработки и экспертизы измерительных материалов * Эти документы разработаны специалистами ЦОКО и утверждены Экспертным советом ТОИПКРО

Учителя → → → → Разработчики

Измерительные материалы Виды контроля Входной Итоговый Рубежный (Промежуточный)

Цикл разработки измерительных материалов

Экспертиза Предметная - содержание - соответствие спецификации - трудность - валидность - параллельность - дидактические единицы - время выполнения заданий Тестологическая - соответствие тестологическим правилам отсутствие громоздких формулировок лаконичные формулировки подбор дистракторов

Фасетная разработка - по одному исходному оригинальному варианту разрабатывается несколько параллельных вариантов - позволяет производить 4 варианта и более из одного оригинального задания разрабатывается фасетный набор заданий

Разработка инструментария для проведения исследования уровня сформированности ключевых компетенций в рамках регионального мониторинга

Проблемы • отсутствие единого терминологического пространства; • нехватка квалифицированных кадров; • сложность автоматизации процесса сбора и обработки результатов; • поиск оптимальной модели измерительной работы.

Исследование уровня сформированности ключевых компетенций в 4 классах Цель – оценка уровня сформированности учебнопознавательной и информационной компетенций учащихся

Исследование уровня сформированности ключевых компетенций в 4 классах Полученные в ходе исследования данные позволяют получить представление об уровне овладения учащимися некоторыми метапредметными способами действий, необходимыми для успешного продолжения обучения, и определить направления работы по введению ФГОС.

Материалы для исследования: • кодификатор • спецификация измерительной работы • два варианта измерительной работы • критерии оценивания заданий и рекомендации по оцениванию измерительной работы • методическое оснащение измерительной работы (инструкции) • карта мониторинга.

Структура измерительной работы Работа по оценке уровня сформированности ключевых компетенций блок заданий, проверяющий читательскую грамотность блок заданий, проверяющий математическую грамотность блок заданий по оценке способности решать учебно-практические задачи

Фрагмент спецификации: основные характеристики работы Структура Объект оценки Связь с учебными предметами и программами Число отдельных заданий Время выполнения (мин) Максимальный балл Часть 1 Задание «По щучьему велению» Чтение познавательного текста. Работа с информацией Чтение, окружающий мир, УУД 10 30 13 10 30 15 6 30 9 26 90 37 Часть 2 Задачи Решение практикоориентированных задач Математика, УУД Часть 3 Задание «Внимание, мусор!» Итого Решение учебнопрактических задач Окружающий мир, чтение, УУД

Фрагмент спецификации (план работы, 1 часть): № задания Контролируемые умения Максимальный балл 1 Определение основной темы текста 1 2 Нахождение информации, фактов, заданных в тексте в явном виде 1 3 Умение выбирать утверждение, соответствующее типу текста 1 4 Определение типа книги, из которой взят текст 1 5 Восстановление последовательности текста 1 6 Нахождение информации, фактов, заданных в тексте в явном виде 1 7 Нахождение информации, фактов, заданных в тексте в явном виде 1 8 Систематизация элементов информации, представленной в тексте 2 9 Упорядочивание информации, содержащейся в тексте 2 10 Высказывание простых оценочных суждений на основе текста 2

Критерии оценивания Пример. Задания № 8, 9, 10 оцениваются в 0, 1 или 2 балла в зависимости от полноты ответа. Допускаются иные формулировки ответа, не искажающие его смысла. Задание 8. В предложенном списке обведи то, чем может питаться щука. Рыба, сено, земноводные, овощи, рептилии, птицы, насекомые Элементы содержания верного ответа Баллы В списке обведены (подчеркнуты): рыба, земноводные, рептилии, птицы, насекомые Верно названы все пять позиций 2 балла Верно названы любые три или четыре позиции 1 балл Верно названы любые одна или две позиции ИЛИ ответ отсутствует 0 баллов Максимальный балл 2 балла

Экспертиза работы Предмет экспертизы Эксперты l. Соответствие l работы психо-возрастным особенностям (объем, время, адаптированность текста и т. д. ) l. Достоверность информации по предметным областям l. Соответствие формулировок заданий тестологическим правилам Учителя начальных классов l Учителя-предметники l Тестологи l Психологи l Представители вузов (на этапе апробации инструментария)

Результаты исследования 1 часть – читательская грамотность 2 часть – математическая грамотность 3 часть – решение практикоориентированных заданий

Математическая грамотность

Спасибо за внимание!