Всероссийские проверочные работы как модель объективного оценивания качества

Всероссийские проверочные работы как модель объективного оценивания качества образования. Итоги апробации в общеобразовательных организациях Забайкальского края Н. Ф. Рюхова, начальник отдела анализа и мониторинга качества образования КЦОКО, к. п. н.

«Мы должны научиться измерять то, что важно, а не то, что легко измерить» . Зачем нужно выстраивать новую систему оценки образовательных результатов? Новые образовательные результаты – ответ на вызовы современности: неопределенность, противоречивость, альтернативы. Важнейшим становится умение принимать грамотные и ответственные решения в ситуации неопределенности.

Организационная структура ОСОКО

Модель региональной системы оценки качества образования

Цель РСОКО выстраивание механизмов получения объективной информации о состоянии качества образования в регионе, тенденциях его повышения и причинах, влияющих на его уровень, использование информации в управленческой практике как условия и базы для реализации процедур управления качеством образования на всех уровнях с привлечением институтов гражданского общества.

Задачи РСОКО 1. Создание единой, оптимальной, логично выстроенной серии взаимодополняющих, обеспечивающих преемственность, процедур оценки качества образования; 2. Правильное использование и интерпретация результатов проведения оценочных процедур; 3. Достижение сбалансированности деятельности органов и структур в регионе, консолидация усилий в повышении качества образования; 4. Изменение подходов к осуществлению контрольнонадзорных мероприятий.

Тенденции изменений в системах оценки качества образования • Изменение целевых установок (от оценки знаний, умений и навыков к оценке грамотности, компетенций и личностных качеств); • Изменение концептуальных рамок оценки и изменение инструментария (изменение основных характеристик заданий, увеличение доли контекстных заданий, увеличение доли структурированных заданий); • Изменение в технологиях (переход на электронные носители, введение интерактивных заданий).

Оценочные процедуры: • Международные сравнительные исследования (PISA, PIRLS, TIMSS, ICCS, TALIS); • Национальные исследования качества образования; • Всероссийские проверочные работы; • ГИА-9 (ОГЭ, ГВЭ); • ГИА-11 (ЕГЭ, ГВЭ); • Исследование профессиональных компетенций учителей; • Региональные мониторинговые исследования; • Региональные социологические исследования.

Принципы оценивания: 1. 2. 3. 4. 5. Оценка – составная часть учебного процесса. Объективность оценки. Использование механизма оценки для развития. Оценка того, чему учили. Формат оценки (текст, устная часть) влияет на содержание. 6. Оценка – стимулирование развития (мотивирующее оценивание).

Использование результатов международных сравнительных исследований • • Введение образовательных стандартов нового поколения; разработка примерных образовательных программ; создание новых учебников; обновление программ повышения квалификации учителей; • проведение углублённых исследований. Основой разработки содержания и технологии проведения Единого государственного экзамена (ЕГЭ) и ряда мониторинговых исследований стал: • Опыт участия в международных программах оценки качества образования; • Опыт проведения Всероссийского централизованного тестирования (с 1986 г. ).

Национальное исследование качества образования в начальной школе в 2015 году Регион РФ Забайкальский край Количество участников 20498 660 РФ 20291 Забайкальский край 1043 РФ 21339 Забайкальский край 1169 2 Распределение отметок в % 3 4 Русский язык 7, 4 9, 4 Математика 3, 8 5, 8 Окружающий мир 1, 9 3, 3 5 28, 4 51, 5 12, 7 38, 8 42, 6 9, 2 36, 8 51, 1 8, 4 43 44, 8 6, 3 14, 7 56, 9 26, 5 23, 9 56, 7 16, 1

Использование результатов НИКО на федеральном уровне: • для разработки конкретных мер по реализации сформированных направлений; на региональном и муниципальном уровнях: • для совершенствования преподавания учебных предметов, программ повышения квалификации учителей; на институциональном уровне: • для совершенствования преподавания учебных предметов; на уровне учащихся и их родителей: • для повышения информированности.

Проблемы, выявленные в период проведения апробации Всероссийских проверочных работ (декабрь 2015 года): - объективные результаты; - правильная политика от учителя до федерального уровня; - недостаточное использование результатов Всероссийских проверочных работ.

Модели проведения Всероссийских проверочных работ в 2016 году: Этап Сбор базы Направление заказа через личный кабинет Разработка КИМ Тиражирование КИМ Сканирование Заполнение электронного бланка Проверка работ Формирование статистических форм Модель 1 «Школьная» Модель 2 «Региональная» ОО ОО ОИВ с помощью ОО ОИВ ФО ОО ОО ФО ОИВ - ОО ФО ОИВ ФО

Регламентированные модели проведения Всероссийских проверочных работ - Школьная модель (на уровне региона, на уровне ОО); - Региональная модель (на уровне региона). Мониторинг хода процессов : - организация всех этапов проведения (регламент); - обеспечение соблюдения единых требований; - решение вопросов об участии обучающихся с ОВЗ; - решение вопроса о выставлении отметок; - анализ и использование результатов.

Рекомендации по обеспечению объективности проведения Всероссийских проверочных работ Тиражирование, доставка, хранение – соблюдение мер информационной безопасности; проведение – обеспечение порядка в аудитории, исключение конфликта интересов; сбор и обработка результатов – обеспечение сохранности данных, исключение конфликта интересов; проверка работ – обеспечение качества проверки, исключение конфликта интересов.

Всероссийские проверочные работы – не ЕГЭ! Вместо КИМ - варианты проверочной работы. Вместо демоверсии – образец проверочной работы. Нет заданий с выбором ответа. Возможность отслеживать успеваемость и качество знаний школьников с 4 по 11 класс (база данных). Использование банка заданий, построенных с учётом опыта российских и международных оценочных процедур. Совершенствование механизмов развития общероссийской системы оценки качества образования путём построения системы взаимосвязанных исследовательских и диагностических процедур на разных уровнях системы образования. Доступность для всех школ. Возможность провести на уровне региона. Возможность получить сводные результаты на федеральном уровне.

Русский язык (2016 г. ) (распределение первичных баллов, максимальный балл 43)

Всероссийские проверочные работы, 4 класс 44. 16 Русский язык Результаты региона Вся выборка 37. 54 38. 07 34. 96 20. 26 14. 92 7. 24 2. 85 2 3 4 5

Русский язык. Качество обученности 75% - 100% 83 82. 2 82 81. 1 81 80 79 78. 2 78 77. 2 77. 1 77 76 75. 6 76 75 74 ки й ки нс ил Ш но чи ко ас Кр но ка ас Кр ки й нс ме ле Ба йс ки й ий ск ри н Кы го ро д Чи т а ки й ог оч ин с М ог ой т М п. Аг ин ск ое уй ск ий 73

А ль гин д с Че ург кий ин рн ы ски ш й Н евс ер к чи ий нс Ка к ла ий Ак рск ш ий ин Б ЗА ор ски ТО зин й п. ски Го й Ка рн лг ый ан Хи ски П ло й Ал ри кс ар ки ек са гу й г. нс П нд ет ро Он ки ро й в во он П ет ск- -За ски ро За во й вс ба дс й к. За ка кий ба ль йк ски ал й ь Чи ски ти й н С ре ски О ло те й вя нс За нн кий ба ин йк ски ал й Га зи Ул ьс ё ки Ту му нг ро тов й ир -З с о- ав кий од О лё с Ш км кий ел ин о с Ту пуг кий нг ин ок с оч кий Н ер е чи Ка нск нс и р ко ым й -З с ав кий од ск ий Ду Русский язык. Качество обученности 50% - 75% 80 70 60 50 40 30 20 10 0

Ту н ер Ш гок ч е оч Га инс лоп ен зи ко уг ск му -З ин ий ро ав ск -З од ий ав ск Ка од ий р с Ул ым кий П ёт ск г. Ту р П н Ол иа овс ий ет ги о р к ро ро вя гун ий вс -О нн ск к- лё ин ий За к с ба ми ки йк нс й С аль кий ре с т ки За Чи енс й ба ти ки йк нс й а к Ба льс ий л ки Че Ка ейс й рн ла ки П ы рс й ет ш ки ро Хи евс й вс к- Н ло кий За ер кс ба чи ки йк нс й ал ки ЗА О ьск й ТО н и о Ал п. нс й ек к са Ак Гор ий нд ш н ро К ин ый ы ск во р -З ин ий а с Бо вод кий Кр рз ск ас го ин ий но р с ка Ш од кий ме ил Ч нс ки ита М кий нск Ду ого р ий ль йт айо ду уй н рг ск по и се А инс й ло ги ки к н й М Аги ски ог н й о с Кр К чи ко ас ал нс е но га ки чи нс й ко ки йс й ки й Н Русский язык. % учащихся, получивших отметку « 2» 20 18 16 14 12 10 8 6 4 2 0

Русский язык. Средний % выполнения заданий группами учащихся

Математика (2016 г. ) (распределение первичных баллов, максимальный балл 18)

Всероссийские проверочные работы, 4 класс 55. 14 Математика Результаты региона Вся выборка 41. 59 27. 16 26. 35 23. 56 15. 95 7. 69 2. 56 2 3 4 5

Математика. Качество обученности 75% - 100% 80 79, 5% 79 78 76, 1% 77 76 75 поселок Агинское город Чита

Кр Пе асн тр оч ов ик ск ой -З с М аба кий ог й ой ка т л Бо уйс ьск Кр рз ки ий ас Не инс й но ка рчи кий ме н нс ски ки й Ба й р М лей айо Ду ого ски н ль чи й ду нс рг ки и й Кы нск ри ий Ак нск Че ш ий рн ин ыш ски ев й Аг ски Ш ин й ил ск ки ий Ул нс Пе ЗА ё ки тр ТО тов й ов с ск п. Г кий -З ор аб н ай ый к Чи аль Пр ти ск иа нск ий рг ий у Ка нск лг ий ан Ал Ол Кал ски ек ов ар й са ян ск нд н ий ро ин во ски й Ср Зав ет од е ск Хи нск ий За л ий ба ок йк ск Не ал ий рч ин О ьск ск но ий о- нс За к во ий Ка дск ры ий мс ки й г. Математика. Качество обученности 50% - 75% 80 70 60 50 40 30 20 10 0

Математика. Качество обученности до 50% 49, 5% 45. 9% 45. 0% 41. 8% Газимуро-Заводский Шелопугинский Тунгиро-Олёкминский Тунгокоченский

А Ал А гин ек кш ски -З ин й ав ск Ба одс ий г. П Б ле ки -З о й й аб рз ск а и и Га йк нс й з- ал кий За ьс Ду го вод кий ль род ск и За дур Чи й ба ги т ЗА й н а ТО ка ски л п. ьс й Го ки Ка р й н Ка лар ый лг ск Кр и ас Ка анс й Кр но ры ки ас ка мс й но ме ки чи нс й к ки М Кы ойс й ог р ки о ин й М йт ски Н ого уйс й ер ч к -З ин ий ав ск О Не одс ий ло рч к вя ин ий нн ск П -З О ин ий по аб н ски се ай он й ло ка ски к л П Аг ьск й ри и и а н й С ргу ско Т- ре нс е О т к Ту лё ен ий нг км ск ок ин ий о с Ул че ки ёт нс й ки Че Хи овс й рн ло ки ы кс й ш к Ш Чи ев ий ел т ск оп ин ий у с Ш ги кий ил нс ки ки нс й ки й Математика. % учащихся, получивших отметку « 2» 40 35 30 25 20 15 10 5 0

Математика. Средний % выполнения заданий группами учащихся

Окружающий мир (2016 г. ) (распределение первичных баллов, максимальный балл 30)

Всероссийские проверочные работы, 4 класс Результаты региона 53. 17 Окружающий Вся выборка мир 50. 75 26. 71 2. 8 24. 06 19. 74 21. 17 1. 6 2 3 4 5

Окружающий мир. Качество обученности 75% - 100% 87. 6% 76. 9% п. Агинское г. П-Забайкальский 76. 4% город Чита 75. 3% Красночикойский

ан Аг ски Кр Бо инс й ас рз ки но ин й ка ск ме ий Ба нск Че л и рн ей й ыш ски е й Ду Акш вск ль и ий ду нс рг ки и й Кы нск Ал ри ий ек -З нск а М вод ий ог с Пр очи кий иа нс р ки Ш гун й ил ск ки ий Чи нск ти ий н Он ски он й Ср с ет ки Не енс й рч ки и й Ул нс М ёто кий П- ого вск За йт и ба уй й За йка ски ба ль й йк ск ал ий ь Ол Ка ски ов лар й Ту янн ски нг и й ок нс Га оче кий з- нс За к во ий Ка дс ры ки м й ЗА Хил ски ТО ок й Не п. Г ски р ор й Т- -Зав ны Ол о й ёк дск ми ий нс ки й лг Ка Окружающий мир. Качество обученности 50% - 75% 80. 0% 70. 0% 60. 0% 50. 0% 40. 0% 30. 0% 20. 0% 10. 0%

Окружающий мир. Средний % выполнения заданий группами учащихся

Использование результатов ВПР на федеральном уровне: • мониторинг результатов введения ФГОС; • формирование базы результатов обучающихся, в перспективе – обеспечение возможности учёта результатов в качестве портфолио; на региональном уровне: • своевременная корректировка отдельных аспектов в системе общего образования; • основание для планирования контрольно-надзорной деятельности; на институциональном уровне: • корректировка образовательного процесса.

Использование результатов оценочных процедур в контрольно-надзорной деятельности Результаты государственной итоговой аттестации, Национальных исследований качества образования, Всероссийских проверочных работ используются в контрольно-надзорной деятельности при • лицензировании образовательной деятельности; • государственной аккредитации образовательной организации; • разработке методических рекомендаций.

Использование результатов региональных мониторинговых и социологических исследований на региональном уровне: • оценка эффективности управления региональной образовательной системой; • выявление уровня освоения образовательной программы и оценка муниципальных образовательных систем; • система подготовки педагогических кадров и повышения их квалификации; • оценка деятельности учителя при аттестации на квалификационную категорию; • целевая методическая поддержка образовательной организации;

Использование результатов региональных мониторинговых и социологических исследований на муниципальном и институциональном уровнях: • оценка эффективности управления образовательной сетью и оценка деятельности образовательной организации; • разработка программ развития ОО; • выявление уровня освоения образовательной программы и индивидуальная поддержка учащихся; • корректировка образовательного процесса и содержания образовательных программ; • информирование различных групп пользователей; • определение социального заказа; • составление рейтинга школ на основе кластерного подхода.

МОДЕЛЬ ИСПОЛЬЗОВАНИЯ ДАННЫХ Кластер. анализ От линейного рейтинга к кластерному сравнению и анализу факторов «Слабые» школы Оценка Меры поддержки Анализ факторов

Использование результатов должно опираться на… Поддержка заинтересованных сторон Надёжный инструментарий Сравнение в своей «весовой категории» Ориентация на процедуры с «низкими ставками» Знание пользователей результатов Целевые информационные продукты Сочетание источников данных Методы информирования различных Надёжная процедура

Использование результатов оценочных процедур Учащиеся и их родители: • индивидуальная образовательная траектория; • возможность выбора образовательной программы и образовательной организации. Учителя: • самооценка профессиональной деятельности; • формирование направлений совершенствования. Класс, школа: • совершенствование образовательных программ, методик, технологий обучения; • определение направлений совершенствования, программ развития.

Использование результатов оценочных процедур Муниципалитет: • адресная работа с образовательными организациями и учителями; • определение направлений совершенствования, программы развития. Регион: • Планирование контрольно-надзорной деятельности; • мониторинг введения ФГОС; • адресная работа с муниципалитетами; • планирование потребности в подготовке, переподготовке и повышении квалификации кадров; • определение направлений совершенствования, программы развития.

Использование результатов оценочных процедур Федерация: • планирование контрольно-надзорной деятельности; • мониторинг введения ФГОС; • создание центров анализа и интерпретации результатов процедур оценки качества образования; • обеспечение методического и аналитического сопровождения процедур; • развитие модели ОСОКО.

График проведения Всероссийских проверочных работ Апрель-май 2017 года: - русский язык, математика, окружающий мир (4 класс, штатный режим); - русский язык, математика, история, биология (5 класс); - необязательные предметы ЕГЭ (11 класс). Стремление к повышению качества – это норма жизни, а не дополнительная нагрузка. Каждый работник должен понимать важность задачи педагогической деятельности – работать в условиях объективного оценивания и ответственности за результаты труда.

График проведения Национальных исследований качества образования Октябрь-ноябрь 2016 года: - Иностранный язык (5 и 8 классы). Апрель 2017 года: - ОБЖ (8 и 9 классы). Октябрь 2017 года: - Химия, биология (10 класс). Апрель 2018 года: - Литература (6 и 8 классы), МХК (4 класс). Октябрь 2018 года: - Физкультура (6 и 10 классы).