Российская академия образования Особенности проведения международного исследования PISA-2012

Российская академия образования Особенности проведения международного исследования PISA-2012 в регионах России Ковалева Г. С.

Российская академия образования Основные цели и задачи исследования PISA Основная цель: оценка способности 15 летних учащихся использовать приобретенные в школе знания и опыт для широкого диапазона жизненных задач в различных сферах человеческой деятельности, общения и социальных отношений. Дополнительная инновационная цель в 2012 году: оценка чтения электронных текстов, решение интерактивных задач в ходе компьютерного тестирования, оценка сформированности учебных стратегий Политическая цель: оценка качества и эффективности образования, равенства доступа к образованию 3

Российская академия образования Основные цели и задачи исследования PISA Основные задачи: • Оценить функциональную грамотность 15 -летних учащихся в области чтения, математики и естествознания (приоритетная область – математика) • Выявить динамику результатов (2000, 2003, 2006, 2009, 2012) • Выявить факторы, позволяющие объяснить различия в результатах 4

Российская академия образования Характеристика российских участников исследования PISA-2012 • 42 субъекта Российской Федерации (было 45) • 227 образовательных учреждений • Около 7000 учащихся 15 -летнего возраста, обучавшихся по программам: - основного общего образования (7 -9 классы), среднего общего образования (10 -11 классы); - начального и среднего профессионального образования Их них: около 5000 – основное исследование; из них 50% - компьютерное тестирование; + 1750 – финансовая грамотность. Дополнительно проводится исследование PISA 2012/TIMSS-2011 (около 5000 уч-ся).

Российская академия образования Оценка функциональной грамотности • Письменное тестирование – Математика – Естествознание – Чтение – Финансовая грамотность • Компьютерное тестирование – Решение проблем – Математика – Чтение электронных текстов 6

Структура теста PISA-2012 Российская академия образования A standard set of 13 booklets: 21 test booklets Booklets comprised of 20 1 to 13 regular booklets, each with two hours An easier test worth of set of 13 (four material booklets: 30 -minute Booklets … clusters) 8 to 13 and Booklets 21 to 27 … and one UH (“une heure” one-hour) booklet for students with special educational needs 7

Структура теста PISA-2012 Российская академия образования The regular two-hour booklets are made up of 9 mathematics Booklet 12 is a clusters, complete link to PISA 2009. and 3 science clusters, and 3 reading clusters. The UH booklet is made up of • one cluster’s worth of mathematics items; • half a cluster of reading items; and • half a cluster of science items. 8

Структура теста PISA-2012 Российская академия образования Every booklet includes at least one cluster of mathematics items Every cluster appears in every block (position) 9

Структура теста PISA-2012 Российская академия образования Standard mathematics clusters PM 6 A and PM 7 A appear in Booklets 1 to 7. Easier mathematics clusters PM 6 B and PM 7 B appear in Booklets 21 to 27. 10

Российская академия образования Использование двух комплектов тестов для повышения валидности шкалы на низшем уровне • Значительное число учащихся демонстрирует результаты ниже уровня 1. • Введение достаточно легких заданий повысит возможность описать уровень математической деятельности учащихся с низкими результатами. • Повышается качество теста для оценки математической грамотности слабых учащихся. • Слабые учащиеся более мотивированы при выполнении заданий, соответствующих их уровню подготовки. 11

Характеристика «стандартных» и «легких «тестовых тетрадей Российская академия образования • Чем отличаются? – «Стандартные» тестовые тетради включают 2 кластера с более трудными заданиями – «Легкие» тестовые тетради включают 2 кластера с наиболее легкими заданиями • Что общего? – Оба комплекта тетрадей содержат 5 общих кластеров по математике, включающих задания разной трудности. – Общие кластеры по математике включают 3 якорных кластера, включающих задания по математике, используемые в PISA 2000, PISA 2003, PISA 2006 и PISA 2009. – Каждая из 13 тетрадей соответствует основным характеристикам дизайна теста в одинаковых пропорциях. 12

«Стандартный» / «легкий» тест Российская академия образования Правило выбора: q «Стандартный» тест: ü Страны со средними результатами по читательской грамотности более 480 в исследовании PISA-2009 (России – 459) q Право выбора «стандартный» или «легкий « тест: ü Страны со средними результатами по читательской грамотности менее 480 в исследовании PISA-2009 ü Страны, не участвовавшие в PISA-2009 13

Дизайн компьютерного тестирования Российская академия образования § Все кластеры для компьютерного тестирования рассчитаны на 20 минут. Все варианты компьютерного теста включают 2 кластера. § Ротация кластеров в компьютерном тесте основана на тех же принципах, что и в письменном тесте (Принципы позиционной и количественной эквивалентности). 14

Структура компьютерного теста Российская академия образования 15

Структура компьютерного теста Российская академия образования ü 4 кластера решения проблем ü 4 кластера по математике ü 2 кластера по чтению ü Всего 24 варианта ü Каждый кластер появляется дважды в каждом положении для решения проблем, математики и чтения. ü Каждый кластер появляется дважды вместе с кластером из другой области: первый раз в начале, второй раз – в конце теста. ü Каждая область появляется одинаковое число раз в 24 вариантах и на нее отвечает одинаковое счисло учащихся. 16

Средний результат страны Российская академия образования Характеристики теста Способность учащихся выполнить данный тест Трудность задания 17

Анализ результатов тестирования Российская академия образования § Анализ шкалы на многомерность по отдельным шкалам, новым и якорным заданиям § Анализ шкалы на надежность § Анализ DIF (дифференцированное функционирование заданий): гендерные различия, языковые различия, различия в результатах стран § Анализ пропущенных заданий, отсутствия ответов § Анализ дистракторов 18

Российская академия образования Графическое представление DIF • Соответствие модели гендерных различий Кривые для девушек и юношей почти совпадают, что демонстрир ует отсутствие гендерных различий DIF Соответствие данных модели 19

Российская академия образования База данных национальных отчетов 20

Российская академия образования Статистические характеристики заданийability 0. 84 standard ответа с выбором Easy item. Students with deviation below mean have probability 0. 5 of correct answer Below 0. 2 is dodgy Fit of data to model: 1. 0 perfect; 0. 8 – 1. 2 generally acceptable Multiple choice The more able students get the answer correct 21

Российская академия образования Статистические характеристики политомических заданий • Обязательное требование: возрастание уровня способности группы учащихся при увеличении балла за выполнение задания 22

Российская академия образования Графическое представление статистики

Российская академия образования Сравнение национальной и международной статистики Национальная статистики в сравнении с международной Проблемы в задании (в данном примере нет проблем) 24

Российская академия образования Проблемы в национальной статистике

Российская академия образования Проблемы в международной статистике В базе данных результаты из 58 стран

Российская академия образования Изучение контекстной информации с целью выявления факторов, объясняющих результаты • Концептуальные основы • Основные анкеты – Анкета для учащихся – Анкета для администрации ОУ – Анкета о системе образования • Практическая реализация анкетирования – Ротационная модель анкеты для учащихся – Компьютерная анкета для администрации ОУ • Дополнительные анкеты – Использование ИКТ – Образовательные траектории – Анкета для учителя – Анкета для родителей – Анкета о здоровье – Анкета о режиме дня и использовании свободного времени 27

Российская академия образования Соответствие целям исследования и политическим установкам § Сравнительный мониторинг систем образования § Выявление эффективных систем образования § Формирование базы данных § Оценка доступности и качества образования § Условия формирования математической грамотности § Совершенствование дизайна сбора контекстной информации 28

Содержание контекстной информации Российская академия образования

Российская академия образования Ротационная модель анкеты для учащихся Форма A Форма B Форма C Общий блок (8 мин) Rotated questions A 11 min Rotated questions B 11 min Rotated questions C missing Rotated questions A missing Rotated questions B 11 min Rotated questions C 11 min Rotated questions A 11 min Rotated questions B missing Rotated questions C 11 min -> Увеличение содержания на 1/3 31

Российская академия образования Форма адаптации инструментария (MAS) 32

Конечные данные Начальные требования Данные, подтверждающие качества PISA Технические стандарты качества Руководства по проведению Мероприятия Российская академия образования Обеспечение качества исследования PISA Наблюдения за проведением тестирования в ОУ Посещение национального центра + Верификация перевода Контроль за качеством печати Анализ данных апробации и основного исследования Адаптация руководств TAS, BAS, QAS, Оптическая проверка инструментария Выборка Keyquest… Анализ данных Результаты Объективные и сравнимые базы данных Цель Результаты PISA должны быть релевантны для национальных политиков в образовании 33

Российская академия образования Вопросы и комментарии Ковалева Галина Сергеевна, руководитель Центра оценки качества образования Института содержания и методов обучения РАО Тел. /факс: (499)-246 -24 -21 e-mail: centeroko@mail. ru сайт: www. centeroko. ru