Оценка читательской компетентности математической и естественнонаучной грамотности PISA-2009

Оценка читательской компетентности, математической и естественнонаучной грамотности PISA-2009 Ковалева Г. С. Центр оценки качества образования ИСМО РАО

PISA «Международная программа по оценке образовательных достижений учащихся» (Programme for International Student Assessment) осуществляется Организацией Экономического Сотрудничества и Развития ОЭСР (OECD – Organization for Economic Cooperation and Development) Основная цель: оценка функциональной грамотности 15 -летних учащихся в области математики, естествознания и чтения Дополнительная инновационная цель: оценка отношений и учебных стратегий Политическая цель: оценка качества и равенства возможностей в образовании Основные задачи: • Оценить, обладают ли учащиеся 15 -летнего возраста, получившие общее обязательное образование, знаниями и умениями, необходимыми им для жизни • Выявить динамику результатов (2000, 2003, 2006, 2009) • Выявить факторы, позволяющие объяснить различия в результатах

Читательская компетентность (грамотность чтения) в исследовании PISA Грамотность чтения - способность к осмыслению письменных текстов и рефлексии на них, к использованию их содержания для достижения собственных целей, развития знаний и возможностей, для активного участия в жизни общества. Оценивается не техника чтения и буквальное понимание текста, а понимание и рефлексия на текст, использование прочитанного для различных целей.

Форма материалов для чтения «Сплошные» тексты (прозаические произведения, например, описание повествование, объяснение, рассуждение, а также инструкция, документы или записи, гипертексты); «Несплошные» тексты (графики, таблицы, диаграммы, формы, информационные бланки, объявления, рекламы, ваучеры, сертификаты, карты)

Шкалы по грамотности чтения Умения – Нахождение информации (25%) – Интерпретация текста (50%) – Рефлексия на содержание или форму текста и его оценка (25%)

Ситуации использования текста Чтение для личных целей (например, личных писем), 25% Чтение для общественных целей (например, официальных документов), 25% Чтение в профессиональной деятельности (например, отчетов), 20% Чтение для получения образования (например, учебной литературы), 30%

Под естественнонаучной грамотностью в исследовании PISA понимается способность: осваивать и использовать естественнонаучные знания для распознания и постановки вопросов, для освоения новых знаний, для объяснения естественнонаучных явлений и формулирования выводов в связи с естественнонаучной проблематикой, основанных на научных доказательствах; понимать основные особенности естествознания как формы человеческого познания и исследований; демонстрировать осведомленность в том, что естественные науки и технология оказывают влияние на материальную, интеллектуальную и культурную сферы; проявлять активную гражданскую позицию при рассмотрении проблем, связанных с естествознанием. Естественнонаучная грамотность предполагает в равной степени понимание естественнонаучных понятий, применение естественнонаучных знаний и методов, а также размышления на основе научных доказательств.

Четыре области естественнонаучной грамотности Узнавание жизненных ситуаций, апеллирующих к науке и технологии (контекст) Понимание окружающего мира, включая и технику, на основе научных знаний, которые включают знания об окружающем мире и знания о науке (знание) Демонстрирование компетенций, которые включают распознавание научных вопросов, применение научных знаний для объяснения естественнонаучных явлений, формулирование выводов на основе очевидных фактов и доказательств (компетенции)

Четыре области естественнонаучной грамотности Интерес к естественнонаучному знанию, включение естественнонаучной любознательности в собственную систему ценностей, сложившаяся мотивация действовать ответственно по отношению, например, к природным ресурсам и окружающей среде (аффективный компонент)

Структура естественнонаучной грамотности в исследовании PISA (для разработки заданий) Контекст - личностный - социальный - глобальный Компетентности - распознать научные вопросы (25%) - описывать, предвидеть или объяснять научные явления (35%) - использовать научные факты для принятия решения и сообщения о нем (40%) Знание - знание о мире (60%) - знание о науке (методы научного познания) (40%) Аффективный компонент (интерес, отношения, мотивация)

Математическая грамотность в исследовании PISA определяется как «сочетание математических знаний, умений, опыта и способностей человека» , обеспечивающих успешное решение различных проблем, требующих использования математики. Общие умения, включают: математическое мышление, математическую аргументацию, постановку и решение математической проблемы, математическое моделирование, использование различных математических языков, коммуникативные умения.

Четыре содержательных области математической грамотности - Пространство и форма - это вопросы, относящиеся к пространственным и плоским геометрическим формам и отношениям. - Изменение и отношения – вопросы, связанные с математическим описанием различных процессов, с зависимостями между переменными, в том числе функциональными. Этот материал в основном относится к алгебре. - Количество – эта область включает вопросы, связанные с числами; в программах по математике этот материал чаще всего относится к арифметике. - Неопределенность – включает в себя вероятностные и статистические явления и зависимости, которые являются предметом изучения разделов статистики и вероятности.

УРОВНИ МАТЕМАТИЧЕСКОЙ КОМПЕТЕНЦИИ ПЕРВЫЙ УРОВЕНЬ ВТОРОЙ УРОВЕНЬ «СВЯЗИ» ТРЕТИЙ УРОВЕНЬ «РАЗМЫШЛЕНИЯ» Привычные формы представления информации Переход от одной формы информации к другой Сложные проблемы Прямое применение - известных фактов, - стандартных приемов и методов Создание математической модели «ВОСПРОИЗВЕДЕНИЕ» Применение различных известных методов к решению задач, близких к известным Интерпретация полученного решения Размышление и интуиция Творческий подход Разработка метода решения Обобщение. Обоснование

Шкала исследования PISA Задание VI Задания с относительно высокой трудностью Задание V Учащийся А с относительно высоким уровнем грамотности (компетентности) Задание IV Задания со средней трудностью Задание III Учащийся B со средним уровнем грамотности (компетентности) Задание II Задания с низкой трудностью Задание I Учащийся С с низким уровнем грамотности (компетентности)

Схема разработки заданий для оценки математической и естественнонаучной грамотности ОБЛАСТЬ ПРЕДМЕТНОГО СОДЕРЖАНИЯ СИТУАЦИЯ ФОН СОДЕРЖАНИЕ (разделы, темы) ПРОБЛЕМА И РЕШЕНИЕ ФОРМА ЗАДАНИЯ ОБЩИЕ ПРЕДМЕТНЫЕ КОМПЕТЕНЦИИ УРОВНИ КОМПЕТЕНЦИИ ОСОБЫЕ КОМПЕТЕНЦИИ

Задание по естествознанию КИСЛОТНЫЕ ДОЖДИ На фотографии, приведенной ниже, изображены статуи, называемые Кариатидами, которые были возведены в Акрополе в Афинах более 2500 лет назад. Статуи были изваяны из горной породы, которая называется мрамором. Мрамор состоит из карбоната кальция. В 1980 году подлинные статуи были перенесены в музей Акрополя, а их заменили копиями. Подлинные статуи были разъедены кислотными дождями.

Задание по естествознанию КИСЛОТНЫЕ ДОЖДИ Уровень Трудность задания – 506 (3 уровень – 1 балл). 6 707, 9 5 633, 3 4 558, 7 3 484, 1 2 409, 5 1 334, 9 Ниже 1 уровня Вопрос 1 6 Обычный дождь слегка кислотный, потому что он поглощает некоторое количество диоксида углерода из воздуха. Кислотный дождь более кислый по сравнению с обычным дождем, потому что он поглощает также такие газы, как оксид серы и оксид азота. Откуда эти оксид серы и оксид азота попадают в воздух? ____________________ Компетенция: научное объяснение явлений Знания: Физические системы (естественнонаучные знания) Область применения: Опасности и риски Контекст: Социальный

Задание по естествознанию КИСЛОТНЫЕ ДОЖДИ Уровень Вопрос 2 До погружения на ночь в уксус кусочек мрамора имел массу 2, 0 г. На следующий день этот кусочек вынимают из уксуса и высушивают. Какова будет масса высушенного кусочка мрамора? A Меньше, чем 2, 0 г B Точно 2, 0 г C Между 2, 0 г и 2, 4 г D Больше, чем 2, 4 г Компетенция: Использование научных данных для принятия решений Знания: Физические системы (естественнонаучные знания) Область применения: Опасности и риски Контекст: Личностный Трудность задания – 460 (2 уровень – 1 балл). 707, 9 5 633, 3 4 558, 7 3 484, 1 2 409, 5 1 334, 9 Ниже 1 уровня 6

Задание по естествознанию КИСЛОТНЫЕ ДОЖДИ Уровень Вопрос 3 6 707, 9 Учащиеся, которые проводили этот эксперимент, поместили на ночь кусочки мрамора также в чистую (дистиллированную) воду. Объясните, для чего учащиеся включили этот опыт в свой эксперимент. ____________________ 5 633, 3 4 558, 7 3 484, 1 2 Трудность задания – Полностью верный ответ – 717 (6 уровень – 2 балла); частично верный ответ – 513 (4 уровень – 1 балл). 409, 5 1 334, 9 Ниже 1 уровня Компетенция: Распознание (постановка) научных вопросов Знания: Естественнонаучные исследования (Знания о науки) Область применения: Опасности и риски Контекст: Личностный

Задание по естествознанию КИСЛОТНЫЕ ДОЖДИ

Задание по естествознанию КИСЛОТНЫЕ ДОЖДИ

Технические стандарты исследования PISA Обеспечение качества исследования

Как это проверить? Policy Maker Обеспечение качества исследования PISA Обеспечение качества Как они были получены? Все, кто использует данные, полученные в исследовании, должны быть уверены, что данные Процедуры сбора данных отражают реальную ситуацию в Очень системе образования. Policy Maker интересно! Процедура обеспечения качества Полученные в исследовании реализует данное требование. данные Policy Maker Как это делается?

Что включает система обеспечения качества исследования? План исследования – Руководства по проведению, контроль за адаптацией инструментария – NAF, QAS и др. Данные, подтверждающие обеспечение качества – доказательство того, что намеченный план был реализован таким образом, что было обеспечено качество проведения исследования. Контроль за качеством – Национальные координаторы организуют и контролируют качество большей части исследования. Мониторинг качества – Консорциум контролирует национальные центры и при необходимости требует внести коррективы.

Система обеспечения качества основана на соответствии стандартам качества Консорциум контролирует качество проведения исследования в соответствии с разработанными стандартами качества – Формирование выборки – Язык, на котором проводится тестирование – Участие в проведении апробационного исследования – Адаптация инструментария и руководств – Перевод инструментария и руководств – Проведение тестирования – Реализация национальной части исследования – Мониторинг качества – Тиражирование материалов – Проверка заданий с открытыми ответами – Анализ полученных данных

Источники данных об обеспечении качества проведения исследований – – – Выборка Перевод и верификация Проведение тестирования (MAS) Мониторинг качества Мониторинг работы национального центра Проверка работ (Перепроверка работ, Международная проверка), – Отправленные данные, – Адаптация (QAS, TAS) – Анализ проведения исследования (подготовка отчета)

Данные Национальная часть Сохранность материалов В большинстве случаев данные должны Мониторинг качества соответствовать стандартам. Тиражирование Проверка работ Перевод Отправка данных Отчет Адаптация 2 Данные Проверка NCQM PQM Адаптация 1 Участие в апробации Проведение Стандарты качества Язык тестирования Перевод Выборка Подтверждение соответствия стандартам

Что происходит при несоответствии стандартам качества? Решение зависит от : – Степени несоответствия стандартам – Наличия возможности исправления Чистка данных Проверка данных на соответствие качеству – Анализ данных с целью возможности их исправить – Анализ изменений, внесенных консорциумом – Рекомендации по включению в международный отчет Полная публикация Публикация данных только частичная (в некоторых таблицах) Приложениях к отчету и др.

Структура теста PISA В каждой тетради 4 кластера на 30 мин Тетрадь для коррекционных школ

Структура теста 9 кластеров по чтению 3 кластера по математике 3 кластера по естествознанию 1 кластер по чтению и ½ кластера по математике и 1/2 кластера по естествознанию

Сбалансированный подход к структуре теста В каждой тетради не менее 1 кластера по чтению Каждый кластер появляется во всех частях теста

Дополнительная часть: Вопросы о чтении Reading for School Survey Последняя страница тетради – вопросы о чтении (5 мин)

Два варианта теста PISA-2009 «Стандартный» тетради 1 -13 «Легкий» 13 тетрадей, 8 -13 и 21 -27

Некоторые результаты апробации (о качестве дизайна теста PISA) Выполнение теста – 42% ответили на все задания – 92% имели возможность ответить на все задания (дошли до конца тетради) Электронное чтение текстов – 11% ответили на все задания – 88% имели возможность ответить на все задания Основное исследование 2006 года (OECD) – 20% ответили на все задания – 86% имели возможность ответить на все задания

Для дополнительной информации: Центр ОКО ИСМО РАО: centeroko@mail. ru www. centeroko. ru Исследование PISA: www. oecd. org