Качество образования в начальной школе (по результатам международных

Качество образования в начальной школе (по результатам международных сравнительных исследований) Ковалева Г.С. Москва, 28 февраля 2011 года

Основное содержание 1. Краткая информация о международных исследованиях качества общего образования 2. Качество начального образования (по результатам исследования PIRLS, TIMSS, TEDS-M) 3. Примеры заданий 4. Проблемы в начальном образовании 5. Изменение качества образования при переходе из начальной в основную школу

Изменения в системе оценки качества образования 1992 1995 1998 1999 2000 2001 2003 2006 2009 2010 2020 2001 2003 2009 1998 2004 2006 2010 1995 1999 2003 2007 2000 2003 2006 2009 2001 2006 PIRLS PISA TIMSS

Международные сравнительные исследования качества общего образования Международная Ассоциация по оценке образовательных достижений - IEA TIMSS (1995, 1999, 2003, 2007, 2011 годы) PIRLS (1991, 2001, 2006, 2011 годы) ICCS (1999, 2000, 2008 годы) TEDS (2008 год) Организация экономического сотрудничества и развития – OECD PISA (2000, 2003, 2006, 2009, 2012 годы) TALIS (2008 год)

Краткая информация об исследованиях Цели и задачи Исследование TIMSS и PIRLS TIMSS: Оценка качества математического и естественнонаучного образования в начальной, основной и средней школе (4, 8 и 11 классы) PIRLS: Оценка качества чтения и понимания текста учащимися начальной школы (4 класс) Выявление динамики в результатах (TIMSS: 1995, 1999, 2003, 2007, 2011; PIRLS: 2001, 2006, 2011) Выявление факторов, позволяющих объяснить различия в результатах Исследование PISA Оценка функциональной грамотности 15-летних учащихся в области чтения, математики и естествознания Оценка качества и доступности образования Выявление динамики результатов (2000, 2003, 2006, 2009, 2012) Выявление факторов, позволяющих объяснить различия в результатах

Почему более 60 стран мира участвуют в международных сравнительных исследованиях? Международный симпозиум «Методологические преимущества крупно-масштабных кросс-национальных исследований в области образования (2000 г.): Высокое научное и техническое качество проводимых исследований и вследствие этого высокое доверие к их результатам. Страны используют результаты международных исследований для реформирования системы образования. Во многих странах больше доверия к международным исследованиям, чем к национальным 3. Результаты исследований помогают понять систему образования в стране в сравнении с другими странами Международные исследования способствуют обеспечению качества проведения национальных исследований в области образования 5. В рамках международных исследований наиболее эффективно отрабатываются новые методики и технологии в области оценки качества образования

Что дают международные исследования российским специалистам в области начального образования Результаты исследований позволяют сравнить системы образования в разных странах с точки зрения их эффективности в обучении чтению, математике и естествознанию. Цикличность исследований позволяет каждой стране сравнивать свои сегодняшние достижения с достижениями четырех- или пятилетней давности и оценивать эффективность собственной образовательной политики в обучении учащихся начальной школы.

Качество образования в начальной школе Источники информации: 1. Международное исследование PIRLS (2001, 2006) Выборка 2006 года: 4955 выпускников начальной школы из 232 общеобразовательных учреждений 45 регионов, 232 учителя начальной школы, 232 директора 2. Международное исследование TIMSS (2003, 2007) Выборка 2007 года: 4464 выпускников начальной школы из 206 общеобразовательных учреждений 45 регионов, 246 учителей начальной школы, 206 директоров 3. Исследования качества подготовки учителей начальной школы (TEDS-M, исследования регионального уровня)

Качество образования в начальной школе Основные показатели: По результатам исследования PIRLS 2006 1. Российские школьники 4 классов (выпускники начальной школы) продемонстрировали самые высокие результаты среди своих сверстников из 40 стран мира по умению читать и понимать тексты. 2. В 2006 году показатели России улучшились как по сравнению со средними международными показателями, так и по отношению к российским показателям 2001 года (в 2001 году Россия занимала по рейтингу 12 место из 35 стран-участниц). 3. 61% российских четвероклассников достигли высокого уровня понимания текстов, из них 19% достигли самого высокого продвинутого уровня читательской компетентности. 4. Существенный прирост в результатах зафиксирован по группе умений находить информацию в тексте, формулировать выводы, интерпретировать, обобщать информацию и анализировать, оценивать содержание текста.

Качество образования в начальной школе (продолжение) Основные показатели: По результатам исследования PIRLS 2006 5. По количеству учащихся, читающих каждый день художественную литературу, Россия продолжает оставаться на первом месте (50% российских учащихся по сравнению с 32% в среднем по странам-участницам). 6. В России по сравнению с 2001 годом, ухудшилось взаимодействие школы и родителей, родители теперь меньше участвуют в жизни школы. 7. В России результаты учащихся по чтению в школах, где учится мало детей из экономически неблагополучных семей, на 51 балл выше, чем результаты учащихся в школах, где процент семей, испытывающих экономические трудности, превышает 50%. 8. В России 67% учителей начальной школы довольны своей профессиональной деятельностью. 64% родителей довольны школой, в которой учится их ребенок.

Основные результаты исследования PIRLS-2006

Сравнение результатов исследования PIRLS 2001 и 2006 годов

Распределение российских учащихся по уровням понимания текста (указан процент детей, достигших каждого уровня в России и в 26 странах, принимавших участие в исследовании в 2001 и 2006 годах) Разница в результатах самых сильных и самых слабых читателей: 5% самых слабых читателей показали средний балл 443 и ниже 5% самых хороших читателей показали средний балл 671 и выше разница составила 228 баллов

Распределение выпускников начальной школы по уровню их готовности к обучению чтению

Распределение общеобразовательных учреждений России, участвовавших в исследовании PIRLS-2006, на основе их средних результатов.

Международный тест PIRLS разработан для оценки четырех основных действий читателя, обеспечивающих относительную полноту понимания текста (как художественного, так и информационного): вычитывать детали (единицы информации), впрямую упомянутые в тексте; делать на основе этой информации несложные выводы; интерпретировать и интегрировать отдельные сообщения текста; оценивать содержание, язык и форму всего сообщения и его отдельных элементов.

У развитого читателя должны быть сформированы обе группы умений: умения, целиком основанные на тексте: извлекать из текста информацию и строить на ее основании простейшие суждения; умения, основанные на собственных размышлениях о прочитанном: интегрировать, интерпретировать и оценивать информацию текста в контексте собственных знаний читателя.

Из 64 заданий к литературным текстам российский показатель: ниже среднего международного по 3 заданиям, что составляет 5% от общего числа заданий максимальный по 12 заданиям, это составляет 19% от общего числа заданий

Из 61 задания к информационным текстам по 2-м заданиям (3% от общего числа заданий) российский показатель выполнения ниже среднего международного по 7 заданиям (12% от общего числа заданий) российский показатель является максимальным для всей международной выборки

Литературные тексты Школьникам труднее всего: Интерпретировать и обобщать информацию. Лучше всего они справляются с: Поиском и выявлением информации, заданной в явном виде; С оценкой содержания, языка и структуры текста.

Информационные тексты Школьникам труднее всего: Искать и выявлять информацию, заданную в явном виде. Формулировать прямые выводы и заключения на основе фактов, имеющихся в тексте. Лучше всего они справляются с: Оценкой содержания, языка и структуры текста. Наиболее сложная форма - открытый вопрос

Данные о выполнении заданий к тексту «Невероятная ночь»

Задание 11 к тексту «Невероятная ночь»

Задание 8 к тексту «Невероятная ночь» Часть учащихся не получают максимальный балл за задания, в которых нужно привести два примера. Например: 8. Как журнал помог Ане? Приведи два примера. Средний процент выполнения российскими школьниками этого задания статистически значимо ниже, чем средний международный процент выполнения. За данное задание можно было получить от 0 до 2 баллов. Российские результаты: 0 баллов – 9,1%; 1 балл – 33,5%; 2 балла – 55,4%

Данные о выполнении заданий к тексту «Комочек глины»

Задания 10-11 к тексту «Комочек глины»

Трудность вызывают задания, для выполнения которых нужно обобщить информацию, содержащуюся в разных частях текста, например, в начале и в конце текста (Комочек глины № 10). Средний процент выполнения российскими школьниками этого задания статистически значимо ниже, чем средний международный процент выполнения. За данное задание можно было получить от 0 до 3 баллов. Российские результаты: 0 баллов – 18,3%; 1 балл – 21,1%; 2 балла – 23,5%; 3 балла – 32,9%

Данные о выполнении заданий к тексту «Антарктида»

Задание 11 к тексту «Антарктида»

Задание 4 к тексту «Антарктида» 4. Подумай о том, что говорится в статье об Антарктиде. Приведи две причины, по которым большинство людей, которые приезжают в Антарктиду, не делают этого в период с апреля по сентябрь. За данное задание можно было получить от 0 до 2 баллов. Российские результаты: 0 баллов – 12,6%; 1 балл – 49,3%; 2 балла – 31,3%

Трудность представляют задания, в которых необходимо не только выбрать какое-либо утверждение, но и объяснить свой выбор, привести примеры, доказывающие его. За такие задания значительный процент российских школьников получал 0 баллов, т.к. они лишь выбирали утверждение и больше ничего не писали.

Примеры заданий с максимальными показателями. Вопросы к тексту «Невероятная ночь» 2. Откуда появился крокодил? А из ванной Б с обложки журнала В из-под кровати Г из ближайшей реки 4. Почему Аня решила, что крокодил собирается атаковать? А Он показал длинный ряд зубов. Б Он издал громкое шипение. В Он начал ворчать и фыркать. Г Он двигал хвостом вверх и вниз.

Примеры заданий с максимальными показателями. Вопросы к тексту «Невероятная ночь» 5. Пронумеруй события в том порядке, в котором они произошли в рассказе. Номер 1 уже поставлен. __ Аня увидела крокодила. __ Крокодил съел двух фламинго. __ Аня попыталась объяснить своим родителям, почему разбита дверь. _1_ Аня пошла в ванную комнату. __ Аня вбежала в свою комнату и захлопнула дверь. 7. Как была сломана дверь в спальню? А Крокодил хвостом пробил дверь. Б Большая ваза разбилась о дверь. В Фламинго острым клювом ударил в дверь. Г Кровать ударилась в дверь. 12. Автор рассказа не сказал нам, приснилось Ане её приключение или нет. Приведи одно свидетельство того, что это мог быть сон. Приведи одно свидетельство того, что это мог быть не сон.

Примеры заданий с максимальными показателями. Вопросы к тексту «Комочек глины» 9. Какие слова в рассказе показывают, что маленькая девочка знала, что она хочет сделать? А «её пальцы казались восхитительными» Б «Маленькая девочка увидела комочек глины около окна» В «Девочка держит её осторожно» Г «её руки двигались с определённой целью» 13. Какова главная мысль этого рассказа? А Люди похожи на глину: их можно изменять и придавать им форму. Б В мире много горя. В Любая вещь чувствует себя счастливой, когда находит себе применение. Г Гончарное искусство – лучший способ нести добро в этот мир.

Примеры заданий с минимальными показателями Вопросы к тексту «Комочек глины» 11. Маленькая девочка – важный персонаж в этом рассказе. Объясни, почему так важна её роль во всём, что произошло. 12. Автор рассказа пишет о комочке глины, как о живом существе. Что он хочет помочь тебе представить? А что значит оказаться под дождём Б что может чувствовать комочек глины В что значит работать с глиной Г что чувствуют, когда делают что-то собственными руками Вопросы к тексту «В поисках еды» 12. Объясни, почему землю и песок в бутылку важно насыпать именно слоями. 13. Объясни, почему в эксперименте с дождевыми червями кусочки картофеля и лука важно положить на верхний слой земли. 15. Какой из этих трёх экспериментов показался тебе самым интересным? Используй текст, чтобы объяснить свой ответ.

Не проводится работа с информационным текстом. Учащимся не предлагается проиллюстрировать свои наблюдения, объяснить свою точку зрения. Степень развёрнутости, подробности ответа остаётся произвольной. Следствие: Усугубляет проблемы, выявленные при анализе результатов PIRLS -2006: 1) появление неточных ответов, выводов без опоры на текст; 2) затруднения при формулировании самостоятельного суждения в свободной форме. Серьёзной проблемой является несоответствие между ограниченной и поверхностной информацией, содержащейся в кратких по объёму и обзорных по характеру текстах, и проблемно ориентированными, комплексными вопросами и заданиями. Это несоответствие провоцирует необоснованные и не опирающиеся на анализ текста суждения. Анализ учебников начальной школы, проведенный в 2008-2009 годах в рамках вторичного анализа результатов исследования PIRLS, выявил следующие проблемные точки:

Качество образования в начальной школе (продолжение) Основные показатели: По результатам исследования TIMSS 2007 9. Уровень подготовки российских школьников 4 классов по естественно-математическим предметам устойчиво превышает средние международные показатели. Российские школьники не имеют существенных различий в общеобразовательной подготовке со своими сверстниками из большинства развитых стран мира. Исключение составляет лидирующая в мире группа стран Юго-Восточной Азии и Тихоокеанского региона (Япония, Южная Корея, Сингапур). 10. Высокий уровень достижений по математике продемонстрировали 48% учащихся 4 классов, а по естествознанию - 49%. Из них 19% учащихся овладели знаниями и умениями самого высокого (продвинутого) уровня и по математике, и по естествознанию.

Качество образования в начальной школе (продолжение) Основные показатели: По результатам исследования TIMSS 2007 11. В соответствии с международными стандартами качества низкий уровень подготовки по международной шкале или ниже этого уровня продемонстрировали почти пятая часть учащихся 4 класса (19% - по математике и 18% по естествознанию). Они смогли выполнить лишь самые простые задания международных тестов. 12. По сравнению с 2003 годом отмечается положительная тенденция увеличения числа российских учащихся 4 классов, достигших продвинутого уровня подготовки и по математике (с 11% до 16%), и по естествознанию (с 11% до 16%). Уменьшилось число детей, не освоивших знания самого низкого уровня по естествознанию (с 7% до 4%). По математике в 4 классе не произошло никаких изменений.

Качество образования в начальной школе (продолжение) Основные показатели: По результатам исследования TIMSS 2007 13. Исследование косвенным образом подтвердило улучшение общего экономического состояния российских семей к 2007 году. По данным анкетирования директоров общеобразовательных учреждений, в среднем по России на 10% по сравнению с 2003 годом увеличилось число школ, в которых большинство обучающихся из экономически благополучных семей. 14. По сравнению с 2003 годом улучшилась в среднем образовательная среда в российских школах. Значительно выросло число школ, ответы директоров которых свидетельствовали о хорошем уровне материально-технического оснащения кабинетов естественнонаучных предметов (на 32%). Значительно больше учащихся 4 чувствуют себя в безопасности в школе (на 11%). Отмечено в среднем повышение степени удовлетворенности как директоров, так и учителей своей работой в школе. Наблюдается тенденция – чем выше уровень удовлетворенности учителей своей работой, тем выше средний балл их учащихся.

Основные результаты учащихся по математике TIMSS-2007

Основные результаты учащихся по естествознанию TIMSS-2007

Результаты стран по сравнению с Россией (математика)

Результаты стран по сравнению с Россией (естествознание)

Изменения в образовательной среде (по сравнению с 2003 годом) Улучшилась оснащенность образовательных учреждений (математика 4 класс – на 35% больше учащихся в ОУ с высоким показателем оснащенности кабинетов, 8 класс – на 23%; естествознание 4 класс - на 32%, 8 класс - на 22%) Больше учащихся имеют возможность использовать компьютер на уроках математики (на 10% в 4 классе и на 28% в 8 классе) и естественнонаучных предметов (на 12% в 4 классе и на 36% в 8 классе) Больше учащихся имеют дома компьютер (4 класс - на 28%, 8 класс – на 31%). Однако в семьях учащихся стало меньше книг (на 11% сократилось число учащихся 8 класса, у которых дома более 100 книг) Повысилась безопасность в ОУ (высокие значение показателя): 4 класс: учителя – больше на 9%; учащиеся – больше на 11% 8 класс: учителя – больше на 18%; учащиеся – больше на 12% Стало меньше экономически неблагополучных семей (на 10% увеличилось число учащихся, директора которых сказали, что в их школе (до 10%) учащихся из экономически неблагополучных семей)

Повод к размышлению … Естествознание - непрограммный материал Содержание программ. Содержание тестов TIMSS – результат согласования между всеми странами-участницами. Элементы внепрограммного содержания тестов TIMSS-2007 для 4 класса : Биология – наследственность, география – геологическая история Земли. Физические науки – из 16 предложенных тем не включены в наш стандарт 14 тем (70% заданий по этому разделу выходило за рамки программы).

Повод к размышлению … Естествознание - непрограммный материал 4 класс: С выбором ответа – 58% Со свободным ответом – 38% 8 класс: С выбором ответа – 52% Со свободным ответом – 39% Российские выпускники начальной школы продемонстрировали самые лучшие результаты среди всех стран-участниц по 9 заданиям (7 заданий относятся к области «физические науки», 2 – к области биологии). Из 9 заданий не изучались на уроках 5!

Повод к размышлению … Общие проблемы подготовки учителей Слабое владение диагностикой учебных достижений: выявление типичных ошибок учащихся; определение направления коррекционной работы; соотнесение трудности задания с особенностями контингента учащихся и моделирование заданий разной трудности; нахождение разных способов решения задания и обоснование наиболее рационального способа

Пример 1 (международное исследование TEDS-M) Евгений замечает, что когда он набирает на калькуляторе 0,2 x 6, то ответ меньше 6, а когда набирает 6 : 0,2 , то он получает число, которое больше 6. Он озадачен этим и просит у своего учителя новый калькулятор! (а) В чём вероятнее всего заблуждается Евгений? (b) Нарисуйте наглядный образ, который учитель мог бы использовать, чтобы представить произведение 0,26 и тем самым помочь Евгению понять, ПОЧЕМУ ответ таков, какой он есть? (a) 1,3% (31%); (b) 14,2% (10,5%) – Россия 20,0% (11,5%); (b) 15,9% (16,4%) – Cр. Межд. (a) 52,7% (13,3%); (b) 36,6% (33,4%) – Лидирующие страны

Пример 2 (международное исследование TEDS-M, аттестационная работа для учителей начальной школы) *1. 21%; 2. 9,4%; 3. 27,6; 4. 41,3% Представьте, что вы знакомитесь с опытом преподавания арифметики в других школах. Вам предлагают следующие способы записи вычитания трехзначных чисел: Какой способ или способы можно было бы использовать, чтобы вычесть ЛЮБОЕ положительное трехзначное число из большего числа? Все три способа. Только способы A и B. Только способы B и C. Только способ B.

Пример 1. Ниже изображены две подарочные коробки, обвязанные лентой. Коробка A - куб со стороной 10 см. Коробка В - цилиндр, высота и диаметр которого равны по 10 см.

Пример 2. На первом уроке при обучении детей измерению длины, учительница попросила детей измерить ширину их книг, используя скрепки, а затем используя карандаши. Укажите ДВЕ возможные причины, почему она выбрала такой прием, а не начала просто учить детей пользоваться линейкой?

Результаты выполнения некоторых заданий из аттестационной работы для учителей начальной школы (1536 учителей) Указать примеры наиболее сложных задач из предложенного списка (48%) Составить задачу того же типа, но более легкую для учащихся (68%) Переформулировать вопрос, не используя слово ОБЪЕМ (44%) Определить, в чем причина ошибки ученика (13%) Нарисовать наглядный образ, чтобы помочь ученику понять ответ (10%) Прогнозировать затруднения учащихся по отдельным типам задач ( 15-54%)

Изменение качества образования при переходе из начальной в основную школу Основные показатели: По результатам исследования TIMSS 2007 1. Сравнение результатов российских выпускников начальной школы и учащихся 8 классов свидетельствует о том, что по большинству показателей результаты учащихся начальной школы лучше, чем результаты учащихся основной школы. 2. Сравнение распределения российских учащихся 4 и 8 классов по международным уровням показывает, что в основной школе процент учащихся, имеющих продвинутый уровень образовательных достижений и по математике, и по естествознанию ниже, чем в начальной школе). В лидирующих странах процент учащихся 4 и 8 классов, достигших только продвинутого уровня подготовки, выше, чем в России – 40-45% по математике и 32-36% по естествознанию. Причем данные значения практически не меняются при переходе обследуемой совокупности учащихся из начальной в основную школу.

Изменение качества образования при переходе из начальной в основную школу Основные показатели: По результатам исследования TIMSS 2007 3. При переходе из начальной в основную школу сокращается как общее число учащихся, показывающих удовлетворительные результаты (с 81% до 68% по математике, и с 82% до 76% по естествознанию), так и число учащихся, достигающих самых высоких уровней подготовки (с 16% до 8% по математике, и с 16% до 11% по естествознанию). Увеличивается число учащихся с низким уровнем подготовки (с 19% до 32% по математике, и с 18% до 24% по естествознанию). Причем следует отметить, что различия по математике более существенные, чем по естественнонаучным предметам. При анализе различий в результатах учащихся 4 и 8 классов по естествознанию следует иметь в виду, что доля естественнонаучных предметов в учебном плане начальной школы существенно ниже (5%), чем в основной школе (в 8 классе – 25%).

Изменение качества образования при переходе из начальной в основную школу Основные показатели: По результатам исследования TIMSS 2007 4. Проблемы, выявленные на начальной ступени обучения (затруднения при интеграции и применении знаний, изложении своих мыслей в письменной форме; сложности при работе с материалом, представленным в непривычном формате), остаются и на более высокой ступени обучения, в основной школе. Но некоторые из них усиливаются, например, резко увеличивается число учащихся, не приступающих к выполнению заданий со свободным ответом или пытающихся объяснить явления из окружающей жизни. Данные факты могут свидетельствовать о проблемах в формировании самостоятельности мышления у российских учащихся основной школы.

«Тяни-толкай» – измеритель динамики читательской грамотности PIRLS + вопросы PISA-подобные PISA + вопросы PIRLS-подобные

Что делать? Искать не там, где светло… искать, где потеряно…

Повод к размышлению … Результаты России в международных сравнительных исследованиях качества общего образования

Повод к размышлению … Более эффективные школы России (по результатам исследований PIRLS, PISA и TIMSS Более крупные образовательные учреждения с хорошей материальной базой, c укомплектованным штатом учителей, c хорошими образовательными ресурсами (библиотекой, лабораторным оборудованием, компьютерами и т.д.), Больше учителей, удовлетворенных своей работой Более мотивированные учащиеся Доброжелательные отношения между учащимися и учителями Высокие требования к учащимся Хорошая дисциплина и др.

Повод к размышлению … Более эффективные школы России (по результатам исследований PIRLS, PISA и TIMSS Учащиеся имеют более высокие результаты, если: Они хорошо мотивированы, Не тревожны, Верят в собственные силы и способности, Владеют эффективными стратегиями обучения (включая постановку цели, выбор стратегий, самоконтроль и самооценку процесса обучения)

Для дополнительной информации Исследования TIMSS, PIRLS сайт Международной Ассоциации по Оценке Учебных Достижений - IEA (International Association for the Evaluation of Educational Achievement): http:// www.iea.nl/ http://timss.bc.edu/ http://pirls.bc.edu/ ссылка на международную базу данных результатов PIRLS-2006 http://pirls.bc.edu/TIMSS2007/idb_ug.html ссылка на международную базу данных результатов TIMSS-2007 http://timss.bc.edu/pirls2006/user_guide.html Исследование PISA сайт Организации Экономического Сотрудничества и Развития - OECD (Organisation for Economic Co-operation and Development): www.oecd.org ссылки на международную базу данных результатов PISA-2000: http://pisa2000.acer.edu.au/index.php PISA-2003: http://pisa2003.acer.edu.au/index.php PISA-2009: http://pisa2006.acer.edu.au/ Исследовательский институт IEA-ETS Research Institute (IERI). Направление деятельности: совершенствование методологии исследований; подготовка специалистов; распространение результатов. ссылка на сайт: http://www.ierinstitute.org

Вопросы и комментарии Ковалева Галина Сергеевна, руководитель отдела оценки качества общего образования Института содержания и методов обучения РАО Тел./факс: (499)-246-24-21 e-mail: [email protected] сайт: www.centeroko.ru