Тренды достижений школьников стран Восточной Европы и России

Тренды достижений школьников стран Восточной Европы и России в TIMSS и PISA. Проблемы объяснения. 1

Постановка исследования Стартовые условия исследования: 1. Страны Восточной Европы схожи по своим изначальным (на период начала реформ) характеристикам системы образования. 2. Страны Восточной Европы являются регулярными участниками мониторинговых сравнительных исследований качества образования. Задача: Сравнить траектории национальных достижений школьников в TIMSS и PISA в изначально схожих системах и объяснить их, используя данные о контексте реформ. - Какие источники данных могу использоваться? Опросники - Энциклопедии стран - Внешняя информация 2

Сравнение TIMSS (8 класс) и PISA (математика и наука) 1. Концептуальные различия в двух тестах 2. Образовательные системы могут быть по разному ориентированы 3

600 РОССИЯ 500 400 PISAmath 300 200 TIMSSmath 100 2009 2008 2007 2006 2005 2004 2003 2002 2001 2000 1999 1998 1997 1996 1995 0 600 Два теста TIMSS и PISA – 500 разные. Типично: 400 1. TIMSS – падает (в РФ исключение последний год), PISA более устойчива за весь 300 промежуток времени 200 2. PISA хуже TIMSS 3. Динамика не совпадает. 100 PISA-sc TIMSS-sc 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 0 4

1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 600 ВЕНГРИЯ 500 400 300 PISA-math 200 100 TIMSS-math 0 600 500 PISA-sc 400 300 200 TIMSS-sc 100 0 5

Типы информации о реформе • • • стандарты законы программы учебные планы и пр. проводимые мероприятия и пр. I. Намерения II. Осуществление • что происходит на уроках • что фактически умеют и делают педагоги • как используется обратная связь в системе и пр. • достижения школьников измеренные, к примеру, заданиями PISA III. Результат Возвращаясь к нашему основному замыслу – важно получить объяснения различий. Из какого источника их черпать? как "намерения" встречаются школой 6

Доступная информация о реформе Источник Анкета «Энциклопедии стран» Внешняя информация Объяснительный потенциал Осуществление Намерения Осуществление Результат 7

Проблемы с источниками: АНКЕТЫ - несопоставимость 8

Проблемы с источниками: АНКЕТЫ – социальная желательность «Я использовал(а) результаты учащихся для корректировки образовательных целей нашего образовательного учреждения» , «Я давал(а) учителям советы и рекомендации по совершенствованию их системы преподавания» . вероятность положительных ответов неправомерно высока, так как такого рода поведение является нормативным, обязательным для главы образовательного учреждения. 9

Проблемы с источниками: АНКЕТЫ – социальная желательность «Как часто Вы читаете детские книги для повышения своего профессионального уровня? » 80 70 60 70. 7 50 40 30 20 10 0 27. 1 1. 5 0. 8 1 раз в неделю или 1 -2 раза в месяц 1 -2 раза в год более Сложно поверить, что 70 процентов российских учителей математики или физики читают детские книги для профессионального развития не реже одного раза в неделю. Скорее, можно предположить, что такого рода ответы были вызваны представлением этих учителей о «хорошем учителей» и желанием соответствовать некоторому образцу. 10

Проблемы с источниками: АНКЕТЫ - осуществление или намерение? «За последние два года участвовали ли Вы в мероприятиях по повышению квалификации в области преподавания математики? » Часто исследователь может по-прежнему иметь дело лишь с намерениями. Например, вопросы вида: «За последние два года участвовали ли Вы в мероприятиях по повышению квалификации в области преподавания математики? » даже при положительном ответе учителя это далеко не означает факт состоявшегося профессионального развития в этой области. 11

Проблемы с источниками: «ЭНЦИКЛОПЕДИИ СТРАН» и другие описания образовательных систем - - Декларация: «учителя постоянно поощряют и помогают учащимся учиться своим собственным, индивидуальным, оригинальным способом, который был бы наиболее подходящим для каждого из них» Несопоставимость Принципиальным недостатком этих данных следует признать их, чаще всего, декларативный характер. Под декларацией здесь имеется в виду тот уровень описания, который T. Plomp назвал «запланированным» (“intended”): страна публикует свои намерения, отраженные в нормативных документах (законах и постановлениях), стандартах и национальных программах. Однако сложнее дать оценку осуществленной части намерений, поскольку здесь требуется фактическая информация по происходящему в школах. Даже если указывается, что «учителя… И второй недостаток: не вся фактическая информация, предлагаемая в описании национальной системы образования сопоставима (по объему, по году, по источнику) при межнациональных сравнениях. То, на чем сфокусировано описание реформы обязательного образования в одной стране, может вовсе не получить освещения в другой. Это не мешает проводить качественное исследование отдельной страны, но эти несопоставимые фрагменты информации невозможно использовать для сравнения «случаев» друг с другом 12

Общая характеристика намерений Децентрализация, передача большей автономии на уровень школ Двухуровневый ученый план Удлинение периода общего образования «Компетентностно» ориентированный учебный план подход Создание стандартизированных инструментов оценки Тренинг учителей ИКТ в школах 13

Проблемы с источниками: ВНЕШНИЕ ДАННЫЕ Часто несопоставимость и разрывность Макроэкономический характер 14

Доступная информация о реформе: Источник Ожидание к информации Информация по факту Анкета Осуществление Намерения Энциклопедии Намерения Осуществление Результат Намерения Формальное осуществление Внешняя информация Намерения Осуществление Результат 15

Некоторые варианты решения 1) Анализ Анкет школьников и администрации и учителей в части преимущественно только фактической информации Из вышеописанных международных сравнительных исследований можно получить описание трендов достижений, но «положить их в контекст» с целью определения успешных и не успешных факторов образовательной политики не удается в той мере, в которой этого хотелось бы. Тому есть ряд причин: во-первых, данные опросников TIMSS и PISA обладают рядом проблем, в частности несопоставимостью данных, полученных как в разных исследованиях, так и в разные волны одного исследования. Во-вторых, сбор макросоциальных и экономических показателей по интересующим нас странам показал, что информация по ним фрагментарна и часть информации уникальна для каждой страны. В-третьих, собирая информацию из различного рода публикаций, мы опять сталкиваемся с проблемой фрагментарности и не полной сопоставимости получаемых сведений, а также должны понимать, что часто информация носит декларативный характер и представляет только уровень намерений системы образования. Следовательно, мы приходим к выводу, что в исследовании, направленном на поиск того, какие элементы образовательной системы являются эффективными средствами улучшения достижений школьников, нецелесообразно использовать только данные PISA и TIMSS. Попытка дополнить их данными из относительно свободных источников также не всегда приводит к желаемому результату. Они требуют дополнительных именно исследовательских данных, и как показывает 16 международный опыт, так довольно часто и делается.

Некоторые варианты решения 2) Национальные дополнительные исследования, позволяющие идентифицировать школы, учителей или учащихся – участников PISA/TIMSS и объединить информацию. Также в качестве источника контекстной информации используется национальная статистика. Project for the analysis of Learning and Achievement in Mathematics (PALMA, Germany) Youth in Transition Survey (YITS, Canada), Longitudinal Survey of Australian Youth (LSAY, Auastralia). 17

Некоторые варианты решения 3) во многих странах ведутся специальные комплексные исследования происходящего в системе образования: от дошкольного уровня до оценки подготовки учителей вузами. 18

СПАСИБО ЗА ВНИМАНИЕ! НИУ-ВШЭ 101000, Россия, Москва, Мясницкая ул. , д. 20 Тел. : (495) 621 -7983, факс: (495) 628 -7931 www. hse. ru