Проект "Оценка результатов обучения в высшем образовании" (Assessment of Higher Education Learning Outcomes, AHELO) в России Вебинар для вузов-участников проекта AHELOИнженерные науки 25 апреля 2012 Высшая школа экономики, Москва, 2011 www. hse. ru
Программа вебинара • • Представление проекта AHELO: цели, задачи, методология, характер и тематика оценочных заданий, инструментарий для оценки контекста результатов обучения. Предварительные результаты реализации проекта в России. Роль и задачи институционального координатора, администраторов тестирования в участвующих вузах. Порядок взаимодействия с Национальным контактным центром AHELO. Определение целевых групп студентов и преподавателей. Подготовка списков студентов и преподавателей и процедура выборки. Приглашение студентов и преподавателей к участию в исследовании. Организационная и техническая подготовка к проведению тестирования студентов. Обсуждение возможного перечня инженерных специальностей для тестирования студентов по направлению «гражданская инженерия» . Работа с данными исследования. Перспективы для дальнейшей работы консорциума участвующих вузов.
I. AHELO – Инновационный (groundbreaking) международный проект в области образования
Цель проекта Конечная цель - разработка комплексного, объективного и научно обоснованного подхода к оценке результатов обучения в ВО (альтернатива международным рейтингам вузов); получение фото международно сопоставимой информации о результатах обучения в ВО на уровне вузов, факультетов, образовательных программ Цель feasibility study (2008 -2012) - оценка принципиальной возможности международного измерения уровня знаний и практических навыков студентов вузов, обучающихся в различных фото языковых, культурных и институциональных контекстах; разработка соответствующих инструментов измерения для оценки общих знаний и компетенций и специальных знаний и компетенций для двух пилотных дисциплин – Экономика и Инженерные науки Высшая школа экономики, Москва, 2011
Направления проекта фото фоо Высшая школа экономики, Москва, 2011
Страныучастницы 17 стран-участниц (Швеция, Великобритания и Саудовская Аравия – наблюдатели) Направления исследований в рамках проекта Участвующие страны Исследование общих навыков и компетенций Колумбия, Египет, Финляндия, Корея, Кувейт, Мексика, Норвегия, Словакия, США (4 штата) фото Исследование специальных навыков и Бельгия (Фландрия), фото компетенций по дисциплине Египет, Италия, Мексика, Нидерланды, «Экономика» Россия, Словакия Исследование специальных навыков и Австралия, Египет, Япония, Колумбия, компетенций по дисциплине Мексика, Словакия, Канада «Инженерные науки» (провинция Онтарио), Абу Даби, Россия Высшая школа экономики, Москва, 2011
2 Этапа проекта 1 -я фаза (pre-implementation phase) – разработка и апробация фото инструментария (2010 – 2011) Перевод, адаптация и верификация для оценки компетенций студентов Разработка инструментария для оценки контекста результатов обучения Проведение фокус-групп фото Проведение исследования на небольшой выборке студентов 2 -я фаза (full implementation phase) – проведение полевого исследования на основе репрезентативной стратифицированной выборки во всех вузах (2011 -2012) Высшая школа экономики, Москва, 2011
Методология проекта (2) Основа - методология проекта Tuning Educational Structures in Europe Признание разнообразия программ обучения и степеней Не унификация, а сопоставимость и общее понимание Платформа для выработки университетами согласованных контрольных фото параметров (в терминах результатов обучения и компетенций ) по предметным областям, необходимых для обеспечения сопоставимости, совместимости и прозрачности программ. Результаты обучения - ключевые знания и навыки, которыми должен овладеть студент в ходе процесса обучения; то, что учащийся должен знать, понимать и уметь демонстрировать после завершения обучения (уровень компетенции) ВАЖНО! Фокус на оценку не теоретических знаний, а навыков фото и умений их применения в контекстах, максимально приближенных к будущей профессиональной практике (“above content” knowledge and skills) OECD (2011) A Tuning-AHELO Conceptual Framework of Expected Desired/Learning Outcomes in Engineering http: //dx. doi. org/10. 1787/5 kghtchn 8 mbn-en Высшая школа экономики, Москва, 2011
Инструментарий проекта 1. Инструментарий AHELO для оценки компетенций студентов Онлайн тестирование продолжительностью 90 мин. , состоящее из 2 типов заданий: - 3 варианта заданий открытого типа с конструируемым ответом (в фото каждом варианте 5 -6 заданий) - 10 заданий с выбором единственного правильного ответа (тестовые задания) 2. Инструментарий AHELO для оценки контекста результатов обучения Заполнение онлайн вопросников (10 мин. ) фото Для студентов Для преподавателей Для институциональных координаторов и администрации вузов 3. Дополнительный инcтрументарий для оценки контекста результатов обучения (AHELO+) Заполнение онлайн вопросников (15 мин. ) Для студентов www. hse. ru/ahelo/q Для преподавателей www. hse. ru/ahelo/f Высшая школа экономики, Москва, 2011
Ожидаемые результаты и эффекты проекта Международный инструментарий для оценки качества ВО и возможности учета лучшего зарубежного опыта при совершенствовании национальной оценки качества фото Международно сопоставимые данные об уровне подготовки студентов Международное позиционирование российских вузов в международном образовательном пространстве Привлечения внимания иностранных учащихся и преподавателей к российским образовательным программам Возможности участия в разработке комплексной международной системы оценки качества подготовки в вузах и учета особенностей, интересов и потребностей отечественного образования в этом международном процессе Высшая школа экономики, Москва, 2011
II. Предварительные результаты реализации проекта AHELO в России
Основные результаты 1. Большой интерес и поддержка со стороны российских вузов фото (реализация новых подходов к оценке качества с учетом требований рынка труда, переход на ФГОС-3, переход на Болонские принципы, в том числе в области качества, предложения МОН по проведению внешней аттестации для студентов-бакалавров …) 2. Реализация проекта AHELO в России как крупного фото межвузовского горизонтального проекта, направленного на формирование системы независимой оценки качества высшего образования Высшая школа экономики, Москва, 2011
Вузы-участники проекта (1) Консорциум 19 вузов (Экономика), 17 – участие во 2 -й фазе Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации Государственный университет управления фото Дальневосточный федеральный университет Казанский (Приволжский) государственный университет Московский государственный институт международных отношений (Университет) МИД России Московский государственный университет им. М. В. Ломоносова Московский государственный университет экономики, статистики и информатики Национальный исследовательский университет «Новосибирский государственный университет» фото Российский экономический университет им. Г. В. Плеханова Санкт-Петербургский государственный университет экономики и финансов Северный (Арктический) федеральный университет Северо-Восточный федеральный университет им. М. К. Аммосова Сибирский федеральный университет Уральский федеральный университет имени первого Президента России Б. Н. Ельцина Финансовый университет при Правительстве РФ Южный федеральный университет Алтайский государственный университет Высшая школа экономики, Москва, 2011
География проекта в России по Экономике фото Высшая школа экономики, Москва, 2011
Вузы-участники проекта (2) Консорциум вузов (Инженерные науки) (в процессе формирования) Дальневосточный федеральный университет Донской государственный технический университет Московский государственный технический университет им. Н. Э. Баумана фото Национальный исследовательский Иркутский государственный технический университет Казанский национальный исследовательский технический университет им. А. Н. Туполева Национальный исследовательский технологический университет МИСи. С Пермский национальный исследовательский политехнический университет Санкт-Петербургский государственный политехнический университет Северный (Арктический) федеральный университет им. М. В. Ломоносова Северо-Восточный федеральный университет им. М. К. Аммосова Сибирский федеральный университет фото Национальный исследовательский Томский политехнический университет Тюменский государственный нефтегазовый университет Уральский государственный горный университет Уральский государственный университет путей сообщения Уральский федеральный университет им. первого Президента РФ Б. Н. Ельцина Южный федеральный университет Южно-Российский государственный технический университет Высшая школа экономики, Москва, 2011
География проекта в России по Инженерным наукам фото Высшая школа экономики, Москва, 2011
Что уже сделано 1 -я фаза Сформирован консорциум вузов-участников Апрель-июнь 2011 - проведены фокус-группы во всех вузах (18 на русс. языке, 3 на англ. яз, всего 204 студента) фото Июнь-сентябрь 2011 – обработаны и проанализированы результаты фокус-групп Сентябрь 2011 - завершен ATAV (адаптация, перевод и верификация) оценочных заданий + пост-верификация с учетом результатов фокус-групп и рекомендаций модераторов из вузов Октябрь 2011 – завершен ATAV инструментов для оценки контекста результатов обучения (анкеты для преподавателей, студентов, администрации вузов) Создана система коммуникации и сетевого взаимодействия с вузами: сайт проекта www. hse. ahelo, регулярные тренинги и вебинары для вузов-участников 2 -я фаза Январь-февраль 2012 - Проведение выборки из целевых групп студентов и преподавателей Февраль 2012 - Апробация онлайн системы тестирования Февраль-март 2012 - Организационная и техническая подготовка к проведению поля Высшая школа экономики, Москва, 2011
Текущая и дальнейшая работа Март – май 2012 – проведение основного исследования в вузах (тестирования и опроса студентов, опроса преподавателей и институциональных координаторов) До конца июня 2012 – оценка заданий с конструируемыми ответами фото Июнь – август 2012 - обработка и представление данных. Качественный и количественный анализ ОЭСР Август- октябрь - Подготовка отчетных материалов для ОЭСР. Внутренний анализ результатов Декабрь 2012, Итоговая национальная конференция - Обсуждение возможностей использования методологии, инструментария и результатов фото AHELO в ходе текущей работы по внедрению ФГОС-3 и созданию независимой комплексной системы оценки качества высшего образования в России Середина марта 2013, итоговая международная конференция (Университет прикладных наук Утрехта) - Обсуждение возможностей реализации полномасштабного международного мониторингового исследования качества на основе методологии AHELO (PISA для высшего образования) как реальной альтернативы международных рейтингов Высшая школа экономики, Москва, 2011
III. Роль и задачи институционального координатора, администраторов тестирования. Взаимодействие в НКЦ
Задачи институциональных координаторов • Ознакомление со всеми рабочими документами, необходимыми для исследования, рассылаемыми НЦ • ВАЖНО! Получение, проверка и обеспечение строгой конфиденциальности и безопасности всех тестовых материалов и фото инструментария, получаемых на протяжении всего периода подготовки и проведения исследования • Подготовка необходимых документов для проведения исследования • Своевременное определение и резервирование аудиторий (компьютерных классов) для проведения исследования фото • Определение и подготовка администраторов тестирования, взаимодействие с ними и с внешними наблюдателями в ходе проведения исследования • Проверка всех материалов, которые должны быть возвращены и переданы в НЦ ОЭСР (2011) Руководство по координации работы с учебными заведениями http: //www. hse. ru/ahelo/docs Высшая школа экономики, Москва, 2011
Требования к администраторам тестирования • • • Наличие опыта проведения или мониторинга тестирования и оценивания студентов (экзаменов, зачетов и т. д. ) Должны иметь опыт использования компьютерных и онлайн систем оценивания (быть способны загрузить и запустить онлайн фото систему, решить возможные технические проблемы студентов и т. д. ) Желательно не иметь прямых профессиональных контактов со студентами, которые участвуют в тестировании Численность АТ • • От вуза – один АТ на одну аудиторию, если аудитория большая – 1 фото АТ на 40 студентов От НЦ – один или несколько независимых наблюдателей ВАЖНО! Желательно присутствие непосредственно на тестировании (или в пределах досягаемости) ИТ-сотрудника Высшая школа экономики, Москва, 2011
Задачи администраторов тестирования • • • Помощь ИК в тех. и орг. подготовке тестирования Получение, проверка, установка и обеспечение конфиденциальности установленной версии всех тестовых материалов Проверка готовности помещений и рабочих мест (не позднее чем за 30 мин. фото до начала тестирования) Совместно с ИК - встреча студентов, проверка и отметка прибывших и отсутствующих студентов по списочным листам (будут подготовлены НЦ в формате Excel после процедур выборки) Сопровождение студентов до рабочих мест, выдача им индивидуальных логинов и паролей Предварительное объяснение правил тестирования и установочные рекомендации фото Мониторинг во время тестирования (обход, отслеживание процесса выполнения студентами заданий на компьютере) и напоминание о времени тестирования Сопровождение студентов при необходимости выхода из аудитории Ведение отчета о прохождении тестирования Завершение тестирования Сбор всех вспомогательных материалов и черновиков после тестирования ОЭСР (2011) Руководство по проведению тестирования http: //www. hse. ru/ahelo/docs Высшая школа экономики, Москва, 2011
Порядок взаимодействия с НКЦ (1) Виды работ Сроки Кто реализует Окончательная верификация основного оценочного инструментария и доработка доп. инструментария (AHELO+) До конца апреля Национальный центр (НЦ) Апробация онлайн платформы для тестирования До начала тестирования в вузах НЦ совместно с институциональными координаторами (ИК) Разработка выборки (подготовка списков целевых групп студентов и преподавателей для Межд. консорциума) Не позднее чем за 7 дней до даты тестирования в вузах НЦ совместно с ИК Определение администраторов тестирования (методистов) в вузах, проведение их тренингов До конца апреля ИК при содействии НЦ Согласование тех. и орг. возможностей проведения исследования в вузах До конца апреля ИК Высшая школа экономики, Москва, 2011 фото
Порядок взаимодействия с НКЦ (2) Виды работ Сроки Кто реализует Формирование национальной команды специалистов по оценке заданий с конструируемыми ответами. Проведение их тренинга До конца мая НЦ Проведение основного исследования До конца мая Вузы совместно с НЦ Обработка и представление данных. Качественный и количественный анализ Июнь-август НЦ Дополнительный анализ программ подготовки инженеров с точки зрения ожидаемых результатов и формируемых компетенций Июль-ноябрь При участии вузов Подготовка отчетных материалов для ОЭСР Август-октябрь НЦ Национальная конференция по AHELO Конец декабря При участии вузов, НКЦ, МОН, Фонда Сколково Международная конференция по AHELO Март 2013, Нидерланды Возможно участие вузов Высшая школа экономики, Москва, 2011 фото
IV. Целевые группы студентов и преподавателей. Выборка
План/порядок подготовки выборки Виды работ Кто делает 1. Определение целевой группы (студентов/преподавателей) в каждом вузе НЦ совместно с ИК 2. Подготовка полного списка студентов/преподавателей, которые попадают в целевую группу ИК совместно с НЦ 3. Случайная выборка (студентов/преподавателей) из подготовленных полных список (автоматизировано с использованием специальных программ – SPSS, SAS/STAT и т. д. НЦ совместно с Межд. консорциумом (МК) фото МК совместно с НЦ 4. Компьютерная оценка, которая позволяется от искажений и диспропорций в характеристиках и оценках студентов и преподавателей Высшая школа экономики, Москва, 2011
Основные требования к разработке выборки • • • o • Случайная стратифицированная выборка (одноступенчатая или многоступенчатая) Доля участия – 75 % от включенных в выборку фото Ожидаемый размер выборки для студентов – 200 человек от вуза (150 человек – реальное участие с учетом 25% не участвующих) Если менее 200 или чуть более 200 – включаются все Ожидаемый размер выборки для преподавателей – 40 фото человек от вуза (30 человек – реальное участие с учетом 25% не участвующих) Если менее 40 или чуть более 40 – включаются все ВАЖНО! Не допускается замена не участвующих студентов и преподавателей (‘volunteer sampling’) ОЭСР (2011) Руководство по формированию выборки http: //www. hse. ru/ahelo/docs Высшая школа экономики, Москва, 2011
Целевая группа студентов В целевую группу студентов входят: • 4 -й курс бакалавритата или специалитета по направлениям инженерной подготовки, соответствующих профилю «Гражданская инженерия» • Студент должен быть официально зачислен, регулярно посещать занятия, не относиться к категории студентов, готовящихся к отчислению фото В целевую группу не входят и должны быть исключены при выборке: • Студенты на стажировке в период исследования • Студенты на производственной практике в период исследования • Студенты, обучающие дистанционно или заочно (в случае нехватки выборки из студентов-очников в выборку можно включать студентов, обучающихся по очнозаочной/вечерней форме) фото В целевую группу входят, но должны быть изъяты из выборки в случае попадания в выборку • Студенты с ограниченными возможностями ВАЖНО! В общий список вуза включаются все студенты (в том числе подлежащие исключению или изъятию из выборки). Студенты, исключенные из выборки должны быть указаны в конце общего списка и помечены как исключенные Высшая школа экономики, Москва, 2011
Целевая группа преподавателей В целевую группу входят: • все преподаватели, относимые к категории ППС, в чьи трудовые обязанности входит в том числе подготовка студентов-бакалавров (или специалистов) по направлению подготовки Инженерные науки по профильным для студентовинженеров дисциплинам в течение текущего учебного года, включая период фото проведения исследования В целевую группу не входят (должны быть исключены при выборке): • Преподаватели, обучающие не по профильным предметам (например, преподаватели истории) • Преподаватели, обучающие профильным предметам студентов неинженеров • Преподаватели, в том числе совместители, исследовали, АУП, не имеющие фото текущих преподавательских обязанностей В целевую группу входят, но могут быть изъяты из выборки в случае попадания в • Преподаватели, преподающие профильные дисциплины для студентов, но имеющие большую доп. административную нагрузку ВАЖНО! В общий список вуза включаются все преподаватели (в том числе подлежащие исключению или изъятию из выборки). Преподаватели, исключенные из выборки должны быть указаны в конце общего списка и помечены как исключенные Высшая школа экономики, Москва, 2011
Подготовка списка студентов Шаг 1: Подготовка полного списка студентов, на основании рамки (таблицы), подготовленной НЦ и включающей: • Пол студента • Уровень успеваемости (по используемой в вузе 5 или 10 -балльной шкале) • Широкое направление подготовки (в соответствии с МСКО) фото • Узкое направление подготовки (в соответствии с МСКО) • ФИО студента • Дата рождения студента • E-mail студента • Номер студенческого (ID) студента • Тел. студента • Статус студент- включен/изъят/исключен из выборки фото • Доп. основание для стратификации – обучение на бюджетной или платной основе • Другие основания для стратификации? (для обсуждения) Шаг 2: Подготовка анонимного списка студентов Шаг 3: Отправка полного анонимного списка студентов в НЦ Шаг 4: Автоматизированная случайная выборка + присвоение ID (НЦ) Шаг 5: выдача логинов и паролей для тестирования (МК) Шаг 6: передача логинов и паролей НКЦ вузам (не позднее чем за 3 дня до начала тестирования) Высшая школа экономики, Москва, 2011
Подготовка списка преподавателей Шаг 1: Подготовка полного списка преподавателей на основании рамки (таблицы), подготовленной НЦ Шаг 2: Подготовка анонимного списка преподавателей фото Шаг 3: отправка полного анонимного списка преподавателей в НЦ Шаг 4: автоматизированная случайная выборка (НЦ) Шаг 5: Автоматизированная случайная выборка + присвоение ID (НЦ) Шаг 6: выдача логинов и паролей для опроса (МК) Шаг 7: передача логинов и паролей НКЦ вузам (вместе с паролями фото студентов либо в день завершения тестирования студентов – опрос преподавателей проходит в течение недели после тестирования студентов ) Высшая школа экономики, Москва, 2011
Дальнейшая работа с выборкой • Рассылка институциональным координаторам списков с присвоенными логинами и паролями ВАЖНО! Не рассылать никому логины и пароли до проведения фото тестирования • Идентификация попавших в выборку студентов и преподавателей • Приглашение к участию в исследовании: подготовка и рассылка пригласительных писем • Мотивирование, бонусы и поощрения для студентов фото • Мотивирование преподавателей • Обеспечение явки студентов (административные меры) Высшая школа экономики, Москва, 2011
V. Приглашение студентов и преподавателей к участию. Организационная и техническая подготовка тестирования
Мотивирование и приглашение студентов • Рассылка писем на основании проекта письма от НКЦ (аналогично для преподавателей) • Выдача международных сертификатов об участии – согласовано с межд. консорциумом фото Дополнительные возможности: • Дополнительные баллы, кредиты • Подарочные сертификаты, например, кредит-сертификат в университетский книжный магазин • Денежное вознаграждение (нежелательно) • Подарки и презенты (USB, сувениры с университетской символикой…) • Лотереи среди студентов (значимые подарки показавшим лучшие результаты…) • Анонсирование и PR проекта и важности участия в исследовании на университетских сайтах, газетах и т. д…. . фото ВАЖНО! По возможности – организация питания студентов после прохождения тестирования Высшая школа экономики, Москва, 2011
Планирование времени тестирования Общее время тестирования – не менее 3 часов, включая: • Тех. и орг. подготовку (загрузка заданий, проверка компьютеров, рабочих мест и т. д. ) – не менее 30 мин. фото • Встречу студентов, проверку участников по спискам, сопровождение до рабочих мест, выдачу инд. паролей и логинов – не менее 30 мин. • Объяснение правил участия, установочные рекомендации – 10 мин. • Тестирование – 90 мин. (студент сам распределяет время фото между двумя модулями заданий) • Заполнение вопросника (AHELO) – 10 мин. • Заполнение вопросника (AHELO+) – 10 мин. • Завершение работ, благодарности – 10 мин. Тестирование студентов – один или несколько дней Преподаватели и ИК заполняют вопросники онлайн в свободное время Высшая школа экономики, Москва, 2011
Планирование и заказ аудиторий Требования к аудиториям для тестирования • Адекватная температура в помещении • Освещение, вентиляция, отсутствие лишнего шума, наличие в фото доступности туалетных комнат с указателями • Наличие одного стационарного работающего компьютера (с клавиатурой, монитором, мышью и интернет-соединением) на каждого студента • Наличие места для проходя АТ между рабочими местами (оптимально не менее 60 см. ) фото • Наличие микрофонов и громкой связи – при необходимости • Наличие одного компьютера на каждого АТ • Наличие как минимум двух дополнительных свободных компьютера для ИК и АТ, а также на случай поломки других компьютеров Высшая школа экономики, Москва, 2011
Подготовка рабочих мет и расходных материалов Наличие необходимых расходных и вспомогательных материалов • ручки, карандаши и ластики, чистые листы бумаги (желательно фото цветные) • Калькуляторы разрешены для AHELO-Инженерные науки На рабочем месте студента не должно быть: • Верхних вещей и сумок фото • Никаких электронных приборов (мобильных телефонов, коммуникаторов, планшетников, электронных книг и т. д. ) • Никаких расходных и вспомогательных материалов кроме ручки, карандаша, ластика и бумаги) • Книг и бумаг • Напитков и еды, кроме воды в пластиковых бутылках Высшая школа экономики, Москва, 2011
Подготовка компьютеров Минимальные системные требования к компьютерам • Интернет-браузер: Internet Explorer 6+, Firefox 3. 6+, Safari 3. 0+, Opera 10. 5+, Chrome 6+ • Разрешение экрана монитора: 1024 х 768 или выше фото • Действующее интернет-соединение • Специальное ПО не требуется, необходима предустановленная Java, разрешены всплывающие окна в баузере ВАЖНО! Не допускается использование собственных ноутбуков студентов фото Желательно поставить дополнительную защиту на компьютеры для предотвращения: • возможности доступа в источникам информации в интернете или каким-либо другим источникам информации • изменения установок онлайн системы тестирования (либо более внимательная работа администраторов тестирования по контролю за соблюдением процедуры) Высшая школа экономики, Москва, 2011
Ваши вопросы? Для обсуждения: 1. Возможный перечень инженерных специальностей для тестирования студентов по направлению «гражданская инженерия» . 2. Работа с данными исследования. Перспективы для дальнейшей работы консорциума участвующих вузов, в том числе в части анализа программ подготовки инженеров с точки зрения ожидаемых результатов обучения и формируемых компетенций.
Контактное лицо по вопросам реализации проекта AHELO в России Мешкова Татьяна Анатольевна tmeshkova@hse. ru +7(495)531 -00 -02, +7(985)960 -41 -54 Для получения дополнительной информации www. hse. ru/ahelo/ 101000, Россия, Москва, Мясницкая ул. , д. 20 www. oecd. org/edu/ahelo Тел. : (495) 621 -7983, факс: (495) 628 -7931 www. hse. ru
Скачать презентацию Проект Оценка результатов обучения в высшем образовании Assessment
9d12d9637217b33a4c117a610f287c0a.ppt