Семинар-тренинг для институциональных координаторов и администраторов тестирования по

Семинар-тренинг для институциональных координаторов и администраторов тестирования по проекту AHELOЭкономика 22, 26 марта 2012 Высшая школа экономики, Москва, 2012 www. hse. ru

План тренинга 1. Согласование дат, времени и места тестирования 2. Дальнейшая работа с выборкой студентов пи преподавателей: фото приглашение, мотивирование, обеспечение явки 3. Техническая подготовка тестирования: наличие и подготовка компьютеров, аудиторий, ПО, расходные материалы 4. Проведение тестирования и опроса: выдача логинов и паролей, фото роль и задачи администраторов тестирования 5. Дальнейшая работа с данными исследования: проверка заданий с открытыми вопросами, внешний и внутренний анализ результатов, доступ вузов к результатам исследования 6. Вопросы и ответы Высшая школа экономики, Москва, 2012

Выборка, сроки и место тестирования в вузах (1) Вуз Размер выборки студентов Даты и место и преподавателей тестирования Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации 52/27 Государственный университет управления 249/47 23 марта, Москва Дальневосточный федеральный университет 230/40 10 -12 апреля, Владивосток Московский государственный институт международных отношений (Университет) МИД России 139/40 Даты – tbc, Москва Московский государственный университет экономики, статистики и информатики 144/31 19 апреля, Москва фото Национальный исследовательский университет «Высшая школа экономики» , включая филиалы 270/90 3 -4 апреля, Москва; 16 -20 апреля, Пермь; 11 -12 мая, Нижний Новгород; 17 мая, Санкт-Петербург Национальный исследовательский университет «Новосибирский государственный университет» 84/40 3 -4 апреля, Новосибирск Казанский (Приволжский) федеральный университет 81/40 24 -25 апреля, Казань Высшая школа экономики, Москва, 2012 Даты – tbc, Москва фото

Выборка, сроки и место тестирования в вузах (2) Вуз Размер выборки студентов и преподавателей Даты и место тестирования Российский экономический университет им. Г. В. Плеханова 253/28 начало апреля (tbc), Москва Санкт-Петербургский государственный университет 238/40 26 апреля, Санкт-Петербургский государственный университет экономики и финансов 200/80 14 - 17 мая, Санкт-Петербург Северный (Арктический) федеральный университет 78/39 Даты – tbc, Архангельск Северо-Восточный федеральный университет им. М. К. Аммосова 99/22 9 -13 апреля, Якутск фото Сибирский федеральный университет 200/40 2 -15 апреля, Красноярск Уральский федеральный университет имени первого Президента России Б. Н. Ельцина 213/31 10 -12 апреля, Екатеринбург Южный федеральный университет, включая филиалы 187/40 16 -24 апреля, Ростов-на-Дону, Новошахтинск, Таганрог Алтайский государственный университет 183/39 14 -18 мая, Барнаул Высшая школа экономики, Москва, 2012 фото

Дальнейшая работа с выборкой • Рассылка институциональным координаторам списков с присвоенными логинами и паролями ВАЖНО! Не рассылать никому логины и пароли до проведения фото тестирования • Идентификация попавших в выборку студентов и преподавателей • Приглашение к участию в исследовании: подготовка и рассылка пригласительных писем фото • Мотивирование, бонусы и поощрения для студентов • Мотивирование преподавателей • Обеспечение явки студентов (административные меры) Высшая школа экономики, Москва, 2012

Мотивирование студентов • Выдача международных сертификатов об участии – согласовано с межд. консорциумом Дополнительные возможности – для обсуждения: фото • Дополнительные баллы, кредиты • Подарочные сертификаты, например, кредит-сертификат в университетский книжный магазин • Денежное вознаграждение (нежелательно) • Подарки и презенты (USB, сувениры с университетской фото символикой…) • Лотереи среди студентов (значимые подарки показавшим лучшие результаты…) • Анонсирование и PR проекта и важности участия в исследовании на университетских сайтах, газетах и т. д…. . ВАЖНО! По возможности – организация питания студентов после прохождения тестирования Высшая школа экономики, Москва, 2012

Планирование времени тестирования Общее время тестирования – не менее 3 часов, включая: • Тех. и орг. подготовку (загрузка заданий, проверка компьютеров, рабочих мест и т. д. ) – не менее 30 мин. фото • Встречу студентов, проверку участников по спискам, сопровождение до рабочих мест, выдачу инд. паролей и логинов – не менее 30 мин. • Объяснение правил участия, установочные рекомендации – 10 мин. фото • Тестирование – 90 мин. (студент сам распределяет время между двумя модулями заданий) • Заполнение вопросника (AHELO) – 10 мин. • Заполнение вопросника (AHELO+) – 10 мин. • Завершение работ, благодарности – 10 мин. Тестирование студентов – один или несколько дней Преподаватели и ИК заполняют вопросники онлайн в свободное время Высшая школа экономики, Москва, 2012

Планирование и заказ аудиторий Требования к аудиториям для тестирования • Адекватная температура в помещении • Освещение, вентиляция, отсутствие лишнего шума, наличие в фото доступности туалетных комнат с указателями • Наличие одного стационарного работающего компьютера (с клавиатурой, монитором, мышью и интернет-соединением) на каждого студента • Наличие места для проходя АТ между рабочими местами фото (оптимально не менее 60 см. ) • Наличие микрофонов и громкой связи – при необходимости • Наличие одного компьютера на каждого АТ • Наличие как минимум двух дополнительных свободных компьютера для ИК и АТ, а также на случай поломки других компьютеров Высшая школа экономики, Москва, 2012

Подготовка рабочих мест и расходных материалов Наличие необходимых расходных и вспомогательных материалов • ручки, карандаши и ластики, чистые листы бумаги (желательно цветные) фото • Калькуляторы не требуются и не разрешены На рабочем месте студента не должно быть: • Верхних вещей и сумок • Никаких электронных приборов (мобильных телефонов, фото коммуникаторов, планшетников, электронных книг и т. д. ) • Никаких расходных и вспомогательных материалов кроме ручки, карандаша, ластика и бумаги) • Книг и бумаг • Напитков и еды, кроме воды в пластиковых бутылках Высшая школа экономики, Москва, 2012

Подготовка администраторов тестирования Пожелания к АТ • Наличие опыта проведения или мониторинга тестирования и оценивания студентов (экзаменов, зачетов и т. д. ) • Должны иметь опыт использования компьютерных и онлайн систем фото оценивания (быть способны загрузить и запустить онлайн систему, решить возможные технические проблемы студентов и т. д. ) • Желательно не иметь прямых профессиональных контактов со студентами, которые участвуют в тестировании Численность АТ фото • От вуза – один АТ на одну аудиторию, если аудитория большая – 1 АТ на 40 студентов • Один или несколько независимых наблюдателей от Национального центра AHELO ВАЖНО! Желательно присутствие непосредственно на тестировании (или в пределах досягаемости) ИТ-сотрудника Высшая школа экономики, Москва, 2012

Подготовка компьютеров Минимальные системные требования к компьютерам • Интернет-браузер: Internet Explorer 6+, Firefox 3. 6+, Safari 3. 0+, Opera 10. 5+, Chrome 6+ • Разрешение экрана монитора: 1024 х 768 или выше фото • Действующее интернет-соединение • Специальное ПО не требуется, необходима предустановленная Java разрешены всплывающие окна в баузере Не допускается использование собственных ноутбуков студентов НО: При отсутствии достаточного количества компьютеров фото возможно использование резервных ноутбуков НИУ ВШЭ, закупленных для исследования PIAAC Необходимо поставить дополнительную защиту на компьютеры для предотвращения: • возможности доступа в источникам информации в интернете или каким-либо другим источникам информации • изменения установок онлайн системы тестирования Высшая школа экономики, Москва, 2012

Задачи администраторов тестирования (1) • • Помощь ИК в тех. и орг. подготовке тестирования Получение, проверка, установка и обеспечение конфиденциальности установленной версии всех тестовых материалов фото • Проверка готовности помещений и рабочих мест (не позднее чем за 30 мин. до начала тестирования) • Совместно с ИК - встреча студентов, проверка и отметка прибывших и отсутствующих студентов по списочным листам и удостоверениям личности (студ. билет, паспорт, зачетка…) • Сопровождение студентов до рабочих мест, выдача им фото индивидуальных логинов и паролей, ID (лучше на заранее заготовленных карточках) • Предварительное объяснение правил тестирования и установочные рекомендации (см. Руководство по проведению тестирвания для ТА сс. 11 -14 + Дополнительная инструкция по заполнению вопросника AHELO+) ВАЖНО! Студенту необходимо напомнить, что в всех вопросниках он должен обязательно указать свой ID Высшая школа экономики, Москва, 2012

Задачи администраторов тестирования (2) • • • Мониторинг во время тестирования (обход, отслеживание процесса выполнения студентами заданий на компьютере) и напоминание о времени тестирования Сопровождение студентов при необходимости выходафото из аудитории Ведение отчета о прохождении тестирования Завершение тестирования Сбор всех вспомогательных материалов и черновиков после тестирования фото Высшая школа экономики, Москва, 2012

Требования к проведению тестирования • • На одного АТ не более 40 студентов в аудитории АТ должны быть в аудитории минимум за 30 минут до начала тестирования АТ обеспечивает студентов черновиками для записей. По фото окончанию тестирования все записи у студентов изымаются АТ должен идентифицировать студентам (паспорт, студенческий билет) Студенты могут пронести с собой в аудиторию только карандаши и ластики, воду в прозрачной пластиковой бутылке фото Можно разделить студентов заранее по группам на аудитории Сам тест занимает 90 мин+10 минут для заполнения вопросника AHELO + 10 минут для заполнения вопросника AHELO+ Если студент закончил тест раньше, он может переходить к анкете, а по завершению покинуть аудиторию Высшая школа экономики, Москва, 2012

Алгоритм проведения тестирования (1) • • АТ должен включить все компьютеры в аудитории Открыть на каждом компьютере браузер В адресной строке ввести http: //www. ahelo. org и нажать «Enter» фото Можно использовать полноэкранный режим тестирования (см. Руководство по проведению тестирования для ТА С. 8) фото Высшая школа экономики, Москва, 2012

Алгоритм проведения тестирования (2) фото Высшая школа экономики, Москва, 2012

Алгоритм проведения тестирования (3) • • • Включить компьютер АТ Открыть на компьютере браузер В адресной строке ввести http: //assessmentmaster. com. au/admin и нажать «Enter» фото В поле логина ввести свой e-mail, нажать Tab, в поле пароль ввести свой пароль и нажать «login» Выбрать наименование Вашего университета, нажать вкладку «Details» , выбрать «Open session» Только после этой процедуры студенты допускаются к тестированию Сессия закрывает только если все студенты, назначенные на фото прохождение тестирования в этот день, выполнили тест АТ пишет комментарии (см. Руководство по проведению тестирования для ТА С. 20). До этого убедитесь, что все сеансы на компьютерах студентов завершены В отчете АТ отмечает все необычные события, которые произошли во время тестирования (плохое самочувствие студента, дополнительное электронное устройство. см. Руководство по проведению тестирования для ТА С. 17) Высшая школа экономики, Москва, 2012

Алгоритм проведения тестирования (4) • • Студенты занимают свои места и ожидают инструкции от АТ (см. Руководство по проведению тестирования для ТА С. 12) АТ называет ID университета, раздает логины и пароли (желательно на заранее заготовленных карточках) фото Если студенты опоздали на тестирования ИК и АТ могут решить допустить его к тестированию, НО дополнительное время таким студентам не предоставляется АТ сопровождает студента в туалет, но потерянное время не восполняется АТ не отвечает на содержательные вопросы студентов фото При возникновении проблем с системой тестирования, студенту необходимо попробовать зайти со своим логином и паролем, если вход невозможен, используются логины и пароль с меткой SPARE в базовом файле. Если логин и пароль были сменены, АТ сообщает об этом на адрес tmeshkova@hse. ru или esabelnikova@hse. ru, называя старый и новый логины студента Высшая школа экономики, Москва, 2012

Алгоритм проведения тестирования (5) • Если проблемы не устраняются, необходимо срочно связаться с межд. консорциумом либо через Нац. центр AHELO либо напрямую (система 24 -часовой тех. поддержки) фото • Студент продолжает выполнять тест с того места, на котором он закончил. Не нужно снова выполнять уже сделанные задания • Через 90 минут необходимо проверить, чтобы все студенты перешли к анкете AHELO • Тестирование закончено, если студент заполнил анкету AHELO фото ВАЖНО! Если студент завершил тестирование вернуться к его выполнению невозможно • После завершения тестирования AHELO студент выходит из системы и входит по ссылке в другую систему – для заполнения анкеты AHELO+ по адресу http: //www. hse. ru/ahelo/q Высшая школа экономики, Москва, 2012

Дальнейшая работа с данными исследования • • Оценка ответов студентов на открытые вопросы командой кодировщиков под руководством фото ведущего кодировщика – до конца июня 2012 Передача всех результатов и оценок в межд. консорциум - до конца июня 2012 Начиная с июля 2012 – внешний и национальный фото анализ результатов, психометрический анализ… Доступ вузов к результатам исследования: необходимость такого доступа, планы по институциональному анализу и использованию данных – для обсуждения Высшая школа экономики, Москва, 2012

Ваши вопросы? фото Высшая школа экономики, Москва, 2012

Благодарим за внимание! Контакты для связи с Национальным центром AHELO фото Мешкова Татьяна Анатольевна tmeshkova@hse. ru +7(495)531 -00 -02, +7(985)960 -41 -54 Сабельникова Елена Владимировна esabelnikova@hse. ru +7(495)772 -95 -90, доб. 1671 http: //www. hse. ru/ahelo/ фото Контакты для связи с международным консорциумом (24 часовая поддержка во время тестирования) - tbc Доп. информация: ahelo@oecd. org www. oecd. org/edu/ahelo Высшая школа экономики, Москва, 2012