Оценка качества подготовки обучающихся и выпускников на соответствие

Оценка качества подготовки обучающихся и выпускников на соответствие требованиям ГОС Масленников Александр Степанович Начальник отдела педагогических измерений Росаккредагентства Москва, апрель 2010 1

Оценка качества подготовки при государственной аккредитации образовательных учреждений (из Положения о государственной аккредитации образовательных учреждений и научных организаций ( Постановление Правительства РФ от 14. 07. 2008 № 522)) • П. 11 «Государственная аккредитация образовательного учреждения … включает в себя экспертизу соответствия содержания и качества подготовки выпускников образовательных учреждений … федеральным государственным образовательным стандартам…» 2

Масштабы процедуры государственной аккредитации • Из Закона РФ «Об образовании» п. 18 «Имеющие государственную аккредитацию образовательные учреждения … не реже, чем один раз в пять лет проходят государственную аккредитацию» • В России порядка 1400 вузов и около 2100 филиалов вузов • Следовательно, ежегодно государственную аккредитацию должны проходить не менее 700 образовательных учреждений • Из отчета Росаккредагентства за 2009 г: процедуру ГА прошли 1181 вуз и филиал 3

Развитие тестовой технологии при экспертизе качества подготовки Нормативные документы • 1992 г. Закон РФ «Об образовании» : лицензирование, аттестация, аккредитация • 1995 г. ГОС-1: содержание дисциплин, требования общие и дисциплинарные • 2000 г. ГОС-2: содержание дисциплин, требования общие • 2007 г. Закон РФ «Об образовании» : лицензирование, аккредитация Технологии оценки качества подготовки: • Экспертные методы. Локальное использование тестовых материалов • Экспертные методы. Формирование единой тестовой базы, с 2004 г. – результаты компьютерного тестирования в аналитических материалах АК. • Экспертные методы. Компьютерное тестирование с использованием единого банка АПИМ 4

Условия реализации тестовой технологии оценки качества подготовки • Оценка обязательного содержания дисциплин по ГОС только на базовом (минимальном) уровне освоения • Обработка результатов для формирования заключения о качества освоения студентами ООП программного материала в соответствии с требованиями ГОС • Тестирование студентов ООП любых курсов обучения, завершивших изучение дисциплины не позднее 1 года до процедуры экспертизы, используя выборочный метод • Опора на компьютерное тестирование и Интернеттехнологии передачи информации • Формирование банков тестовых материалов на основе унификации содержания дисциплин для групп ООП 5

УТВЕРЖДЕНО Заместителем руководителя Федеральной службы по надзору в сфере образования и науки 16 октября 2007 г. Методика проведения в образовательных учреждениях высшего профессионального образования оценки качества освоения студентами программного материала в соответствии с требованиями государственного образовательного стандарта высшего профессионального образования Общие положения Настоящая методика разработана в целях регламентации организации и проведения в рамках экспертизы соответствия содержания и качества подготовки обучающихся и выпускников требованиям государственного образовательного стандарта оценки качества усвоения студентами вузов и филиалов (далее - вузы) программного материала. … Организационно-технологическое сопровождение тестирования осуществляется Росаккредагентством в рамках информационно-методического сопровождения процедуры государственной аккредитации вузов. … При тестировании используется банк контрольных тестовых материалов, являющийся частью Центрального банка данных по вузам России, который формируется и сопровождается Росаккредагентством. 6

Информационно-методическое обеспечение: сайт att. nica. ru 7

Принципы формирования банков АПИМ • Дисциплинарный подход • Принципы структурирования содержания АПИМ по дисциплине: – Уровень «Дидактическая единица» • Инварианты содержания (перечень ДЕ по ГОС для групп ООП) • Инварианты объема часов по ГОС для инварианта содержания (установление уровня сложности заданий) – Уровень «Тема» • Группа тем, раскрывающих содержание ДЕ • Перечень контролируемых учебных элементов по теме (знать (понятия, законы и т. п. ), уметь (выделять, соотносить, вычислять…) ) • Наборы заданий тестовой формы по каждой теме (педагогически эквивалентные задания) 8

Состав банков АПИМ Всего 87 ВПО 70 ГСЭ 10 ЕН 9 СПО 17 ОПД 51 6 аграрный 6 педагогический 4 строительный 12 технический 13 экономический 10 юридический 4 медицинский ГСЭ 7 ЕН 3 3 1 2 1 ОПД 7 педагогический технический экономический юридический 9

Оценка выполнения требований ГОС Объект оценки Показатель освоения дисциплины Студент Доля освоенных дидактических единиц ГОС Освоение всех дидактических единиц ГОС Доля студентов, освоивших все дидактические единицы ГОС 50 % студентов, освоивших все дидактические единицы ГОС ООП Критерий освоения дисциплины 10

Показатели освоения дисциплин по результатам тестирования для ООП вуза 11

Структура аттестационного педагогического измерительного материала по дисциплине Название дисциплины Дисциплина Дидактическая Контролируемые в АПИМ дидактические единица № 1 единицы дисциплины Дидактическая единица № 2 Задание 1 Задания АПИМ . . . Задание 1 Задание 2 Задание 3 Задание 4 Дидактическая единица №k Задание 2 Задание 3 Задание 4 Критерий освоения дидактической единицы: 50 % правильно выполненных заданий Задание 4 12

Полный рейтинг-лист результатов тестирования • Выполнение заданий по каждой теме 13

Рейтинг-лист группы студентов Самый сложный раздел 14

Результаты тестирования при государственной аккредитации в 2009 г. • Проведено тестирование в 258 вузах и 355 филиалах вузов (всего в 613 образовательных учреждениях ВПО) 15

Федеральный Интернет-экзамен в сфере профессионального образования 16

Основные цели Интернет-экзамена • диагностика состояния базовой подготовки студентов на соответствие требованиям ГОС • помощь образовательным учреждениям в создании систем управления качеством подготовки на основе внешней независимой оценки • апробация банков АПИМ для тестирования при государственной аккредитации 17

Основные принципы ФЭПО • Добровольность участия вузов • Полное доверие в организации проведения тестирования • Конфиденциальность получаемой информации • Единое время проведения • Единые измерители для группы образовательных программ • Единые методики обработки и представления информации 18

Европейские стандарты и руководящие принципы Болонского процесса (г. Берген, 19 -20 мая 2005 г. ) • Поставщики высшего образования несут основную ответственность за качество и его гарантию • Должно поощряться развитие культуры качества в вузах • Должны разрабатываться процессы, с помощью которых вузы смогли бы продемонстрировать свою отчетность, … • Гарантия качества с целью отчетности полностью равна по значимости гарантии качества с целью совершенствования учебного процесса • Учебные заведения должны демонстрировать качество своей деятельности как в стране, так и на международной арене 19

Динамика участия в ФЭПО образовательных учреждений 20

Динамика количества результатов 21

Процент студентов, освоивших все дидактические единицы дисциплины 22

Учет результатов ФЭПО при государственной аккредитации • Условия учета по ООП: – Участие 3 -4 раза за 2 года до экспертизы – Участие не менее 50% студентов, обучающихся на курсе – Не менее половины положительных результатов • Статистика 2009 г. : – Результаты ФЭПО учтены для 794 ООП из 3160, выходивших на государственную аккредитацию (25%), т. е. в 139 образовательных учреждениях ВПО из 613. 23

Совершенствование модели оценки освоения дисциплины 24

Модели оценки освоения дисциплины Существующая модель освоения Предлагаемая модель освоения Показатель освоения дисциплины Доля студентов, освоивших все ДЕ Уровни освоения ДЕ Критерий освоения дисциплины 50% студентов, освоивших все ДЕ Уровень освоения всех ДЕ не ниже критерия (50% верно выполненных заданий по ДЕ) 25

Методы расчета коэффициента освоения ДЕ • Существующий метод: – Шаг 1: Для каждого студента сравнение числа верно выполненных заданий по ДЕ с критерием (не менее 2 -х заданий из 4 -х) – Шаг 2: вычисление доли студентов, освоивших ДЕ Nосв • Предлагаемый метод: – Доля верно выполненных заданий от числа предъявленных группе студентов заданий по ДЕ Мвыполн. Косв=-------Мпредъявл. Mпредъявл. =(Nстуд*Mзад. ДЕ) Косв=-----Nстуд 26

Представление результатов тестирования по модели освоения ДЕ Заключение: Освоено 4 ДЕ из 5 27

Выбор критерия освоения ДЕ • Модель согласования с прежними решениями: – различные критерии по дисциплинам – единый критерий по всем дисциплинам (50%) • Модель критерия на основе требований к уровню подготовки Принятие решений (все дисциплины; критерий 50%) Прежняя модель Новая модель Выше кр. Ниже кр. Выше кр. 85, 3 % 1, 2% Ниже кр 4, 9% 8, 6% В таблице приведен расчет по группам тестируемых 28

Перспективы развития банков тестовых материалов 29

Направления совершенствования имеющихся банков АПИМ – Модификация структур АПИМ, кодификаторов и заданий на основе результатов экспертизы УМО (НМС) – Модификация структур АПИМ, кодификаторов и заданий с учетом профиля подготовки – Разработка АПИМ по новым дисциплинам (рекомендации УМО) 30

Тестовые материалы для нового поколения стандартов • Цель тестирования по ФГОС – оценка степени сформированности компетенций (ОК и ПК) на пороговом и продвинутом уровнях • Основа для разработки оценочных материалов: – Результаты обучения по дисциплине – Результаты обучения по модулю • одной дисциплины • группы дисциплин 31

Изменение предмета оценки: • ГОС-2: – результативность учебного процесса в соответствии с требованиями к содержанию и базовому уровню подготовки • ФГОС-3: – выявление степени сформированности компетенций (уровней освоения материала) 32

Изменение подходов к конструированию заданий в АПИМ • «Дифференциация» предмета контроля (для ГОС-2) • • • Цикл дисциплин Дисциплина Раздел (ДЕ) Тема Учебное элемент – адекватное тестовое задание • «Интеграция» предмета контроля (для ФГОС) • Полидисциплинарное задание • Задание по нескольким разделам (ДЕ) в дисциплине • Задание по группе тем в разделе (ДЕ) • Задание по нескольким учебным элементам в теме 33

Направления модернизации банка АПИМ для оценки освоения требований ФГОС • Введение обобщенных видов деятельности (результатов обучения) по дисциплинам • Разработка и апробация полидисциплинарных (комплексных) групп заданий для цикла ОПД на основе объекта профессиональной деятельности 34

Пример комплексного задания Сопротивление РЕДУКТОР ЦУ-160 материалов Теория механизмов и машин Инженерная графика Теоретическая механика Детали машин Взаимозаменяемость и стандартизация 35

Проведение тестирования при государственной аккредитации и развитие ФЭПО инициировало: На федеральном уровне: • Построение измерителей для оценки выполнения требований ГОС на основе инвариантов содержания дисциплин для групп образовательных программ • Согласование образовательным сообществом уровня требований ГОС для оценки базовой подготовки студентов • Выработку рекомендаций для совершенствования ГОС на основе инвариантов содержания дисциплин • Развитие современных информационных технологий для оценки подготовки студентов • Возможность учета результатов многократного участия вуза в ФЭПО в рамках процедуры государственной аккредитации 36

Проведение тестирования при государственной аккредитации и развитие ФЭПО инициировало: На вузовском уровне: • «Настройку» вузов на внешние требования при оценке качества подготовки для целей государственной аккредитации • Использование внешней оценки результатов обучения как элемента системы обеспечения качества в вузах • Использование оценки базового уровня подготовки студентов для рейтинговых систем оценки подготовки студентов • Развитие современных информационных технологий для оценки подготовки студентов • Активизацию внимания вузовской общественности к качеству подготовки студентов и методам ее оценивания 37

Спасибо за внимание! Контактная информация: Тел. (8362) 41 -61 -94, 64 -19 -86, 91 -90 -02 e-mail: mas@nica. ru 38