оценка прог.ppt
- Количество слайдов: 87
15. 04. 2014 ОЦЕНКА ОБРАЗОВАТЕЛЬНЫХ ПРОГРАММ Сарсенова Л. К. АГИУВ, Кафедра методологии медицинского образования 2013 Этапы разработки программы компетенции 1 Характеристики обучающихся & потребности 7 Оценка результатов 8 Оценка программы/ ревизия 2 Цели программы 3 6 Результаты/задачи Материалы& ресурсы 4 5 Стратегии обучения Действия/задания требования/вопросы 1
15. 04. 2014 Оценка программы Систематический сбор и анализ информации относительно планирования, реализации и результатов программы с целью мониторинга и улучшения качества и эффективности программы’’ (ACGME ) Улуч • Обеспечение и гарантия качества • Доверие клиентов и участников программы • Информирование сотрудников о программе • Лучшее понимание процессов программы , обеспечивающих эффективность программы • Выявление наиболее критичных компонентов для планирования приоритетов в распределении ресурсов • Диагностика процессов как часть организационных вопросов при планировании и реализации программ 2
15. 04. 2014 Стандартные этапы оценки программ План по улучшению корригирующим действиям Планирование Анализ и интерпретация данных Сбор данных Результаты оценки область применения • Демонстрация эффективности программы • Оценка обучения • Оценка влияния изменений в программе • Оценка программы и внесение изменений • Информирование студентов о перечне учебных результатов • Подготовка к аккредитации 3
15. 04. 2014 Модели о оценки программы Оценка входа 1. Качество абитуриентов 2. Качество ППС 3. Соотношение ППС/студент 4. Мат-тех база 5. Программы Оценка процесса 1. Нагрузка и ее распределение 2. Методы преподавания и оценки 3. Сроки обучения 4. Форма обучения И тд Оценка результата 1. Удовлетворенно сть 2. Результаты экзаменов 3. Качество выпускников Модель Киркпатрика Какова эффективность данного курса ? Зачислено по приказу Посещали Выполнили задание № 1 и 2 Выполнили задания № 1, 2, 3 Получили сертификат Внедрили на кафедре Эффективность = 41 человек 27 66% 25 92% 11 41% 5 18, 5% 3 11% ? 4
15. 04. 2014 Из бизнес-обучения «Хороший» семинар оставляет после себя впечатление. «Результативный» семинар дает изменение нашего видения, понимания, стратегий и поведения. Модель Ф. Кирпатрика 4 Результаты • Популярна в бизнестренингах 3 Поведение 2 Обучение 1 Реакция 5
15. 04. 2014 4 Результаты 3 Поведение Уровень 1 реакция/восприятие 2 Обучение 1 Реакция • Как слушатели программы реагируют на нее? • Понравилось? • Уровень сложности? • Комфортность обстановки? • Что можно сделать для улучшения курса? 12 Уровень 1 Реакция (удовлетворенность) Прямые методы • Посещаемость Непрямые методы: • Анкетирование по результатам цикла • Опрос 6
15. 04. 2014 4 Результаты 3 Поведение 2 Обучение Уровень 2 - Обучение (Знать, Знать как, Показать) 1 Реакция 13 Научились ли слушатели тому, чему должны были обучиться? Прямые методы • Экзамен • Претест- посттест • Наблюдение • Прогресс-тест Непрямые методы: • Самооценка Разработка стратегии обучения для повышения эффективности обучения студентов Designing teaching strategy to enhance student learning Salim A. Siddiqui, S. R. Yeo, M. G. Zadnik Physics Education Research and Development Group, Department of Applied Physics, Curtin University of Technology 7
15. 04. 2014 Сравнение уровня подготовки программистов: комбинированное (трад. +онлайн) и традиционное обучение Претест-посттест Слабая КГ Слабая ЭГ Средняя КГ Средняя ЭГ Сильная КГ Сильная ЭГ Ср-сильн. КГ Ср-сильн. ЭГ Претест Посттест Отсрочен. посттест Unal CAKIROGLU, Turkish Online Journal of Distance Education-TOJDE July 2012 ISSN 1302 -6488 Volume: 13 Number: 3 Article 8 Зависимость количества воспроизводимой информации от времени, прошедшего с момента окончания обучения в первые месяцы через три месяца воспроизводится в среднем 47% информации, через год 37%, а через два - 29%. Е. В. Чмыхова А. Т. Терехин О методологических проблемах использования результатов тестирования знаний студентов как показателя качества образования 8
15. 04. 2014 Традиц. лекция/практ. Вуз СШ Значит. компонент активное обучение Результаты пре-пост-теста более 6500 обучающихся из 62 групп Эффективность обучения при активных формах в 2 -3 раза выше (From R. Hake, 1998, Interactiveengagement versus traditional methods: A six-thousand-student survey of mechanics test data for introductory physics courses, Am. J. Phys. 66: 64 -74) Средний балл претест (%) Прогресс-тест как метод оценки программ 60 50 40 Year 5 30 Year 4 Year 3 20 Year 2 Year 1 10 0 Progress Test 9
15. 04. 2014 4 Результаты 3 Поведение Уровень 3 - Изменение поведения 2 Обучение 1 Реакция • Измерение степени изменения поведения (долгосрочные результаты) • Стали ли новые знания частью повседневной практики обучающегося? 20 Уровень 3 - Поведение (Делать, профессиональная практика) Прямые методы Непрямые методы: • Наблюдение • Претест- посттест • Аудит • Анализ документации • Самооценка • Анкетирование пациентов/коллег/персон ал Непосредственные и отсроченные результаты 10
15. 04. 2014 4 Результаты 3 Поведение 2 Обучение 1 Реакция Уровень 4 - результаты • Измерение влияния последствий обучения на отрасль, систему (здравоохранения), качество выпускников 22 Уровень 4 - Результаты (изменение в системе) Прямые методы • Аудит • Анализ документации • Медицинские показатели Непрямые методы: • Анкетирование пациентов Отсроченные результаты 11
15. 04. 2014 Модель Ф. Кирпатрика (модифицированная модель 5 Возврат инвестиций ROI Расчет возврата инвестиций 4 Результаты 3 Поведение 2 Обучение 1 Реакция Расчет возврата инвестиций • Сравнительный анализ эффективности различных форматов/методов преподавания • Анализ эффективности программ НМО - Уровни: • Знания, навыки • Поведение/практика • Результаты для системы 12
15. 04. 2014 ROI(%) Экономия(выг ода) Затраты x 100 Затраты компании 50 $. (часовая зарплата) * 20 часов курса + 100 $. (стоимость курса) = 1100 $. Экономия в неделю за счет увеличения эффективности работы (31, 5 часа - 22, 4 часа) * 50 $ зарплаты = 445$. Экономия за 3 месяца (13 недель) 13 * 445 = 5915$ ROI= (5915 - 1100) / 1100 * 100 = 437 % Выводы: эффективность нашего семинара Улучшились показатели студентов? Внедрили на кафедре? Научились? Понравилось? 13
15. 04. 2014 !!! Какова эффективность данного курса ? Зачислено по приказу Посещали Выполнили задание № 1 и 2 Выполнили задания № 1, 2, 3 Получили сертификат Внедрили на кафедре 41 человек 27 66% 25 92% 11 41% 5 18, 5% 3 11% Эффективность = ? Это хороший показатель или плохой? Приемлемый уровень для каждого показателя (данные литературы) 1 - Удовлетворенность 2 - Знания, навыки 3 - Внедрение в практику* 4 - Результаты студентов До 100 % 50… 95 % 10 -30 % ? * Merriam S. B. & Leahy, B. Learning transfer: A review of the research in adult education and training. PAACE Journal of Lifelong Learning, 2005, 14, 1 -24. 14
15. 04. 2014 Категории людей по реакции на изменение/освоение инноваций «Террористы» и «Блокаторы» «Чемпионы» 50% 5% Вовлекаются сразу инициируют 25% Вовлекаются при первой возможности Наблюдают и ждут - Что будет? Активно участвуют в изменениях Плывут по течению Если не будет другого выхода 5% Никогда не будут меняться Активно противостоят изменениям Understanding&Managing Reactions to Change, 2009, http: //www. gateshead. gov. uk/Document. Library/council/pois/managingreactionstochange. pdf © Greg Lowe, 2012 15
15. 04. 2014 Перенос знаний в практику - Модель трансферта знаний © Terry Hawes, TNO, 2005 Сбор информации: общие рекомендации Вопросы этики: 1. Информированное согласие Пример: [организация/ФИО ] проводит оценку [наименование программы] для улучшения программы. Мы ценим ваше мнение и были бы очень благодарны если Вы выделите несколько минут для заполнения данной анкеты. Ваш ответ будет анонимным и будет оцениваться совместно с другими источниками данных. Ваше участие в исследовании не отразится на вашем статусе. 16
15. 04. 2014 Сбор информации: общие рекомендации Вопросы этики: 2. Анонимность и конфиденциальность Анонимность - означает, что вы не сможете идентифицировать респондента на основе его ответа делает учет и контроль более сложным, но способствует более правдивым ответам Конфиденциальность - означает что исследователь знает респондента, но обещает не разоблачать его. Сбор информации: общие рекомендации Вопросы этики: 3. Защита информации • Однажды собранные должны быть надежно защищены в заблокированном файле, сейфе или комнате • Защита электронных данных паролем и ограничение доступа • Замена идентификационных данных идентификационным шифром 17
15. 04. 2014 Методы сбора информации Метод Цель исследования Понимание Изменение Измерение эффекта Уровень сложности Анализ документов X Фокусные группы X X Высокий Интервью X X Высокий Наблюдение X X Средний Анализ продукта Анкетирование Низкий X X X Средний Выбор метода зависит от цели исследования Рекомендуется использовать различные методы для повышения достоверности Не все методы одинаково эффективны в любом контексте - каждый имеет достоинства и недостатки Анализ документов : Общее описание • Систематическое изучение программных документов , таких как миссия, руководства по политике и процедурам, методические материалы и т. д. с целью идентификации потребностей и проблем программы или описания программы. • Фокус - критический анализ, а не простое описание • Анализ должен включать вопросы о назначении документа, как он используется, какой вклад они вносят в цели программы • Очень эффективно если цель исследования - получение понимания • Позволяет выявить системные ошибки 18
15. 04. 2014 Анализ документов : области применения • Углубленное понимание программы • Оценка тенденций, шаблонов и согласованности в программных документах • Проведение предварительного исследования для интервью, анкетирования или наблюдения. • Позволяет сформулировать вопросы для интервью, анкетирования, наблюдения • Оценка аспектов программы Анализ документов : источники • Политика и практика: миссия, руководства, стратегические планы • Содержание программы: учебные планы, рабочие программы, силллабус, методические рекомендации для ППС, студентов • Коррекция программы: отчеты, протоколы, ведомости, служебные записки • коммуникация: email, протоколы совещаний, публикации • Реклама: листовки, брошюры 19
15. 04. 2014 Анализ документов : ограничения • Неполная информация или отсутствие таковой • Данные ограничены тем что уже существует • Не позволяет оценить текущее мнение, потребности или удовлетворенность участников и потребителей Анализ документов : некоторые советы • Четкое формулирование цели анализа (быстрые изменения, долгосрочные реформы и т. д. ) • Четкое определение глубины оценки - год- 5 лет и т. д. • Использование оценочных форм с четкими критериями (рейтинг: «нет-мало-средне-много» и т. д. ) 20
15. 04. 2014 Пример количественного метода оценки документов: контент-анализ • Формализованный метод изучения текстовой и графической информации, заключающийся в переводе изучаемой информации в количественные показатели и ее статистической обработке. • Сущность метода - в фиксации определенных единиц содержания, которое изучается, а также в квантификации полученных данных. • Объект контент-анализа - содержание любых документов, • Контент-анализ начал использоваться в социальных науках начиная с 30 -х гг XX в. в США. • Впервые этот метод был применен в журналистике и литературоведении. • Основные процедуры контент-анализа были разработаны американскими социологами X. Лассуэллом и Б. Берелсоном. Контент-анализ Основным процедурам контент-анализа относятся: 1. Выявление смысловых единиц текста 2. Выделение единиц счета 3. Процедура подсчета 21
15. 04. 2014 Контент-анализ. Этапы: 1. Выявление смысловых единиц текста - Смысловыми единицами контент-анализа могут быть: а) понятия, выраженные в отдельных терминах б) темы, выраженные в целых смысловых абзацах в) имена, фамилии людей г) события, факты и т. п. - Единицы контент-анализа выделяются в зависимости от содержания, целей, задач и гипотез конкретного исследования. Контент-анализ. Этапы: 2. Выделение единиц счета - Единицы счета могут совпадать, либо не совпадать с единицами анализа. - В 1 -м случае процедура сводится к подсчету частоты упоминания выделенной смысловой единицы, во 2 -м — исследователь на основе анализируемого материала и здравого смысла сам выдвигает единицы счета, которыми могут быть: а) физическая протяженность текстов; б) площадь текста, заполненная смысловыми единицами; в) число строк (абзацев, знаков, колонок текста); 22
15. 04. 2014 Контент-анализ. Этапы 3. Процедура подсчета - Процедура подсчета сходна со стандартными приемами классификации по выделенным группировкам. - Применяется - составление специальных таблиц, - Оспользование компьютерных программ, специальных формул (напр. , «формула оценки удельного веса смысловых категорий в общем объеме текста» ), - статистические расчеты понятности и аттрактивности текста. Контент-анализ • Контент-анализ может использоваться для исследования большей части документальных источников, однако лучше всего он работает при относительно большом количестве однопорядковых данных. • Например - сравнительный анализ - Рабочих программ/учебных планов/силлабусов - Годовых отчетов - Протоколов - Статей - И т. д. 23
15. 04. 2014 Пример: • Цель исследования - оценка уровня инновационной компетентности и активности преподавателей кафедр в области внедрения инновационных образовательных технологий (2009 -2010 гг) • Метод: контент-анализ годовых отчетов кафедр (ГОК) • Cмысловые единицы - словосочетания «новые образовательные технологии» , «инновационные технологии» , «новые методы преподавания» , «современные технологии обучения» . • Единицы счета - раздел «учебно-методическая работа кафедры - количество слов в выделенном абзаце к общему количеству слов в ГОК, % - количество употреблений термина «инновационные технологии» , абс. среднее - количество правильных (содержательный анализ) употреблений термина «инновационные технологии/методы» в процентном содержании к общему количеству употреблений термина «инновационные технологии» (оценка инновационной и педагогической компетентности), %, среднее - количество внедряемых методов, абс. , среднее - количество внедряемых методов являющихся действительно инновационными педагогическими (оценка инновационной активности), %, среднее Результаты контент-анализа ГОК 2 3 4 5 6 7 8 9 1 1 ООД 8 13583 89 2 0, 2 6 0, 1 2 БД 16 7129 132 5 0, 8 8 0, 6 3 СД 49 10057 111 6 0, 6 6 0, 3 24
15. 04. 2014 Анализ ГОК АО МУА (2011) Индекс инновационной активности (Iиа) 47 • процент кафедр, представивших информацию согласно отчетно-учетной форме из общего числа кафедр. Индекс инновационной компетентности(Iик) - 76 • процент релевантных запросу внедрений из общего числа представленных в отчетно-учетной форме наименований. Индекс внедрения результатов обучения (Iвро) - 7, 5 -31 • процент кафедр/ППС внедривших результаты обучения в учебный процесс из числа обученных в текущем году по каждому наименованию цикла/семинара. BIGGS J and COLLIS K (1982) Evaluating the Quality of Learning: the SOLO taxonomy “Таксономия SOLO” • Когнитивные уровни понимания: • SOLO 5 (“расширенные абстракции”): Глубокое понимание » теоретизировать, обобщить, выдвигать гипотезы, … • SOLO 4 (“сравнительный”): » сравнить, анализировать, соотносить, применить, … • SOLO 3 (“мульти-структурный”): » перечислить, описать, сделать алгоритм, … Поверхностное понимание • SOLO 2 (“уни-структурный”): » идентифицировать, запомнить, простые процедуры, … • SOLO 1 (то же что и “пре-структурный”): » Нет понимания: пропустить пункт! S. O. L. O. (Structure of the Observed Learning Outcome) 25
15. 04. 2014 SOLO (конкретизация) • • • • теоретизировать обобщать выдвигать гипотезы прогнозировать анализировать устанавливать связи сравнивать объяснять причины описать комбинировать классифицировать выполнить алгоритм выполнить простую процедуру дать определение идентифицировать назвать Расширенные абстракции Графические символы непосредственно связанные аспекты необычные аспекты (взгляд в перспективу) x нерелевантные аспекты R реакция (ответ на задание) xx R' R R'' SOLO 5 x x сравнительные R SOLO 4 R 1 R 2 R 3 Мультиструктурные R SOLO 3 Уни-структурные R SOLO 2 X R Note: неполный перечень SOLO (еще глаголы) SOLO 5 "extended abstract" SOLO 4 "relational" SOLO 2+3 "multi structural" & "uni structural" теоретизировать гипотезы обобщать критиковать прогнозировать применять теории (к отдаленным' проблемам) рассматривать в перспективе отражать решать обсуждать анализировать доказывать связывать сравнивать интегрировать применять теорию (к сходной' проблеме) обосновывать (делать выводы) объяснять (причина-следствие) объяснять (сходства-отличия) объяснять (достоинства-недостатки) описать структурировать собирать комбинировать классифицировать выполн. алгоритм перечислить парафразировать выполн. простую процедуру дать определение идентифицировать/ назвать повторить 26
15. 04. 2014 SOLO достоинства • Достоинства таксономии SOLO : • Линейная иерархическая структура (удобно для оценки прогресса) • Нацелен на оценку обучения студентов • Направлен на исследование (SOLO 5) Иследование: продукция новых знаний SOLO Calculation Method • Calculation Example (for a course): identify (2) and formulate (3) algorithmic problems; classify (3) and compare (4) algorithms; construct (4) and analyze (4) algorithms using standard paradigms; implement (4) algorithms for simple problems. • "SOLO average": "double weight averaging" - [ (2+3)/2 + (3+4)/2 + (4+4)/2 + 4 ] / 4 = 3. 50 • "SOLO distribution": 27
15. 04. 2014 SOLO Progression • SOLO Progression: • Computer Science vs. Mathematics vs. … CS vs Math Distributions • Computer Science: • Mathematics: = 3. 68, = 0. 39) ( = 3. 06, = 0. 24) ( 28
15. 04. 2014 Анализ матрицы программы количественные индикаторы 57 Целостный анализ матрицы программы 1. Правильно ли сформулированы задачи обучения? 2. Имеют ли студенты достаточную возможность для достижения РО? 3. Организован ли контент в логической манере и отражает возрастающую сложность? 4. Имеют ли студенты возможность продемонстрировать прогресс в отношение РО? ? 5. … 29
15. 04. 2014 Количественные индикаторы (i) Показатель репрезентативности РО (ii) Показатель насыщенности РО (iii) Показатель пунктов оценки РО (iv) показатель охвата курса (v) показатель глубины курса (vi) показатель участия курса в оценку Curriculum Mapping: A Roadmap for Curriculum Coherence and Student Achievement Southern Connecticut State University // March 4, 2011 30
15. 04. 2014 Анализ матрицы программы с помощью пакета программ INSTRUCTIONAL DESIGN AND ASSESSMENT Graphic Strategies for Analyzing and Interpreting Curricular Mapping Data Graciela M. Armayor, Pharm. D, MS, and Sean T. Leonard, Ph. D American Journal of Pharmaceutical Education 2010; 74 (5) Article 81. Example Aggregate Data from the Curric. Kit ™ Curriculum Mapping Survey 31
15. 04. 2014 Фокусные группы: Общее описание • Фокусная группа - группа из 8 -12 относительно сходных людей которая на регулярной основе предоставляет информацию в процессе направленной интерактивной дискуссии (Popham, 1993). • Отбор в группу производится из числа лиц которые владеют соответствующей информацией по интересуемому вопросу Focus • Пригодны для получения понимания того, какие проблемы наиболее релевантны для студентов, как на практике влияют изменения в программе на студентов и т. д. • Полезны в подготовке анкет Фокусные группы: области применения • Стимулирование высказываний которые обычно умалчиваются • Получение углубленного понимания об отношении, ощущениях, поведении, мотивации • Идентификация потребностей, ожиданий и потенциальной реакции до запуска программы • Совершенствование действующей программы путем понимания потребностей, проблем • Оценка реализованной программы или инновации • Получение информации для последующего проведения анкетирования или интервью • После анкетирования - помощь в интерпретации интересных или неожиданных результатов анкетирования 32
15. 04. 2014 Фокусные группы: технология проведения • Эффективная дискуссия - 45 -90 минут • Сходные по уровню, но незнакомые участники, не являющиеся звеньями одной цепи (преподавательстудент) • Предоставление полной информации (цели, ожидаемые результаты, контактные телефоны) • Запланированные стимулы (фуршет, оплата, сертификат и т. д. ) • Расслабляющая, располагающая к беседе атмосфера • Соответствующая одежда Фокусные группы: модератор Качества и навыки модератора согласно Kvale (1996) and Fern (2001): • • Осведомленный Энтузиаст Систематизирующий Ясный, четкий Доступный Терпеливый Чувствительный Открытый и гибкий • Целенаправленный • Критичный • Запоминающий и интегрирующий • Интерпретирующий • Побуждающий 33
15. 04. 2014 Фокусные группы: ограничения • Сложности и временные траты в подготовке модераторов, рекрутинге участников, проведении дискуссии, интерпретации результатов • Анализ данных достаточно трудоемкий и времязатратный • Результаты не всегда точно отражают мнение всей популяции • Не позволяет оценить причинно-следственную связь • Невозможность участия преподавателей участвующих в программе Фокусные группы: ресурсное обеспечение • Высоко-затратный метод: - Навыки фасилиторования для модераторов, навыки составления опросника, навыки анализа. - Наемные и тренированные сотрудники - Оборудование для записи дискуссии - Рекрутинг участников: вопросы анонимности - Помещение 34
15. 04. 2014 Фокусные группы: некоторые советы • Включите в вопросы задачи программы: потребности на которые она ориентирована, ожидаемый эффект, текущие ресурсы, ресурсы необходимые для реформы • Не задавать вопросы с целью «просто узнать» • Не планировать более чем 6 -10 вопросов • Не задавать вопросы ответ на который не позволяет определить пути для улучшения • Рекомендуется задавать вопросы открытого типа: «Что вы думаете о. . ? » , «Каково ваше мнение о? » , Пожалуйста, опишите…» или вопросы типа «Как. . ? » • Избегать вопросов типа «Почему. . ? » , особенно в начале беседы, так как они могут направить участников на оценку своих действий или мнения (Goldenkoff (1994) Фокусные группы: некоторые советы • Используйте простые, короткие вопросы • Простой понятный для студентов язык • Избегайте двусмысленных вопросов • Избегайте наводящих вопросов • Избегайте слов типа: все, всегда, никто, никогда, только, единственно • Один вопрос - одно понятие • Используйте вопросы входящие в компетенцию студента • Используйте дублирующие вопросы для уточнения 35
15. 04. 2014 Фокусные группы: примеры вопросов Плохо: «Вы записались на этот курс чтобы улучшить свои знания в данной области? " Лучше: «чем заинтересовал вас этот курс? " Вопрос: Какие факторы влияют на вашу мотивацию при выборе того или иного курса? Дублирующие вопросы: выяснить влияние следующих факторов: Удобное расписание Интерес в данной области Репутация преподавателя Сложность курса и система оценка Карьерные вопросы Фокусные группы: еще советы • Обычно фокусные группы начинаются с общих вопросов и заканчиваются одним или двумя вопросами специфичными для цели исследования. • Продолжительность - не более 90 минут • Группируйте сходные вопросы • Щепетильные вопросы рекомендуется задавать ближе к середине беседы • По возможности, провести пилотное тестирование вопросов на сходной группе 36
15. 04. 2014 Интервью: общее описание • Беседа один-на-один с использованием вопросов с целью получения расширенных ответов. • Способствует выражению респондентами мнения своими словами и в удобной форме и темпе. • Для обеспечения валидности и достоверности не привлекать к интервью преподавателей. Интервью: типы 1. НЕСТРУКТУРИРОВАННОЕ ИНТЕРВЬЮ -Импровизация - Неожиданные и непредвиденные данные - Высокий профессионализм интервьюера - Сложности при анализе и интерпретации данных 37
15. 04. 2014 Интервью: типы 2. НАПРАВЛЯЕМОЕ (ПОЛУСТРУКТУРИРОВАННОЕ ИНТЕРВЬЮ -Перечень основных вопросов - Импровизация - Возможность получения непредвиденных данных - Дисциплинированность (следование перечню) и профессионализм (для импровизации) интервьюера - Более системные данные -Облегчение анализа и интерпретации Интервью: типы 1. СТРУКТУРИРОВАННОЕ ИНТЕРВЬЮ -Установленные перечень и порядок вопросов - Возможность сравнения ответов от разных респондентов - Вопросы открытого или закрытого типа - Меньше незапланированных тем и ответов - Эффективно для анализа и интерпретации - Наименее затратный тип - Непрофессиональный интервьюер 38
15. 04. 2014 Интервью: области применения • Оценка образовательной программы • Углубленное понимание отношений и ощущений • Оценка педагогических инноваций • Понимание вербальных и невербальных коммуникаций • Получение информации для последующего анкетирования • Помощь в интерпретации интересных или неожиданных результатов анкетирования • Cбор данных и описание об обучении или других сложных процессах • Получение углубленного понимания • Выявление индивидуальных различий в подготовке и результатах Exploring individual differences in experiences and outcomes Интервью: ограничения • Трудоемкость и время-затратность подготовки интервьюеров, проведения и записи интервью • Сложность и время-затратность анализа данных • Результаты не всегда отражают общее мнение • Невозможность участия ППС (наем и подготовка интервьютеров) 39
15. 04. 2014 Интервью: ресурсы • Высоко-затратный метод: - Навыки написания вопросов - Соответствующие навыки интервьюирования - Навыки анализа качественных данных - Наем и подготовка сотрудников - Оборудование для записи - Рекрутинг участников - Помещение для интервью - Переписывание и анализ данных (4 -6 часов для 1 часа интервью) Интервью: советы по применению • Те же что и в фокусных группах • В отличие от анкетирования - начните с демографических вопросов 40
15. 04. 2014 Наблюдение: общая характеристика • Систематическое изучение программных процессов или операций с целью идентификации потребностей/проблем или улучшения процессов • Обычно включает предварительную разработку протокола содержащего специфические измерители наблюдаемых действий (критерии, шкала) и описательные комментарии контекста действий. • Типы: чек-лист, шкалированный рейтинг, интервальное наблюдение и описательные комментарии Наблюдение: область применения • Применяется в комбинации с оценкой документов • Углубленное понимание путем описания действий • Оценка изменений в программе • Выработка идей для фокусирования будущих исследований (например анкетирования) 41
15. 04. 2014 Наблюдение: ограничения • Должна быть использована совместно с другими методами сбора информации • В значительной степени описательная методика Наблюдение: некоторые рекомендации • Разрабатывайте оценочные формы для каждого контекста, процесса, задачи. • Проводите многократные наблюдения • Варьируйте время и день наблюдения • Наблюдайте как минимум 30 минут • Предварительно беседуйте с персоналом (ППС) для получения соответствующей информации и сообщения цели посещения 42
15. 04. 2014 Наблюдение: пример • Оценка качества чтения лекций • Группа наблюдателей - комиссия • Стандартный оценочный лист (приложение) Результаты Категория Количество Средний балл Мах=21 б. В целом 32 8, 6 Теоретические кафедры 16 10, 5 Клинические кафедры 16 6, 8 Профессорский состав 8 чел 11, 6 Доценты 12 чел 9, 1 Старшие преподаватели 7 чел 7, 3 Ассистенты 5 чел 5, 4 43
15. 04. 2014 Значения среднего балла по анализируемым критериям (max=3 б. ) Структура лекции Вовлеченность студентов 1, 6 ТСО 0, 7 1, 0 Связь с 1, 8 аудиторией Наглядность 1, 8 Манера 2, 0 изложения Изложение материала Оценка продукта: общая характеристика • Систематическое изучение продуктов обучения студентов: - проекты, - портфолио, - задания, - письменные работы, - отчеты студентов - Результаты экзаменов 44
15. 04. 2014 Оценка продукта: области применения • Определение выполняются ли преподавателями задачи обучения • Определение соответствует ли программная деятельность задачам обучения • Идентификация навыков, концепций и ресурсов которые используются студентами при создании продукта • Идентификация возможных изменений в продуктах • Измерение эффекта изменения программы Оценка продукта: ограничения • Не применимо для оценки индивидуальной подготовки студента • Может не вскрыть причины плохой подготовки или упущений при достижении задач • Иногда очень трудно четко сформулировать критерий • Сложность и время-затратность анализа 45
15. 04. 2014 Оценка продукта: ресурсы • Минимальные ресурсы: - Полезен тренинг или опыт в контент-анализе - Сбор, анализ и оценка продуктов может потребовать времени Оценка продукта: примеры • Анализ результатов экзамена по шкале ECTS • Анализ результатов экзаменов в разрезе - Разделов программы - Преподавателей • Анализ коррелляции - результатов экзамена с текущей оценкой, - Результатов 1 и 2 этапов экзамена • Анализ рефератов - выставленный бал и реальный уровень • ? ? 46
15. 04. 2014 Анкетирование • Продолжение следует… Информация от студентов • Аудиторная обратная связь • Анкетирование • Интервьюирование 47
15. 04. 2014 Анкетирование Анкета - упорядоченный перечень вопросов или утверждений применяемых в систематической манере и оценивающих отношение, поведение или личностные характеристики индивидуума. Типы анкетирования бланочное Лицом-клицу По почте анкетирование По эл почте электронное Телефонное On-line 48
15. 04. 2014 Сайты электронных анкет • www. surveymonkey. com • https: //wikis. utexas. edu/display/bbsupport/create_survey • www. utexas. edu/academic/diia/oca • https: //surveystation. austin. utexas. edu/Login. Active. Directory. aspx? R eturn. Url=/Default. aspx • www. limesurvey. org • www. questionpro. com • www. statpac. com • www. surveycrafter. com • www. surveygold. com • www. zoomerang. com Рекомендуемые области применения • Оценка качества преподавания/программы • Информация об отношении и результатах студентов по курсу • Оценка изменений в преподавании • Измерение эффекта внедрения новых образовательных методик 49
15. 04. 2014 ОГРАНИЧЕНИЯ • Не применимо для оценки индивидуальных достижений студента. • Не применимо для сбора углубленной информации • Требует соответствующих знаний для составления и правильного использования анкет Ресурсы • Знания по разработке анкет, кроме случаев когда вы используете готовые стандартизированные анкеты • Знание основ статистики (например частота, метод, вес), и опыт в составлении электронных таблиц (для больших групп). • Ввод данных требует дополнительного штата • Бланки, компьютеры • Программы стат. анализа 50
15. 04. 2014 Когда и как часто • Хорошая практика - заранее оглашенное расписание анкетирования • Часто - если есть причины для беспокойства • Реже - если оценка дает стабильные позитивные результаты • За 2 недели до конца курса Анкетирование студентов: достоверность данных • 70 лет истории , более 2000 работ “В целом, студенческий рейтинг имеет тенденцию быть статистически достоверным, валидным и относительно свободным от предубеждений или потребности в контроле; даже возможно более чем любая другая информация используемая для оценки» William Cashin мета-анализ вопроса (1995): 51
15. 04. 2014 Оптимальные условия проведения опроса • Заранее сообщить о процедуре • Адекватный и детальный предварительный инструктаж • Регулярность проведения опроса • Адекватное время для ответа (не в конце занятия) Что могут оценить студенты • Были ли охвачены преподавателем все задачи курса написанные в силлабусе • Была ли предоставлена обратная связь регулярно и своевременно • Позволял ли преподаватель уходить с занятий раньше положенного и как часто это происходило • Были ли случаи отмены занятий и как часто 52
15. 04. 2014 Что могут оценить студенты • Четко ли преподаватель определял время объявления оценок и придерживался его • Опаздывал ли преподаватель на занятия и как часто • Доступность преподавателя во вне учебное время (если нет - то как часто) • Была ли речь преподавателя ясной и понятной Что могут оценить студенты • Старался ли преподаватель отвечать на вопросы на занятия или предоставлял иные возможности • Регулярно поощрял студентов за хорошую работу • Использовал материалы студентов в вопросах напрямую касающихся их обучения (руководство дискуссией, методы оценки, темы докладов и проектов в виде примера) 53
15. 04. 2014 Что могут оценить студенты • Четко давал понять значение (цель) заданий предназначенных для выполнения в или вне класса • Создавал позитивную обстановку в классе (не позволял спать, разговаривать, заниматься посторонними делами, разговаривать по телефону) • Знает ли профессор студентов по именам • Были ли полезны учебники и другие пособия Что могут оценить студенты • Были ли четко представлены цели и задачи каждого курса/занятия • Был ли темп занятий приемлемым для него лично • Придерживался ли преподаватель правил, инструкций оговоренных в силлабусе 54
15. 04. 2014 Вопросы, в которых студенты менее квалифицированы • Были ли методы преподавания соответствующими для данного курса • Соответствовало ли содержание курса целям и задачам • Новизна данных представленных на курсе • Соответствие методов мотивации уровню и содержанию курса • Задания для выполнения (задачи) способствовали обучению или нет Вопросы, в которых студенты менее квалифицированы • Имеет ли реальное применение то чему они обучились • Поможет ли им то чему они обучились на будущих курсах/занятиях • Была ли помощь, консультация или поддержка соответствующей целям и задачам курса • Соответствие трудность материала курса его уровню • Оценка курса или преподавателя отлично, средняя или плохая если не была предоставлена рубрика с соответствующей шкалой 55
15. 04. 2014 Разработка анкеты ЦЕЛЬ АНКЕТЫ ЦЕНТРАЛЬНЫЙ ВОПРОС • Получить понимание Чему научился студент и как именно он этому научился? • Изменить практику Как можно улучшить мое преподавание? • Измерить эффект Улучшило ли обучение использование новой технологии? Формат анкеты ВВОДНАЯ ИНСТРУКЦИЯ • Цель анкетирования • Как будут использованы результаты • Как заполнять анкету • Вопросы конфиденциальности и анонимности Примеры 56
15. 04. 2014 Формат анкеты ВВОДНАЯ ИНСТРУКЦИЯ Используйте четкие, простые слова. Для анкеты с свободными комментариями определите желаемую длину и детали ответа ПРИМЕР Эта анкета была составлена с целью оценки влияния системы электронного ответа на обучение и удовлетворенность класса. Ваши ответы будут использованы для улучшения применения данной системы в будущем. Ответы анонимные и результаты анкетирования не будут влиять на оценку по курсу. Пожалуйста, ответьте насколько вы согласны с предложенными утверждениями. Формат анкеты ВВОДНАЯ ИНСТРУКЦИЯ Каждый раздел анкеты сопровождайте отдельной короткой инструкцией по содержанию и цели, чтобы помочь респонденту сориентироваться. ПРИМЕР В данном разделе вам нужно высказать свое мнение об использовании доски на данном курсе 57
15. 04. 2014 Формат анкеты ЗАКЛЮЧИТЕЛЬНАЯ ИНСТРУКЦИЯ • Напишите заключительную инструкцию • Куда и как сдать заполненную анкету (принести, выслать электронкой и т. д. ) • Контактные лица и телефоны для информации • Предусмотрите возможность сообщения о получении при электронном формате анкеты • Поблагодарите за участие Общепринятые требования к формату анкет: • Сделайте анкету визуально привлекательной и легкой в заполнении • Не используйте мелкий или трудночитаемый шрифт • Делайте пробелы для удобства чтения • Один вопрос - одна строка • Группируйте сходные вопросы • Интересные вопросы задавайте в начале для стимулирования интереса 58
15. 04. 2014 Общепринятые требования к формату анкет: • Ставьте щепетильные вопросы в середине • Раз начав заполнять анкету респондент скорее всего ответит и на щепетильные вопросы • Расположив их в начале рискуете потерять респондента • Поставьте демографические вопросы к конце анкеты Кол-во вопросов в анкете • Оптимально • 20 вопросов при рейтинговой анкете • Менее 10 - при опроснике со свободноформируемыми ответами 59
15. 04. 2014 Типы вопросов Вопросы открытого типа (эссе или короткие ответы) Достоинства Выявление проблем наиболее релевантных респондентам Генерирование новых идей и тем Выяснение позиции респондентов Детальный и углубленный анализ Типы вопросов Вопросы открытого типа (эссе или короткие ответы) Ограничения • Требует времени, обдумывания, и навыков коммуникации для заполнения • Требует времени для ввода информации при анализе • Получение неполных или нерелевантных данных • Усложнение процедуры анализа и заключения 60
15. 04. 2014 Типы вопросов Вопросы открытого типа (эссе или короткие ответы) Пример 1. Опишите шаги сделанные вами при подготовке к последнему экзамену 2. Что вам больше всего нравится в данном курсе? Типы вопросов Вопросы закрытого типа (варианты ответов) Достоинства • быстро и легко заполняются • возможность автоматического ввода данных • способствует статистическому анализу информации 61
15. 04. 2014 Типы вопросов Вопросы закрытого типа (варианты ответов) ограничения • ограниченность вариантов ответов • можно упустить предпочтительный ответ • требует среднего уровня знаний по теме для написания вопросов и ответов • снижение детализации и глубины Типы вопросов Вопросы закрытого типа (варианты ответов) пример 1. Какие аспекты курса кажутся вам наиболее эффективными? a. лекции b. интерактивные задания в классе c. предварительное чтение текстов d. видео-фильмы 62
15. 04. 2014 Типы вопросов Частично открытые (вопросы с вариантами ответа и опцией другое) Пример Какие аспекты курса кажутся вам наиболее эффективными? a. лекции b. интерактивные задания в классе c. предварительное чтение текстов d. видео-фильмы e. другие _____ Типы вопросов Шкалированные • Уровень ответа, мнения, позиции достоинства • более точный ответ чем да/нет • быстро и легко заполняется • позволяет автоматизировать обработку данных 63
15. 04. 2014 Типы вопросов Шкалированные • Уровень ответа, мнения, позиции Ограничения • требует определенных знаний по теме для написания вопросов и ответов Типы вопросов Шкалированные Перечитывание текстов улучшает мою подготовку к экзамену a. полностью согласен b. согласен c. нейтрален d. не согласен e. совсем не согласен 64
15. 04. 2014 Типы вопросов Ранжирование • определение относительной важности различных опций • выбор среди различных вариантов Типы вопросов Ранжирование достоинства • позволяет отметить относительную важность выбранного ответа • автоматизированная обработка данных ограничения • более сложно для ответа • ограничение вариантов ответа • можно упустить предпочитаемый ответ 65
15. 04. 2014 Типы вопросов Ранжирование Ранжируйте следующие виды учебной деятельности по степени вашей заинтересованности с наиболее интересного чтение текстов __прослушивание лекций __просмотр видео-фильмов __письменный опрос Типы вопросов Открытого типа Шкалирование Закрытого типа Ранжирование Комбинирован ные 66
15. 04. 2014 Рейтинг ТИП АНКЕТЫ или Открытые вопросы • Быстрота • Количественный анализ • Сопоставимые данные • Низкая вариабельность ответов Рейтинг • Высокая вариабельность ответов • Трудно организовать • Трудно анализировать • Долго отвечать ТИП АНКЕТЫ или Открытые вопросы Совет: большая часть вопросов закрытого типа (рейтинговая шкала) с возможностью дополнить свободными комментариями Комбинированная анкета 67
15. 04. 2014 Разработка анкет - вопросы Используйте простой язык ПРИМЕР сложно: "насколько вы бываете откровенны, когда лектор спрашивает понятен ли вам материал лекции? лучше: "насколько вы бываете честны, когда лектор спрашивает понятен ли вам материал лекции? Разработка анкет - вопросы Избегайте вопросов ответы на которые не могут быть одинаковы в разное время (июнь -март) Не ясно: "как часто в этом году вы были в библиотеке? Яснее : "как часто вы были в библиотеке в 2009 году? Вопрос будучи задан в июне может вызвать более низкий рейтинг чем если бы он был задан в марте. Кроме того не ясно, вопрос имеет в виду академический или календарный год 68
15. 04. 2014 Разработка анкет - вопросы Избегайте универсальных слов и двойного отрицания Так как респонденты могут стараться не выбирать крайние варианты, не используйте слова типа все, всегда, нет, никогда. ПРИМЕР Универсально: "я всегда долго готовлюсь к экзаменам" Лучше: "я долго готовлюсь к экзаменам" Разработка анкет - вопросы Негативные утверждения часто запутывают, так как ответ «нет» приводит к двойному отрицанию. Негативные предложения: «Должен ли преподаватель не планировать экзамен в ту же неделю когда выполняется письменная работа» Лучше: "Должен ли преподаватель планировать экзамен в ту же неделю что и письменная работа? " 69
15. 04. 2014 Разработка анкет - вопросы Пишите короткие вопросы не превышающие 20 слов. Одно понятие - один вопрос. Сдвоено: "Насколько использование доски и системы электронного ответа помогает вам лучше усваивать материал данного курса? " Лучше: "Насколько использование доски помогает вам лучше усваивать материал данного курса? " Разработка анкет - вопросы Избегайте вопросов с пристрастием, которые наводят респондента на определенный ответ С пристрастием: "в этом семестре мы использовали самую передовую технологию с системой электронного ответа. Каково ваше мнение по данной системе? " Лучше: " Каково ваше мнение по системе электронного ответа? " 70
15. 04. 2014 Типы шкал Шкала Ликкерта Измеряет отношения и мнение Утверждения с которыми респондент соглашается или нет Обычно состоит из жестко сформулированных позитивных или негативных утверждений Centra (1993), Braskamp&Ory (1994) Типы шкал Шкала Ликкерта - достоинства • Содержит вопросы которые легко понимаются и оцениваются количественно • Позволяет дать нейтральный ответ • Обеспечивает значимые группы вопросов • Возможность вычисления итоговой оценки Centra (1993), Braskamp&Ory (1994) 71
15. 04. 2014 Типы шкал Шкала Ликкерта - ограничения • Требует большой работы от респондента по выбору ответа • Нет возможности оценить верно отношения если респондент решит отвечать положительно или старается угодить преподавателю Centra (1993), Braskamp&Ory (1994) Типы шкал Шкала Ликкерта - пример Университет заинтересован в обеспечении выдающегося базового образования __ полностью согласен __ нейтрален __ не согласен __ совсем не согласен Centra (1993), Braskamp&Ory (1994) 72
15. 04. 2014 Типы шкал Семантическая шкала • Обычно измеряет серию ценностей в отношении сложных концепций • 7 -бальная шкала ответов с биполярными определениями на концах Centra (1993), Braskamp&Ory (1994) Типы шкал Семантическая шкаладостоинства • Идентифицирует приятные или неприятные аспекты многогранных проблем или концепций • Общая оценка в среднем по концепции ограничения • Пригодна только для биполярных оценок • (активный/пассивный, интересный/скучный и т. д. ) • Определения могут иметь разное значение для различных групп респондентов Centra (1993), Braskamp&Ory (1994) 73
15. 04. 2014 Типы шкал Семантическая шкала - пример Оцените совещания по обсуждению последней экзаменационной сессии Неэффективно Эффективно Бесполезно - Полезно Неинтересно - Интересно Centra (1993), Braskamp&Ory (1994) Типы шкал Частотная шкала Измеряет частоту действий Достоинства: Оценка больше поведения, чем отношения Ограничения • Не измеряет причины поведения • Может пониматься по разному разными респондентами Centra (1993), Braskamp&Ory (1994) 74
15. 04. 2014 Типы шкал Частотная шкала - пример Как часто вы просматриваете свои записи лекций __никода __редко __иногда __часто __всегда Centra (1993), Braskamp&Ory (1994) Типы шкал Шкала важности Для выявления значимости целей, задач, или деятельности Достоинства • Эта категория упрощает анализ, разработку анкет и ввод данных • Хорошо работает чтобы стимулировать респондентов давать значимые комментарии ограничения • Малое количество вариантов снижает статистическую значимость • Низкий дискриминационный индекс • Centra (1993), Braskamp&Ory (1994) 75
15. 04. 2014 Типы шкал Шкала важности - пример Насколько важна была тема…? _очень важна отчасти важна _не важна Centra (1993), Braskamp&Ory (1994) Типы шкал Шкала качества • Рейтинг качества ДОСТОИНСТВА: • Прямая оценка ОГРАНИЧЕНИЯ: • Требует интенсивной работы по разработке • Иногда приводит к снижению качества оценки отношения при желании респондента угодить инструктору Centra (1993), Braskamp&Ory (1994) 76
15. 04. 2014 Типы шкал Шкала качества - пример В целом, как вы оцените качество данного занятия? ___отлично ___очень хорошо ___удовлетворительно ___плохо Centra (1993), Braskamp&Ory (1994) Типы шкал Ликкерта Семантическая Частотная Важности Качества Centra (1993), Braskamp&Ory (1994) 77
15. 04. 2014 Разработка шкалы Выбор количества ответов зависит от: 1. Количества вопросов в анкете Длинная анкета - меньше шкала вариантов ответов Короткая анкета - больше шкала вариантов ответов 2. Способности респондентов различать варианты ответов Чем шире выбор, тем труднее выбрать вариант ответа Слова в ответах могут также затруднять выбор: «немного» , «мало» , «много» и т. д. 3. Целей исследования Используйте нечетное количество ответов для получения нейтрального мнения Используйте четное количество ответов, если хотите вынудить респондента сделать выбор Задание в парах 1 20 минут 1. Проанализируйте предложенную анкету с точки зрения правил составления 2. Какие ошибки допущены в анкете 78
15. 04. 2014 Проведение анкетирования • Предварительная короткая беседа со студентами о целях и задачах анкетирования и вопросах конфиденциальности. • Даже если вы хотите сравнить два вида анкетирования (бумажное или электронное) используйте только один способ. • Если анкетируете несколько групп проведите анкетирование в одинаковое время (начало, середина или конец курса). Анализ данных 1. Частота ответов % ответивших на анкету Кол-во ответивших Кол-во отвечавших = % ответивших 79
15. 04. 2014 Приемлемая частота ответа зависит от нескольких факторов: метода анкетирования - почта: 50% адекватно, 60% хорошо, 70% очень хорошо - телефон: 80% хорошо - Email: 40% средне, 50% хорошо, 60% очень хорошо - Online: 30% средне - В классе: > 50% = хорошо - С глазу на глаз: 80 -85% хорошо Требуемый уровень частоты ответа Размер группы • 5 -20 • 20 -30 • 30 -50 • 50 -и более • 100 -и более % ответивших 80% 75% 66%-75% 60%-75% 50%-75% (Franklin and Theall, 1991) 80
15. 04. 2014 Как увеличить частоту ответа • Инструктируйте как заполнить и как вернуть/выслать анкету • Делайте анкету простой для заполнения. • Запланируйте поощрения для участников • Заранее попросить об участии и обеспечить хорошей инструкцией • Дать соответствующее время для заполнения - Оn-line, 7 -10 дней. - Почтой - обеспечьте готовые открытки с обратным адресом - В классе - 1 минута на вопрос и больше времени при открытых вопросах АНАЛИЗ ДАННЫХ 1. Распределить всех студентов по пункту «Общая оценка курса» 81
15. 04. 2014 Задание 2 20 минут Попробуйте интерпретировать данные приведенные в таблице Какие выводы можно следать? Советы: по эффективному использованию студенческого рейтинга • Обучить всех кто будет интерпретировать результаты как это делать эффективно и справедливо • Обучить студентов как давать аккуратную и содержательную обратную связь и определить ключевые термины • Помощь преподавателям в осмыслении выгод и ограничений проведения такого рейтинга • Четкое представление преподавателям и студентам целей и задач проводимого рейтинга (Centra, 1993; Marsh, 1987; Murray, 1994). 82
15. 04. 2014 Информация от студентов • Аудиторная обратная связь • Анкетирование • Интервьюирование Интервью Структурированное Полуструктурированное Неструктурированное 83
15. 04. 2014 Структурированное групповое интервью Собрание группы студентов с целью получения информации об их впечатлении о курсе, программе, или модуле • Структурированное - опросник • Групповое обсуждение (снижение риска последствий) • Ответ - видение группы в целом • Роль преподавателя - анализ и интерпретация ответа Структурированное групповое интервью • Больше свободы для комментариев • Больше эффект для улучшения программы • Хорошая практика - организация интервью независимым подразделением 84
15. 04. 2014 Обратная связь в середине семестра Дискуссия в малых группах по 4 -5 человек с целью получения ответа на 2 вопроса: 1. Перечислите главные достоинства данного курса (Что помогает вам учиться? ). Дайте подробные пояснения или приведите пример к каждому достоинству 2. Перечислите изменения, которые можно было бы сделать чтобы улучшить обучение. Дайте подробные советы как это сделать. Оценка программы планирование и реализация Матрица Witkin and Altshuld (1999) Планирование Сбор данных Анализ Учебные результаты Результат 1 Результат 2 Результат 3 85
15. 04. 2014 Компетентностный подход: ключевые характеристики • Валидный каталог компетенций • Учет всех сфер компетенций: знания-навыки-отношения • Задачи обучения в терминах РЕЗУЛЬТАТОВ ОБУЧЕНИЯ (измеримые, специфичные, студент-ориентированные) • Четко обозначенные уровни компетенций • Обратное планирование с согласованием результатов обучения программыкурсов-занятий (curriculum mapping) • Конструктивная выверка - цели- методы оценки -методы преподавания (curriculum alignment) • Оценка всех компетенций • Определение объема часов (кредитов) на основе задач обучения с учетом всех видов работы студента (ECTS) - подход Тюнинг • Запланированная оценка программы на уровне результатов Вопросы ? ? ? 86
15. 04. 2014 Обратная связь 3 интересных факта, которые я сегодня узнал 1 идея, которую я могу использовать уже завтра 1 утверждение, с которым я не согласен 1 неясный вопрос 87
оценка прог.ppt