Проблема выделения уровней достижений учащихся и критериев их оценивания Подход 1. В структуре деятельности ученика выделяется ее пооперационный состав: действие 1, действие 2, …, действие N. В процессе выполнения специальных учебных заданий анализируются результаты каждого действия, и формулируется следующий вывод: если каждое действие в составе деятельности учеником выполнено, то данным видом деятельности ученик владеет, если хотя бы одно из действий учеником не выполнено, то данный вид деятельности учеником не усвоен (не сформирован). Таким образом, в данной схеме выделяется 2 уровня – сформирован и не сформирован (описанная сущность построения диагностического вывода применима, например, к анализу уровней сформированности мыслительных операций учащихся).
Подход 1 к решению проблемы выделения уровней достижений учащихся и критериев их оценивания • анализ – мыслительная деятельность по расчленению объекта на составляющие его части; • синтез – мыслительная деятельность по соединению в единое целое частей или свойств объекта анализ – выделение (объявление) сущности (цели) разбиения, выделение всех составляющих частей (элементов) целого; синтез – выделение (объявление) цели соединения, выделение элементов соединения, установление связи между элементами как составляющими целое, соединение элементов в единое целое, комбинация элементов в другое (видоизмененное) целое при объявлении (формулировке) новой цели соединения
Подход 2. В структуре деятельности ученика выделяются виды действий, характеризующиеся разным составом, уровнем сложности и (или) трудности: действие 1 (уровень сложности 1, уровень трудности 1), действие 2 (уровень сложности 2, уровень трудности 1), …, действие N (уровень сложности k, уровень трудности p). Выделяемые действия классифицируются по нескольким уровням 1, 2, …, М с разной степенью вариации и вложенности действий, например, следующим образом: действие 2 действие 1 уровень 2 действие 2 уровень 2 действие N уровень М … действие К, действие N уровень М
Уровни освоения учебной информации - в теории поэтапного формирования умственных действий П. Я. Гальперина таких этапов выделяется шесть: мотивационный, составление схемы ориентировочной основы действия, материализованное действие, внешнеречевое действие, перенос действия на умственный уровень, окончательное становление умственного действия. - А. Г. Молибог: уровень узнавания; уровень знаний; уровень умений; уровень навыков. - В. П. Беспалько: знания-знакомства, знания-копии, знания-умения и знания-трансформации. - таксономия Блума: знание, понимание, применение, анализ, синтез, оценка.
Уровень Обязательные требования Конкретные действия Зна Студент ние должен знать определения технологии, информационн ой технологии, новых информационн ых технологий, педагогической диагностики Воспроизводит по памяти формулировку определений; конструирует определения понятий из различных вариантов фраз Примеры учебных заданий для диагностики действий Сформулиру й определение понятия…, сконструируй из приведенных фраз определение понятия…
Уровен ь Пони Обязательные требования Понимает мание смысл термина «НИТ в педдиагности ке» , логическую последовател ьность этапов технологичес кого процесса, структурные компоненты педдиагности ки Конкретные действия Примеры учебных заданий для диагностики действий Может объяснить, чем отличаются процессы организации контроля, педагогического мониторинга, педдиагностики; умеет привести примеры образовательных технологий, новых информационных технологий, обосновать необходимость использования НИТ для организации педдиагностики. Сравни, сопоставь (проведи сравнительный анализ методов, функций, структурных компонентов контроля, мониторинга, педдиагностики
Уровен ь Обязательные требования Конкретные действия Пр име нен ие Умеет использов ать НИТ для организац ии контроля, отдельных этапов педдиагно стики. Умеет формулировать цель контрольного, диагностического мероприятия, обосновывать необходимость и преимущества использования НИТ на отдельных этапах учебного процесса, организовать урок с использованием НИТ Примеры учебных заданий для диагностики действий
Уровень Обязательные требования Анал Предлагает различные способы организации деятельности из учащихся на отдельном этапе урока с использованием средств НИТ. Синт Распределяет реализацию ез (достижение) задач урока, функций НИТ по отдельным этапам. Оцен Сравнивает организацию деятельности учащихся на ка определенном этапе урока без и с использованием средств НИТ. Выделяет преимущества Конкретн ые действия Примеры учебных заданий для диагностики действий
Решение проблем Уровень III Уровень IV демонстрирует понимание проблемы демонстрирует понимание цели и задач деятельности демонстрирует понимание последовательности действий имеет общее представление о предполагаемом продукте проектной деятельности высказывает впечатления о работе и полученном продукте описывает желаемую и реальную ситуации - формулирует цель и задачи деятельности при решении проблемы - планирует свою деятельность - формулирует детальное представление об ожидаемом продукте оценивает продукт и процесс деятельности - формулирует проблему с помощью учителя ставит достижимые и измеримые цели проводит текущий контроль реализации плана деятельности - предполагает последствия достижения результатов, намечает перспективы использования продукта анализирует продукт и процесс деятельности - формулирует и анализирует проблему определяет стратегию решения проблемы анализирует ресурсы и риски анализирует потребность окружающих в использовании продукта проводит объективныйанализ и указывает субъективное значение результатов деятельности
Примеры учебных заданий для диагностики сформированности различных уровней познавательной деятельности по таксономии Б. Блума Знание Дайте определение … Сформулируйте правило (свойство) … Перечислите (укажите) основные особенности (существенные признаки) … Понимание Расскажите коротко своими словами о … Приведите примеры того, как … Объясните, почему … Выделите (сформулируйте) главное суждение о … Применение Найдите (вычислите, сконструируйте, составьте) … Составьте план … Придумайте практические ситуации, в которых вы сможете использовать изученный способ … Выполните рисунок (схему, чертеж, таблицу, график) …
Примеры учебных заданий для диагностики сформированности различных уровней познавательной деятельности по таксономии Б. Блума Анализ Среди сформулированных утверждений выберите те, которые … Используя приведенные определения, распределите … Синтез На основе результатов эксперимента, предложите гипотезу, объясняющую … Предложите различные способы решения проблемы … Сравнительная оценка Сравните … с точки зрения… Объясните вашу позицию относительно …
Последовательность действий учителя для организации системы педагогического мониторинга (педагогической диагностики) - Исходя из определения целей и содержания обучения выбор программы обучения, которая обеспечивает информационную базу для достижения целей. - Выбор таксономии целей, на основе которой конкретизируются задачи обучения, строится система однозначно диагностируемых целей усвоения конкретного предметного содержания. - Выделение наблюдаемых характеристик состояния учащегося, описывающих динамику процесса усвоения, и системы уровней достижения диагностируемых целей. - Конкретизация учебных действий и формулировка учебных заданий для диагностики конкретных действий. - (Разработка системы корректирующих заданий для выделенных конкретных действий).
Модель педагогической диагностики коррекция вынесение диагностического суждения Учебная деятельность учащихся Модель обучения Начальная диагностика + наличие обоснованной шкалы оценок Психофизиолог ические свойства + правила построения диагностически х суждений Личностные характеристики + методы педагогической диагностики анализ Взаимоотноше ния учащихся в коллективе + При зна ки, кри те рии
Модель педагогической диагностики краткосрочный прогноз характеристика методики обучения коррекция вынесение диагностического суждения Учебная деятельность учащихся модель обучения Текущая диагностика + наличие обоснованной шкалы оценок Психофизиолог ические свойства правила построения диагностически х суждений Личностные характеристики анализ, сравнение Взаимоотноше ния учащихся в коллективе Если предусмотрены целями изучения темы Начальная диагностика методы педагогической диагностики при зна ки, кри те рии
Модель педагогической диагностики долгосрочный прогноз характеристика методики обучения коррекция вынесение диагностического суждения наличие обоснованной шкалы оценок правила построения диагностически х суждений Учебная деятельность учащихся Итоговая диагностика модель обучения Психофизиолог ические свойства Личностные характеристики + + + Текущая диагностика методы педагогической диагностики анализ, сравнение Взаимоотноше ния учащихся в коллективе + при зна ки, кри те рии
• Противоречие между необходимостью реализации построенной модели и физической и информационной невозможностью ее реализации. • Выход: использование средств НИТ.
Модель педагогической диагностики с использованием средств НИТ Обучаемый (ППХ) Цель диагностики Метод диагностики Предмет диагностики Тестирование (компьютерноориентированное) База заданий для тестирования База заданий для коррекции Наблюдение, опросные методы, эксперимент, экспертная оценка, игровые методы Статистическая обработка результатов Коррекция Анализ результатов Прогнозирование Вынесение диагноза
Компьютерный контроль и диагностика (достоинства): (достоинства) • массовость и регулярность • расширенные дидактические возможности при конструировании заданий (звук, графика, видео) • автоматизированный опрос и оценивание действий учащегося (вплоть до адаптационного) • возможность организации самоконтроля и дистанционного контроля • возможность автоматического формирования баз данных об успеваемости, проведение математической обработки результатов
Определение теста n Тест – совокупность, включающая в себя средство, с помощью которого проводится испытание (набор тестовых заданий), инструкцию по его применению, алгоритм обработки его результатов
Основные типы контрольных заданий для САКК: Задания выбора (одного или нескольких верных из предложенных) Пример: Из перечисленных ниже фигур отметьте те, которые являются телами вращения: 1) Шар 2) Конус 3) Усеченный конус 4) Прямой цилиндр 5) Произвольный цилиндр 6) Сфера Вероятность угадывания: (a) один верный из n (b) m верных из n при n=4 (a) p=25% (b) p=6%
Основные типы контрольных заданий для САКК: Ввод в строку (задание открытого типа) Пример 1: Число осей симметрии куба равно Пример 2: Процесс определения образовательной деятельности учащихся - Вероятность угадывания: p =0
Основные типы контрольных заданий для САКК: Задания соответствия (между двумя множествами) Пример: Для величин 1 -5 укажите единицы их измерения из a-d: 1) Координата a) кг 2) Масса b) м/с 3) Перемещение c) м/с2 4) Скорость d) м 5) Путь e) Н 6) Сила Вероятность угадывания (n – элементов в первом множестве, m – элементов во втором множестве): (при n=m=4 p=0, 4%)
Основные типы контрольных заданий для САКК: Задания на установления последовательностей (событий, действий, элементов рядов и пр. ) Пример: Укажите правильный порядок решения задач векторным методом: Перевод условия и требования задачи на векторный язык Перевод результата на язык исходной задачи Выбор системы координат Выбор базисных векторов Разложение введенных в рассмотрение векторов по базисным Задание координат вершин фигуры Использование соответствующих формул для данного типа задачи Вероятность угадывания (n – элементов в последовательности) (при n=4 p=4%)
Пути понижения вероятности угадывания ответа: Увеличение количества вариантов ответа Разнообразие заданий по структуре (от полного отсутствия правильных вариантов до включения только верных вариантов ответа) n Использование заданий, структура которых предполагает минимизацию вероятности угадывания правильных ответов: задания с конструируемыми ответами (постройте формулировку определения понятия из фраз групп 1 -3, 46, 7 -9), задания со связными ответами (какие из перечисленных ниже технологий являются информационными – какая из выбранных Вами технологий является технологией педагогического мониторинга) n n
Отличия компьютерно-ориентированных тестовых заданий от бумажноориентированных n Максимально простой способ ввода информации Пути: технический (использование таких анализаторов и такого интерфейса, которые бы обеспечивали максимальный дидактический эффект при минимуме действий ученика при вводе информации) и содержательный (переформулировка заданий в форму, не требующей значительной работы с клавиатурой)
Структура систем автоматизированного компьютерного контроля (САКК) САКК с «жесткой» схемой опроса Результаты, статистика Программа-тестер с заданным набором вопросов, порядком опроса и оценивания Опрос, прием ответа, оценивание
САКК с гибкой системой настройки Формирование базы заданий Редактор сценариев Формирование сценариев Результаты, статистика База заданий Задания Сценарий опроса Порядок опроса и оценивания Программа опроса Опрос, прием ответа, оценивание
Банк (база) заданий - структурированная (по разделам, главам, параграфам и пр. ) и сохраняемая как единое целое совокупность контрольных заданий, каждое из которых включает как содержательную часть, так и атрибуты, обеспечивающие управление опросом и статистическую оценку качества задания.
Сценарий опроса – вспомогательный документ (файл), который определяет: n содержание опроса (какие и сколько заданий предъявляются); n порядок опроса (выборка заданий случайная или последовательная; возможен ли возврат к пропущенным заданиям и пр. ); n оценочную шкалу; n наличие таймера (ограничение времени опроса); n права доступа с ответам к заданиям, протоколам и пр.
САКК с адаптивной схемой управления опросом Формирование базы заданий Редактор базы заданий База заданий Задания Программа опроса Параметры адаптации Результаты, статистика Модуль выбора задания Вопрос, прием ответа, оценивание, решение о выборе следующего вопроса
Преимущества адаптивного контроля: n повышается точность измерения обученности; n сокращается время индивидуального контроля (до 5 – 10 минут).
Порядок разработки и оценки заданий для САКК (контрольно-измерительных материалов - КИМ) n разработка спецификации теста (согласно ГОС и n n программе курса); подготовка объектов для заданий (рисунки, схемы, диаграммы и пр. ); разработка заданий с разными уровнями трудности в формате MS Word; формирование структурированной базы заданий; статистическая обработка результатов тестирования с целью оценки их валидности и надежности; редактирование базы заданий.
Требования к системам автоматизированного компьютерного контроля n Дидактические: научность содержания, доступность для учащегося (соответствие уровню подготовки и возрастным особенностям учащихся), адаптивность (приспосабливаемость к индивидуальным возможностям обучаемых) n Методические: соответствие по содержанию программе общеобразовательной школы, соответствие уровню контроля, открытость для изменения содержания, возможность индивидуальной настройки по объему, содержанию и времени контроля, возможность изменения оценочной шкалы
Требования к системам автоматизированного компьютерного контроля n Технические: устойчивость к ошибкам учащегося, работа в стандартных ОС, возможность работы в сети, возможность записи результатов на диск и их печать, статистическая обработка результатов, эффективность использования технических возможностей n Эргономические: дизайн экрана, интерфейс учащегося, построения диалога с учащимся
Системы компьютерного контроля Ур. ГПУ
Основные особенности и возможности системы Магистр: n контрольное задание готовится в текстовом редакторе и изначально сохраняется в формате rtf; задание может содержать как текстовые фрагменты, так и объекты статической графики, поддерживаемые rtf-форматом (рисунки, формулы, диаграммы); n задания могут включать один из следующих пяти типов анализаторов ответа учащегося: выбор одного верного ответа из нескольких предложенных, выбор нескольких верных из предложенных, слово (последовательность символов); установление соответствия в двух списках, установление последовательности (действий или событий); n задания могут быть объединены в структурированные базы заданий; при необходимости структура базы может быть изменена; n задания сохраняются во внутреннем формате, исключающем возможность их просмотра с целью выяснения верных ответов;
Основные особенности и возможности системы Магистр: n настройка порядка опроса осуществляется через n n n конфигурационный файл, называемый сценарием; к одной базе заданий может быть создано множество сценариев; результаты работы учащегося фиксируются в его персональной электронной зачетке, доступ к которой может быть защищен паролем; сохраняется полный протокол ответа учащегося, что позволяет оперативно рассматривать апелляции или производить работу над ошибками; возможен экспорт результатов сдачи группой учащихся в MS Excel для их дальнейшей обработки и анализа; система содержит модуль анализа частот предъявления и выполнения отдельных заданий и тематических групп заданий; система работает в ОС версий Windows-98 и выше, включая сетевые
Работа с тестовыми заданиями после составления Обработка результатов тестирования: • Проверка трудности задания, определение места задания в тесте. • Определение дискриминативности тестовых заданий. • Определение надежности и валидности тестов
Определение трудности Индекс трудности: где n – число испытуемых, правильно решивших задачу, N – общее число испытуемых. Для альтернативных заданий (с большой вероятностью угадывания ответа): где m – число вариантов ответа, Nn –число испытуемых, не решивших задачу. Задания с 80 < U < 20 в тест не включаются – низкоинформативные задания (Гайда В. К. , Захаров В. П. )
Определение дискриминативности Дискриминативность (различительная способность) задания – способность отделять «сильных» учащихся от «слабых» . Индекс дискриминации вычисляется с применением метода крайних групп (по 27%).
Основные недостатки задач, оказавшихся непригодными: • Излишняя сложность, запутанность формулировки; • Неоднозначность условия; • Очевидность решения; • Абсурдность, нереальность вариантов ответов; • Наличие нескольких правильных вариантов ответов, не оговоренных в условии; • Зависимость результата от памяти или других индивидуальных особенностей испытуемых, а не от уровня развития умений и навыков, для оценки которых разрабатывалось задание.
Определение надежности Тест является надежным, если он дает одни и те же результаты для каждого испытуемого при повторном тестировании (ретестовая надежность). Надежность теста характеризует точность теста как измерительного инструмента, устойчивость его к действию помех. Методы оценки надежности: 1) повторное тестирование (те же задания через некоторый промежуток времени – от 2 -х недель до 6 -ти месяцев); 2) параллельное тестирование (тестирование параллельной формой теста – деление испытуемых на 2 группы случайным образом, не более чем через неделю второе тестирование со сменой вариантов), расчет коэффициента корреляции; 3) расщепление (метод деления теста на 2 равноценные части по уровню сложности, трудности, на основе одинаковых коэффициентов дискриминации) Коэффициент Спирмена-Брауна
Определение валидности Общее понимание – насколько полученные результаты соответствуют реальной действительности. Очевидная валидность – с точки зрения испытуемого (доверительная валидность). Содержательная валидность – соответствие содержания задания тому, что мы хотим проверить. Критериальная валидность – способность теста служить индикатором или предсказателем определенной психической особенности, формы поведения человека; признак обоснованности, правомерности применения теста как измерительного инструмента.
Вопросы для самостоятельного изучения • Сравнительный анализ методов педагогической диагностики (Карпова Г. А. Методы педагогической диагностики) • Модель комплексной диагностики профессиональной направленности школьников (Слепухин А. В. Диагностика профессиональной направленности школьников с использование НИТ) • Проблема диагностики психофизиологических качеств (интеллектуальные, творческие, исследовательские способности, обучаемость) и личностных характеристик учащихся (там же) • Методика разработки тестов (Семенова И. Н. , Слепухин А. В. Использование ИКТ в системе профильного обучения школьников, литература по педдиагностике)
Сравнительный анализ сетевых ресурсов для разработки диагностических заданий Параметры сравнения Google Формы Anketer. ru Skorotest. r u Webanketa. com Learningap ps. org Виды разрабатываемых заданий Все+сетка Все кроме соответствия Все виды Разнообразные шаблоны Форма представления результатов Ручная обработка % ответов в виде диаграмм (правильных ответов нет) Индив (общ) информация 5 ответов (в завис-ти от вида заданий) примитивная Этап учебного процесса Текущий, промежуточный контроль Тренаж, текущий контроль Тренаж Предварительн ый контроль, тренаж Использование интерактивной доски, тренаж Контингент учащихся Учащиеся средней и старшей школы Младшей и средней школы Удобство интерфейса Удобен Отсутствие результатов у учащихся Отсутствие навигации Возможность использования для психологопедагогической диагностики + + Возможность работать с графикой отсутствует
Скачать презентацию Проблема выделения уровней достижений учащихся и критериев их
Л6 Мод педдиагностики.ppt