Контроль качества усвоения знаний студентов Тестирование как разновидность

Контроль качества усвоения знаний студентов Тестирование как разновидность контроля

Контроль качества. Основные функции, виды и формы контроля. Оценка и отметка. n Тестирование. n Итоговая государственная аттестация и подготовка к ней преподавателя. n

Приемы и формы контроля n n n Ø Ø Виды лингводидактических тестов Приемы контроля Валидность и надежность тестов Неразрывная связь между приемами контроля и приемами обучения единство контролирующей и обучающей функций

Виды лингводидактических тестов 1) по цели применения: n тест общих умений (proficiency test), n тест успеваемости (achievement test), n диагностический тест (diagnostic test), n тест «размещения» (placement test), n тест определения способностей (aptitude test).

Тест общего владения иностранным языком (тест общих умений) n n n американский тест TOEFL серия кембриджских экзаменов FCE, CAE, CPE оксфордские экзамены (Preliminary EFL exam, Higher EFL exam)

n n n Тест успеваемости (тест учебных достижений) Систематичность Поэтапность Объективность

Виды лингводидактических тестов 2) по характеру осуществления контроля: n тест текущего и промежуточного контроля успеваемости (progress achievement test), n тест итогового контроля успеваемости (final achievement test)

Виды лингводидактических тестов 3) по направленности тестовых заданий: n дискретный тест (discrete-point test) n интегральный или глобальный тест (integrative / global test)

Виды лингводидактических тестов 4) по соотнесению с нормами или критериями: n тест, ориентированный на нормы (norm-referenced test нормо-ориентированный тест) n тест, ориентированный на критерий (criterion-referenced test - критериальноориентированный тест)

Виды лингводидактических тестов 5) по формальным признакам (по структуре и способу оформления ответа): n избирательный тест (recognition-type test) n тест со свободно конструируемым ответом (recall-type test)

Виды лингводидактических тестов 6) по объекту контроля и характеру контролируемой деятельности: n тест лингвистической компетенции (linguistic test) n тест коммуникативной компетенции или прагматический тест (pragmatic test)

Прагматический тест n n n диктант, клоуз-тесты, перифраз, частичный или полный перевод без словаря, устное собеседование, написание различных видов письменных сообщений

Дискретные тесты n n n противопоставляются интегральным тестам диагностическая функция тесты множественного выбора си-тесты аудиотесты

Дискретные тесты Imagine you are sitting in a Paris café and are overhearing snatches of conversations. Can you tell whether the speakers are talking about the present or past events? Listen carefully for the verb. If it is in the present tense, mark the column A. If it is in the imperfect, mark column B. n Mary heard the ice-cream truck coming down the street. She remembered her birthday money and ran into the house. Answer the following based on the story above: 1. Mary is a little girl. 2. Mary wants some ice-cream. 3. Mary goes into the house to get money. n

Интегративные (интегральные) тесты n Интегративные (интегральные) тесты выдвигаются как альтернатива дискретным тестам и направлены на определение уровня сформированности не отдельных навыков или одного умения, а их совокупности

Отличительные признаки тестов от тренировочных упражнений: n n n n направлены на проверку уровня сформированности речевых умений; менее разнообразны; могут быть использованы в более свободной последовательности; исключают подсказки, пояснения, ориентировочную основу; предполагают жесткую регламентацию по времени; выполняются чаще индивидуально повышенная мотивированность обучаемых, нацеленных на успешное выполнение задания

Модуль 21 Приемы и формы контроля в обучении иностранному языку Приемы контроля

К приемам контроля можно отнести n n n n методику восстановления (cloze procedure); клоуз-тест (cloze test); си-тест (C-test); тест множественного выбора (multiplechoice test); диктант (dictation); контроль сформированности рецептивных и продуктивных умений (reception/production testing); устный контроль (oral testing); собеседование (oral interview).

The page from a nineteenth-century reader entitled Stories for Language Lessons (Boston: D. Lothrop and Co. , 1882) nicely illustrates the need in a cloze exercise to rely on realworld experience and knowledge

Тест множественного выбора должен отвечать следующим основным требованиям n n n задания должны быть краткими, точными, предпочтительно представленными в контексте; каждое задание должно иметь только один правильный ответ; в каждом задании проверяется только один элемент, например элемент грамматики или лексики; каждая альтернатива должна быть в грамматически правильной форме; оптимальное число альтернатив – 4 для грамматики и 5 для лексических единиц

Контроль сформированности рецептивных умений (reception testing) в чтении и аудировании. вопросно-ответная работа; n упражнения на организацию языковых или речевых единиц (соответствие, ранжирование и др. ); n верные-неверные утверждения; n конспектирование; n составление логико-семантической карты; n обсуждение; n пересказ. n

Контроль сформированности продуктивных умений n n n n Контроль сформированности продуктивных умений (production testing) в говорении и письме. вопросно-ответная работа; ранжирование информации; устное выступление /сообщение; собеседование; приемы драматизации и имитационного моделирования; обсуждение; решение проблемных задач; краткий/подробный пересказ

Собеседование n n n Собеседование (oral interview) – прагматический тест устной коммуникации, один из приемов устного контроля, прямое речевое взаимодействие между экзаменатором и обучаемым с целью определения уровня владения иноязычной устной речью Собеседование предполагает наличие тщательно разработанной шкалы оценок устно-речевой иноязычной деятельности Sheils J. Communication in the Modern Languages Classroom. Project No. 12 of the Council of Europe “Learning and Teaching Modern Languages for Communication”. Strasbourg, Council of Europe, Publishing and Documentation Service. ISBN 92 -8711552 -4, 1993. - 177 p.

The White Horse

Модуль 22 Валидность и надежность тестов в обучении иностранному языку

n Валидность (validity) указывает на большую или меньшую степень пригодности теста для его использования с определенной целью

Валидность любых лингводидактических тестов и форм контроля усиливается за счет следующих параметров n n n предъявление материала в контексте; использование аутентичных материалов в рецептивных тестах; создание ситуаций реального общения при контроле устно-речевых навыков и умений; использование коммуникативных заданий, отличающихся целевой и функциональной направленностью, и ориентированных на достижение результата, особенно при контроле экспрессивной письменной речи; использование парных форм контроля

Валидность n Содержательная валидность (content validity) определяется тем, насколько полно и всесторонне тест охватывает учебный материал, для проверки которого он был сконструирован

Валидность n Сопоставительная валидность(concurrent validity) предполагает сопоставление результатов проведенного теста с результатами другого теста, самооценкой испытуемых, оценками преподавателей

Валидность n Прогностическая валидность(predictive/prognostic validity) показывает, насколько хорошо результаты данного теста предсказывают успешность будущей работы

Валидность n Конструктивная валидность(construct validity) показывает, насколько объекты тестирования и характер заданий учитывают психолингвистическую модель усвоения языкового материала или данную модель коммуникативной компетенции

Валидность n Внешняя валидность(face validity) показывает, насколько приемлемыми представляются задания теста

Надежность n n Надежность (reliability) свидетельствует о том, насколько последовательны и устойчивы его результаты. Оценка результатов надежного теста не зависит ни от времени и условий его проведения, ни от экспертов, осуществляющих контроль (Bachman 1990).

Приемы педагогической диагностики при обучении иностранному языку n n n опросники PEN, MMPI социоматрицы шкала самооценки на определение уровня личной тревожности Спилбергера

Подходы к разработке оценочных измерительных материалов для направлений подготовки, реализующих ФГОС

Информационноаналитическое сопровождение тестирования студентов Киселева Клавдия Николаевна начальник отдела, к. э. н. Все права защищены. © НИИ МКО. 2012

Содержание n Определение понятия «оценочные средства (ОС)» n Место ОС в структуре ООП. Изменение функций ОС по ФГОС n Сравнение систем оценивания по ГОС-2 и ФГОС n Подходы к разработке ОС n Результаты обучения в новой концепции образования n Федеральный Интернет-экзамен: компетентностный подход: основная идея, задачи проекта, новизна и преемственность, модель измерителя n Инновационные формы тестовых заданий для компьютерного тестирования

ФГОС в соответствии с принципами Болонского процесса ориентирован не на сообщение обучающемуся комплекса теоретических знаний, а на сформированность у студентов компетенций – динамического набора знаний, умений, навыков и личностных качеств, которые позволят выпускнику стать конкурентоспособным на рынке труда и успешно профессионально реализовываться в широком спектре отраслей экономики и культуры. Введение ФГОС потребовало создания такого измерительного инструмента, который позволял бы оценить степень сформированности компетенций обучающихся и выпускников.

VIII. Оценка качества освоения ООП бакалавриата 8. 1 Высшее учебное заведение обязано обеспечивать гарантию качества подготовки, в том числе путем: - разработки объективных процедур оценки уровня знаний и умений обучающихся, компетенций выпускников; 8. 4 … создаются фонды оценочных средств …, позволяющие оценить знания, умения и уровень приобретенных компетенций…

Н. Ф. Ефремова «Формирование и оценивание компетенций в образовании» «Требование измеримости в отношении компетенций как предмета контроля результатов обучения составляет на сегодняшний день наивысшую трудность как в теоретическом, так и в практических планах … При проектировании инновационных оценочных средств уровня сформированности компетенций обучающихся необходимо обеспечивать моделирование квазиреальной деятельности …»

Определение понятия ОС Оценочные средства (ОС) – фонд контрольных заданий, а также описаний форм и процедур, предназначенных для определения качества освоения студентом учебного материала.

Место ОС в структуре ООП п. 8. Оценка качества освоения ООП 8. 2. Оценка качества освоения основных образовательных программ должна включать текущую, промежуточную и итоговую государственную аттестацию обучающихся. … … … 8. 4. Для аттестации обучающихся на соответствие их персональных достижений поэтапным требованиям соответствующей ООП (текущий контроль успеваемости и промежуточная аттестация) создаются фонды оценочных средств, включающие типовые задания, средств контрольные работы, тесты и методы контроля, позволяющие оценить знания, умения и уровень приобретенных компетенций.

ИННОВАЦИОННЫЕ ФОРМЫ КОНТРОЛЯ: Стандартизованные тесты Ситуационные тесты Кейс-задания экспертные разработки

СТАНДАРТИЗОВАННЫЙ ТЕСТ – это тест, разработанный в максимально унифицированных условиях и позволяющий сопоставить подготовку студентов различных вузов. Направлен на оценку не только ЗУНов, но и компетенций, а потому не является полностью закрытым (не предполагает только выбор правильных вариантов ответа), а включает в себя творческое задание (в тестах по медицине – ситуационная задача, в текстах по русскому языку – анализ текста и т. д. ). Стандартизированные тесты с творческим заданием могут проводиться на всех этапах обучения, то есть служить и для промежуточного, и итогового контроля.

СТАНДАРТИЗОВАННЫЕ ТЕСТЫ Разделение тестов по уровням сложности: n n Первый уровень (знакомство) - тесты на узнавание, т. е. отождествление объекта и его обозначения. Второй уровень (репродукция) - тесты-подстановки, в которых намеренно пропущено слово, фраза, формула или другой какой-либо существенный элемент текста, и конструктивные тесты, в которых студентам (в отличии от теста-подстановки) не содержится никакой помощи даже в виде намеков и требуется дать определение какому-либо понятию, указать случай действия, какой-либо закономерности. В качестве тестов второго уровня могут использоваться и типовые задачи, условия которых позволяют «с места» применять известную разрешающую их процедуру (правило, формулу, алгоритм) и получать необходимый ответ на поставленный в задаче вопрос.

СТАНДАРТИЗОВАННЫЕ ТЕСТЫ n Третьему уровню соответствуют задания на продуктивную деятельность, в процессе которой необходимо использовать знанияумения. Тестами третьего уровня могут стать нетиповые задачи на применение знаний в реальной практической деятельности. Условия задачи формулируются близкими к тем, которые имели место в реальной жизненной обстановке. n Тесты четвертого уровня – это проблемы, решение которых есть творческая деятельность, сопровождающаяся получением объективно новой информации. Тестами четвертого уровня выявляется умение студентов ориентироваться и принимать решения в новых, проблемных ситуациях.

СИТУАЦИОННЫЕ ТЕСТЫ Простейшая форма – метод инцидента. Студентам излагается проблемная ситуация, связанная с их будущей профессиональной деятельностью и предлагается принять быстрое решение Студенту педвуза: что делать, если ученик не готов к уроку или нагрубил учителю? Время решения задачи ограничено, при оценке учитывается не только правильность ответа, но и быстрота реакции, которая имеет важное значение в реальной ситуации. Более сложная форма – анализ конкретной ситуации. Испытуемым предлагается обширная информация о конкретной ситуации: Студентам-экономистам : смоделировать развитие производства при росте цен на сырье. Требуется провести анализ ситуации, при этом студент должен учитывать, что часть информации – лишняя, но есть возможность добыть дополнительную информацию (воспользовавшись справочником или задав вопрос). После анализа принимается мотивированное решение.

СИТУАЦИОННЫЕ ТЕСТЫ Еще более сложная форма – методика последовательных ситуаций. Задача разворачивается во времени и решается поэтапно; переход к следующему этапу возможен только в случае правильного ответа на вопросы предыдущего этапа, условия следующего этапа определяются в зависимости от варианта ответа на предыдущем этапе. Пример: если при определении стратегии лечения «больного» студентами- медиками избирается путь оперативного вмешательства, то на следующем этапе студент сталкивается с одним набором проблем, если избирается путь консервативного медикаментозного лечения – с другим. Наиболее сложная форма ситуационного теста – деловая (ролевая) игра. Это метод моделирования профессиональной деятельности, при котором студенты не просто теоретически выбирают пути решения предложенных задач, а «проигрывают» их в своем поведении. Пример: студенты проводят «производственное совещание» , выступая в роли директора предприятия, председателя профсоюза, менеджера и т. д. Деловая игра требует не только знаний и навыков, но и умения работать в команде, находить выход из неординарных ситуаций и т. д. Часто этот метод предполагает создание нескольких команд, которые соревнуются друг с другом в решение той или иной задачи.

КЕЙС-МЕТОД и CASE-ЗАДАНИЯ n n Название кейс-метода происходит от английского слова «кейс» – папка, чемодан, портфель (можно перевести и как «случай, ситуация» ). Кейс-метод возник в Гарвардской школе бизнеса в начале 20 -го века. В 1920 г. после издания сборника кейсов был осуществлен перевод всей системы обучения менеджменту на методику CASE STUDY. Под case-заданием при этом понимается текст, который описывает ситуацию, имеющую место в реальности (в этом его отличие от иных ситуационных заданий, например деловой игры). Решение студентами подобного рода нестандартных практико-ориентированных заданий будет свидетельствовать о степени влияния процесса изучения дисциплины на формирование у студентов общекультурных и профессиональных компетенций в соответствии с требованиями ФГОС.

Как узнать, какое количество плитки необходимо, чтобы выложить пол? Очень просто: нужно заданную площадь пола разделить на площадь одной плитки. Получается, скажем, 177, 3. Округляем, как учили в школе, и получаем 177 плиток. Но при облицовке округленное 0, 3 выдает себя пустым местом – не хватает одной плитки.

Компетентностный подход – подход, акцентирующий внимание на результатах обучения, причем в качестве результата рассматривается не сумма усвоенной информации, а способность человека действовать в нестандартных ситуациях.

Важной становится триада: n компетенции как результат обучения n образовательные технологии как способ формирования компетенций (образовательные технологии могут быть самыми разными, но акцент должен быть сделан на интерактивные и активные (требование ФГОС) n оценочные средства как инструмент доказательства достижения заявленных результатов обучения

Сравнение систем оценивания для ГОС-2 и ФГОС 1. 2. 3. 4. 5. 6. Требования к содержанию подготовки «Аналитический» подход к структуре материала и заданий (по ДЕ, темам, элементам учебного материала) «Жесткая» структура материала Проведение оценки на любом этапе подготовки (по завершении освоения дисциплины) «Дисциплинарный» подход Однокритериальное оценивание (базовый уровень) 1. 2. 3. 4. 5. 6. Требования к результату обучения «Синтетический» (комплексный) подход к структуре заданий (объединение элементов, тем, ДЕ) Выбор структуры материала ( «мягкая» структура) Проведение оценки на этапах сформированности компетенций (1 -й, 2 -й, 3 й и 4 -й курсы) «Поли- и междисциплинарный» подходы Многокритериальное оценивание (ЗУВ, компетенции)

«Интернет-экзамен: компетентностный подход» Инновационный проект «Интернет-экзамен: компетентностный подход» ориентирован на проведение внешней независимой оценки результатов учебных достижений студентов на различных этапах обучения в образовательном учреждении в соответствии с требованиями федеральных государственных образовательных стандартов (ФГОС). Поэтапный анализ достижений обучающихся позволит сфокусировать внимание на результатах каждого отдельного студента (студентоцентрированная технология), что особенно важно при реализации компетентностного подхода, основанного на формировании и развитии компетенций.

Новизна и преемственность Интернет-экзамен: компетентностный подход Интернет-экзамен: традиционный подход оценка учебных достижений студента на различных этапах обучения в соответствии с требованиями ФГОС оценка базового уровня подготовки студентов в соответствии с требованиями ГОС-2 студент студенческая группа ТРЕБОВАНИЯ к результату обучения на основе компетентностного подхода к содержанию подготовки на основе дисциплинарного подхода МОДЕЛЬ ИЗМЕРИТЕЛЯ уровневая модель инвариантная модель ШКАЛА ОЦЕНИВАНИЯ многокритериальная шкала бинарная шкала (учет частично правильно выполненных заданий) ( «правильно-неправильно» ) ЦЕЛЬ ОБЪЕКТ ОЦЕНКИ ВЗАИМОДЕЙСТВИЕ С ПОЛЬЗОВАТЕЛЯМИ личный кабинет ОУ личный кабинет преподавателя личный кабинет студента именная страница ОУ

Как можно сформировать задание на основе объекта профессиональной деятельности?

Объект профессиональной деятельности как комплексное (полидисциплинарное) задание Сопротивление материалов Инженерная графика РЕДУКТОР ЦУ-160 Теория механизмов и машин Теоретическая механика Детали машин Взаимозаменяемость и стандартизация

Пример задания в рамках комплексного задания РЕДУКТОР ЦУ-160 Детали машин Подшипник выходного вала (поз. 1) целесообразно выбрать… 1. 2. 3. 4. радиально-упорным радиальным шариковым радиальным роликовым упорным

Тестирование — это метод педагогической диагностики, с помощью которого выборка поведения, репрезентирующая предпосылки или результаты учебного процесса, должна максимально отвечать принципам сопоставимости, объективности, надежности и валидности измерений, должна пройти обработку и интерпретацию и быть готовой к использованию в педагогической практике

Виды тестирования Входное тестирование – одно из видов осуществления преемственности между различными ступенями образования (например: между средней и высшей школами) в процессе непрерывного образования. Предварительное тестирование – определение степени усвоения знаний студентами в рамках понятий, терминов, положений, которые изучались ими на предшествующих этапах обучения. Такой вид тестирования можно проводить при обучении студентов последующим дисциплинам, базовыми знаниями которых служат дисциплины, изучаемые ранее. Текущее тестирование – диагностирование хода обучения дисциплинам, сопоставление реально достигнутых результатов обучения с планируемыми. Этот вид тестирования и учет знаний, умений стимулирует учебный труд студентов, способствует своевременному определению пробелов в усвоении материала, повышению общей результативности учебного процесса.

Виды тестирования Тематическое тестирование – проверка усвоения отдельных элементов, так и с целью проверки понимания системы, объединяющей эти элементы. Значительную роль при этом играют систематизированные, комплексные задания, объединяющие вопросы об отдельных понятиях темы, направленные на выявление информационных связей между ними. Рубежное тестирование. Целью такого тестирования является проверка знаний студентов по нескольким темам. Итоговое тестирование осуществляется во время заключительного повторения в конце полугодия или учебного года, а также в процессе экзаменов (зачетов). Именно на этом этапе дидактического процесса систематизируется и обобщается учебный материал. Тестирование остаточных знаний. Целью такого тестирования является оценка работы студентов после прохождения всего учебного курса.

СТРУКТУРНО-ЛОГИЧЕСКАЯ СХЕМА ПО ТЕМЕ «ТЕСТ» По структуре По способу подачи заданий По способу участия По форме проведения Гомогенный Смешанный Индивидуальный тест Письменный тест Гетерогенный Возрастающей сложности Групповой тест Машинный тест Интегративный По содержанию и задачам Психометрические личностные тесты Социометрически е тесты Адаптивный Тесты достижений Специальные тесты Тесты спортивных достижений Тесты функциональны х возможностей Тесты успеваемости (усвоения знаний) Тесты профпригодности Тесты общей результативности Тесты развития Тесты интеллекта