МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ СОЗДАНИЯ ТЕСТОВ ДОСТИЖЕНИЙ Матвеева Л.

Скачать презентацию МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ СОЗДАНИЯ ТЕСТОВ ДОСТИЖЕНИЙ Матвеева Л. Скачать презентацию МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ СОЗДАНИЯ ТЕСТОВ ДОСТИЖЕНИЙ Матвеева Л.

Модуль 1. Методологические основы создания ТД.ppt

  • Количество слайдов: 92

> МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ СОЗДАНИЯ ТЕСТОВ ДОСТИЖЕНИЙ Матвеева Л. Г.  канд. психол. наук, МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ СОЗДАНИЯ ТЕСТОВ ДОСТИЖЕНИЙ Матвеева Л. Г. канд. психол. наук, доцент кафедры «Психологическая диагностика и консультирование» [email protected] ru 1

>     Содержание 1.  Тесты достижений. Введение 2.  Тест: Содержание 1. Тесты достижений. Введение 2. Тест: понятие, характеристики, классификация 3. Тесты достижений: назначение, виды 4. Психометрика как методологическая основа психодиагностики 4. 1 Надежность 4. 2 Валидность 4. 3 Дискриминативность 4. 4 Репрезентативность 4. 5 Измерительные шкалы 4. 6 Критериально-ориентированные нормы Из Кодекса практики тестирования в образовании Интернет-ресурсы Список использованной литературы 2

>1. ТЕСТЫ ДОСТИЖЕНИЙ. ВВЕДЕНИЕ Содержание   3 1. ТЕСТЫ ДОСТИЖЕНИЙ. ВВЕДЕНИЕ Содержание 3

>   К ИСТОРИИ ВОПРОСА Установить точную дату создания первого теста  достижений К ИСТОРИИ ВОПРОСА Установить точную дату создания первого теста достижений вряд ли удастся. Можно лишь с уверенностью сказать, что первым стандартизированным тестам по измерению результатов школьного обучения уже около 100 лет. Гальтон (Galton F. ; 1882 -1911) ввел в теорию тестирования три фундаментальных принципа, используемых и по сей день: 1. Применение серии одинаковых испытаний к большому количеству испытуемых. 2. Статистическая обработка результатов 3. Выделение эталонов оценки. Содержание 4

>   К ИСТОРИИ ВОПРОСА  o В США в 1947 году создана К ИСТОРИИ ВОПРОСА o В США в 1947 году создана общегосударственная служба тестирования в образовании, принявшая на себя ответственность за все программы тестирования в образовании, в том числе для профессиональных училищ и университетов. o В России первые тесты достижений использовались еще педологами, но после запрета педологии (1936 г. ) они надолго исчезли из обихода педагогов и психологов. o Программированный контроль знаний возобновился в России только в 70 -х годах. Содержание 5

>ИСПОЛЬЗОВАНИЕ ТЕСТОВ ДОСТИЖЕНИЯ  В ПЕДАГОГИЧЕСКОЙ ПРАКТИКЕ 1. Школьные учреждения и связанные с ними ИСПОЛЬЗОВАНИЕ ТЕСТОВ ДОСТИЖЕНИЯ В ПЕДАГОГИЧЕСКОЙ ПРАКТИКЕ 1. Школьные учреждения и связанные с ними структуры. 2. Высшие учебные заведения и техникумы. Стимулируют разработку стандартизированных процедур контроля за достижениями учащихся три фактора: o появление различных типов учебных заведений (лицеев, гимназий, колледжей и так далее), обучение в которых проводится по экспериментальным и авторским учебным планам и программам; o появление ГОС; o отбор абитуриентов. Содержание 6

>В апреле 2000 года издан приказ о сертификации  качества педагогических тестовых материалов и В апреле 2000 года издан приказ о сертификации качества педагогических тестовых материалов и создан Координационный совет Минобразования РФ по вопросам сертификации качества тестовых материалов. Содержание 7

>   ПОСТАНОВКА ПРОБЛЕМЫ o Многие из уже созданных и использующихся тестов ПОСТАНОВКА ПРОБЛЕМЫ o Многие из уже созданных и использующихся тестов существенно отличаются по качеству: обнаруживаются серьезные ошибки как в отдельных элементах тестовых заданиях, так и при построении теста в целом. o Недостаточное количество систематизированных руководств по разработке тестов достижений. Материалы данного Модуля направлены на разрешение проблем, которые постоянно встают при создании тестов достижений, и призваны помочь разработчикам создавать надежные обоснованные инструменты. Содержание 8

>   2. ТЕСТ: ПОНЯТИЕ, ХАРАКТЕРИСТИКИ, КЛАССИФИКАЦИЯ Содержание    9 2. ТЕСТ: ПОНЯТИЕ, ХАРАКТЕРИСТИКИ, КЛАССИФИКАЦИЯ Содержание 9

>   ПОНЯТИЕ ТЕСТА Житейское понимание…  Научное понимание… Ø «проба, проверка, Ø ПОНЯТИЕ ТЕСТА Житейское понимание… Научное понимание… Ø «проба, проверка, Ø фиксированное по испытание» . времени Ø стандартное испытание Ø служащее для установления количественных и качественных различий Ø по тому или иному признаку Ø между людьми или группами людей. Содержание 10

>   ХАРАКТЕРИСТИКИ ТЕСТА o достаточно краток по времени o действует прицельно (т. ХАРАКТЕРИСТИКИ ТЕСТА o достаточно краток по времени o действует прицельно (т. е. измеряет фиксированный набор качеств), оставляя остальные без внимания o структура теста и принципы его обработки делают возможным сравнение результатов различных людей и сравнение результатов одного человека во времени Содержание 11

> Основания для классификации  диагностических методов  o по наличию и отсутствию правильного Основания для классификации диагностических методов o по наличию и отсутствию правильного ответа; o по характеру стимульного материала; o по принципу их конструирования; o по количеству одновременно тестируемых людей; o по характеру ответов на задания; o … Содержание 12

> КЛАССИФИКАЦИЯ ТЕСТОВ  (по предмету психодиагностики) o методы диагностики состояний; o методы диагностики КЛАССИФИКАЦИЯ ТЕСТОВ (по предмету психодиагностики) o методы диагностики состояний; o методы диагностики общих способностей; o методы диагностики специальных способностей; o ТЕСТЫ ДОСТИЖЕНИЙ; o методы диагностики черт личности; o методы диагностики мотивации; o методы диагностики межличностных отношений; o методы диагностики самосознания и самооценки; o методы диагностики индивидуального Содержание 13

>   3. ТЕСТЫ ДОСТИЖЕНИЙ:   НАЗНАЧЕНИЕ, ВИДЫ Содержание   3. ТЕСТЫ ДОСТИЖЕНИЙ: НАЗНАЧЕНИЕ, ВИДЫ Содержание 14

>НАЗНАЧЕНИЕ ТЕСТОВ ДОСТИЖЕНИЙ Диагностируют достигнутый уровень знаний,  умений и навыков Проводятся по итогам НАЗНАЧЕНИЕ ТЕСТОВ ДОСТИЖЕНИЙ Диагностируют достигнутый уровень знаний, умений и навыков Проводятся по итогам обучения или после определенных этапов обучения, позволяют понять, насколько программа усвоена и эффективна Оценивают, что человек знает и что умеет делать к настоящему времени Содержание 15

> ВИДЫ ТЕСТОВ ДОСТИЖЕНИЙ (ТД) o широкоориентированные o по конкретным учебным предметам o по ВИДЫ ТЕСТОВ ДОСТИЖЕНИЙ (ТД) o широкоориентированные o по конкретным учебным предметам o по конкретным темам и комплексам тем Содержание 16

>  Широкоориентированные ТД Рассчитаны на продолжительное время обучения, на универсальные области обучения. Широкоориентированные ТД Рассчитаны на продолжительное время обучения, на универсальные области обучения. Позволяют смотреть, как развивается учащийся от класса к классу, от одной ступени обучения к другой ступени обучения, достаточно ли его знаний для перехода на другую ступень обучения. Например, тесты § на понимание научных принципов § понимание прочитанного § логическое мышление в задачах разного типа § грамотность, социальный кругозор Содержание 17

>  Тесты достижений по конкретным учебным предметам Ориентированы на целостные курсы обучения Тесты достижений по конкретным учебным предметам Ориентированы на целостные курсы обучения в школе, вузе. Могут служить основой для проведения выпускных и вступительных экзаменов. Помогают не только оценить знания конкретных учащихся, но и оценить качество обучения и качество учебных программ, так как показывают, насколько реальные знания учащихся соответствуют тому, что они должны были усвоить. Содержание 18

>Тесты достижений по конкретным темам и комплексам тем Позволяют оценивать знания и отслеживать их Тесты достижений по конкретным темам и комплексам тем Позволяют оценивать знания и отслеживать их динамику в течение учебного года (или его промежутков). Как правило, создаются и проводятся педагогами, преподающими данные дисциплины. Содержание 19

>  4. ПСИХОМЕТРИКА  КАК МЕТОДОЛОГИЧЕСКАЯ   ОСНОВА ПСИХОДИАГНОСТИКИ Содержание  4. ПСИХОМЕТРИКА КАК МЕТОДОЛОГИЧЕСКАЯ ОСНОВА ПСИХОДИАГНОСТИКИ Содержание 20

> НАЗНАЧЕНИЕ ПСИХОМЕТРИКИ Психометрика позволяет:  q создавать и адаптировать тесты;  q оценивать НАЗНАЧЕНИЕ ПСИХОМЕТРИКИ Психометрика позволяет: q создавать и адаптировать тесты; q оценивать качество любого теста. Дает понимание вероятностного характера тестов! Содержание К началу Темы 4 21

>КЛЮЧЕВЫЕ ПОНЯТИЯ ПСИХОМЕТРИКИ  1. Надежность  2. Валидность  3. Дискриминативность  4. КЛЮЧЕВЫЕ ПОНЯТИЯ ПСИХОМЕТРИКИ 1. Надежность 2. Валидность 3. Дискриминативность 4. Репрезентативность Содержание К началу Темы 4 22

>    4. 1. НАДЕЖНОСТЬ q  Определение надежности q  Признаки 4. 1. НАДЕЖНОСТЬ q Определение надежности q Признаки надежности q Факторы, вызывающие ошибки измерения q Коэффициент надежности q Статистическая проверка надежности теста q Способы определения надежности Ш Ретестовая надежность Ш Надежность параллельных форм Ш Надежность частей теста Ш Надежность отдельных заданий Содержание К началу Темы 4 23

> ОПРЕДЕЛЕНИЕ НАДЕЖНОСТИ o точность и устойчивость процедуры  измерения, ее независимость от случайных ОПРЕДЕЛЕНИЕ НАДЕЖНОСТИ o точность и устойчивость процедуры измерения, ее независимость от случайных варьирующих факторов; o характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам. Содержание К началу Темы 4 4. 1. Психометрика. Надежность 24

>   ПРИЗНАКИ НАДЕЖНОСТИ Надежный тест o измеряет некое качество, o делает это ПРИЗНАКИ НАДЕЖНОСТИ Надежный тест o измеряет некое качество, o делает это устойчиво во времени, o позволяет сравнивать результаты испытуемых, протестированных в разное время, в разном месте, в разном состоянии. Содержание К началу Темы 4 4. 1. Психометрика. Надежность 25

>   ФАКТОРЫ, ВЫЗЫВАЮЩИЕ    ОШИБКИ ИЗМЕРЕНИЯ 1.  ВНЕШНИЕ (условия ФАКТОРЫ, ВЫЗЫВАЮЩИЕ ОШИБКИ ИЗМЕРЕНИЯ 1. ВНЕШНИЕ (условия тестирования) 2. ВНУТРЕННИЕ (особенности людей) 3. СОЦИАЛЬНО-ИНФОРМАЦИОННЫЕ (знания о тестировании и тестах) Содержание К началу Темы 4 4. 1. Психометрика. Надежность 26

>  КОЭФФИЦИЕНТ НАДЕЖНОСТИ это коэффициент, показывающий степень  совпадения «истинной» и эмпирической дисперсии КОЭФФИЦИЕНТ НАДЕЖНОСТИ это коэффициент, показывающий степень совпадения «истинной» и эмпирической дисперсии тестового балла. Служит основным показателем точности и устойчивости измерений Содержание К началу Темы 4 4. 1. Психометрика. Надежность 27

> КОЭФФИЦИЕНТ НАДЕЖНОСТИ  На практике в большинстве применяемых  методик редко удается получить КОЭФФИЦИЕНТ НАДЕЖНОСТИ На практике в большинстве применяемых методик редко удается получить значения коэффициентов надежности, превышающие 0, 7 -0, 8 Содержание К началу Темы 4 4. 1. Психометрика. Надежность 28

>   СТАТИСТИЧЕСКАЯ ПРОВЕРКА   НАДЕЖНОСТИ ТЕСТА Основной прием определения надежности на СТАТИСТИЧЕСКАЯ ПРОВЕРКА НАДЕЖНОСТИ ТЕСТА Основной прием определения надежности на практике – вычисление коэффициента корреляции Самые популярные коэффициенты корреляции q Спирмена: q Пирсона: Содержание К началу Темы 4 4. 1. Психометрика. Надежность 29

>   СПОСОБЫ ОПРЕДЕЛЕНИЯ    НАДЕЖНОСТИ ТЕСТА A.  Ретестовая надежность СПОСОБЫ ОПРЕДЕЛЕНИЯ НАДЕЖНОСТИ ТЕСТА A. Ретестовая надежность B. Надежность параллельных форм C. Надежность частей теста D. Надежность отдельных заданий Содержание К началу Темы 4 4. 1. Психометрика. Надежность 30

>   А. Ретестовая надежность Процедура определения: 1. Провести первичное тестирование на А. Ретестовая надежность Процедура определения: 1. Провести первичное тестирование на выборке не менее 30 человек. 2. Провести повторное тестирование через 0, 5 – 6 месяцев на ТОЙ ЖЕ САМОЙ выборке. 3. Подсчитать коэффициент корреляции между первичным и повторным тестированием (см. слайд Статистическая проверка надежности теста). Содержание К началу Темы 4 4. 1. Психометрика. Надежность 31

>B. Надежность параллельных форм Процедура определения: 1. Провести тестирование на выборке не менее 30 B. Надежность параллельных форм Процедура определения: 1. Провести тестирование на выборке не менее 30 испытуемых с помощью формы А. 2. Провести повторное тестирование на ТОЙ ЖЕ САМОЙ выборке с помощью формы Б (либо сразу же, либо через временной интервал до 6 месяцев). 3. Подсчитать коэффициент корреляции между результатами первичного и повторного тестирования (см. слайд Статистическая проверка надежности теста). Содержание К началу Темы 4 4. 1. Психометрика. Надежность 32

> C. Надежность частей теста  (метод расщепления) Процедура определения: 1. Провести однократное тестирование C. Надежность частей теста (метод расщепления) Процедура определения: 1. Провести однократное тестирование на выборке испытуемых не менее 30 человек. 2. Расщепить тест на две эквивалентные половины (четные-нечетные задания, исходя из индекса трудности задания и т. д. ). 3. Посчитать коэффициент корреляции между выполнением 1 -ой и 2 -ой половины теста. 4. Перейти к надежности целого теста через формулу Спирмена-Брауна или формулу Рюлона. Содержание К началу Темы 4 4. 1. Психометрика. Надежность 33

>o Формула Спирмена-    o Формула Рюлона  Брауна o n – o Формула Спирмена- o Формула Рюлона Брауна o n – отношение нового o числитель - дисперсия количества заданий к разности между предыдущему, выполнением первой и o r’ – коэффициент второй половины теста корреляции между o σx² – дисперсия половинами теста суммарного тестового балла Содержание К началу Темы 4 4. 1. Психометрика. Надежность 34

>D. Надежность отдельных заданий Процедура определения: 1. Провести однократное тестирование на  выборке испытуемых D. Надежность отдельных заданий Процедура определения: 1. Провести однократное тестирование на выборке испытуемых не менее 30 человек. 2. Используя результаты выполнения каждого задания, подсчитать коэффициент Кьюдера- Ричардсона (для заданий « 1 -0» ) или коэффициент Кронбаха (для более дифференцированных заданий). Содержание К началу Темы 4 4. 1. Психометрика. Надежность 35

>o Коэффициент     o Коэффициент  Кьюдера-    o Коэффициент o Коэффициент Кьюдера- Кронбаха Ричардсона o r – кол-во заданий теста, o n – кол-во заданий теста, o p – доля испытуемых, o σxi² - дисперсия ответов на справившихся с каждым каждое задание, заданием, o σx² - дисперсия суммарного o q=1 -p тестового балла o σx² - дисперсия суммарного тестового балла Содержание К началу Темы 4 4. 1. Психометрика. Надежность 36

>E. Надежность субъективных оценок o Провести однократное тестирование  на выборке не менее 30 E. Надежность субъективных оценок o Провести однократное тестирование на выборке не менее 30 человек; o Проверить протоколы 2 и более экспертами (независимо друг от друга); o Посчитать коэффициент корреляции между оценками экспертов; o Если коэффициент корреляции будет недостаточен – провести программу обучения экспертов. 37

>    4. 2. ВАЛИДНОСТЬ q Определение валидности q Основное неравенство психометрики 4. 2. ВАЛИДНОСТЬ q Определение валидности q Основное неравенство психометрики q Виды валидности Ш Очевидная Ш Содержательная Ш Критериальная Ш Конструктная q Проверка валидности Содержание К началу Темы 4 38

> ОПРЕДЕЛЕНИЕ ВАЛИДНОСТИ  Валидность – характеристика теста,  указывающая на его способность ОПРЕДЕЛЕНИЕ ВАЛИДНОСТИ Валидность – характеристика теста, указывающая на его способность измерять именно то, для чего он предназначен. Содержание К началу Темы 4 4. 2. Психометрика. Валидность 39

>Валидность – это обязательная и наиболее  важная часть сведений о тесте, включающая : Валидность – это обязательная и наиболее важная часть сведений о тесте, включающая : o данные о степени согласованности результатов теста с другими сведениями об исследуемой личности; o суждение об обоснованности прогноза развития исследуемого качества; o данные о связи изучаемой области поведения с определенными психологическими конструктами. Содержание К началу Темы 4 4. 2. Психометрика. Валидность 40

>   ОСНОВНОЕ НЕРАВЕНСТВО   ПСИХОМЕТРИКИ   Валидность ≤ Надежности Содержание ОСНОВНОЕ НЕРАВЕНСТВО ПСИХОМЕТРИКИ Валидность ≤ Надежности Содержание К началу Темы 4 4. 2. Психометрика. Валидность 41

>   Причина неравенства o Мы никогда не можем измерить  одно качество Причина неравенства o Мы никогда не можем измерить одно качество в отрыве от всех остальных!!! Содержание К началу Темы 4 4. 2. Психометрика. Валидность 42

>    ВИДЫ ВАЛИДНОСТИ      + Очевидная ВИДЫ ВАЛИДНОСТИ + Очевидная Содержание К началу Темы 4 4. 2. Психометрика. Валидность 43

>   Валидность очевидная o представление о тесте, сфере его  применения, результативности Валидность очевидная o представление о тесте, сфере его применения, результативности и прогностической ценности, которое возникает у испытуемого; o не является объективным показателем; o выступает в качестве фактора, побуждающего испытуемых к обследованию, способствует более серьезному и ответственному отношению к работе по выполнению заданий теста. Содержание К началу Темы 4 4. 2. Психометрика. Валидность 44

> Валидность содержательная o характеризует степень соответствия  содержания заданий теста измеряемой  области Валидность содержательная o характеризует степень соответствия содержания заданий теста измеряемой области психических свойств; o закладывается в тест при подборе заданий, которые должны охватывать главные аспекты изучаемого феномена в правильной пропорции к реальной деятельности в целом. Содержание К началу Темы 4 4. 2. Психометрика. Валидность 45

> Валидность содержательная Может быть подтверждена только  путем экспертных оценок Содержание  К Валидность содержательная Может быть подтверждена только путем экспертных оценок Содержание К началу Темы 4 4. 2. Психометрика. Валидность 46

> Этапы валидизации по содержанию 1. полная систематическая проверка  соответствующих учебников и учебных Этапы валидизации по содержанию 1. полная систематическая проверка соответствующих учебников и учебных программ, а также консультации со специалистами по данному предмету; 2. составление спецификации теста: тестируемые области содержания (темы), задачи (процессы) обучения, а также относительное значение каждой темы и процесса для достижения целей обучения на данном этапе; 3. оценка заданий экспертами по принципу их близости к реальным требованиям; 4. вывод о том, охватывает ли тест репрезентативную выборку конкретных навыков и знаний исследуемой области обучения. Содержание К началу Темы 4 4. 2. Психометрика. Валидность 47

>  Валидность критериальная o отражает соответствие результатов теста  результатам независимых и Валидность критериальная o отражает соответствие результатов теста результатам независимых и непосредственных измерений того же качества (например, соответствуют ли результаты ТД успешности в реальной деятельности). Содержание К началу Темы 4 4. 2. Психометрика. Валидность 48

>  Валидность критериальная    Текущая     Прогностическая Валидность критериальная Текущая Прогностическая показывает показывает его прогностичность прогностичность теста на будущее: в настоящем времени: «Появится ли это качество у испытуемого в «Есть ли это качество будущем? » у испытуемого сейчас? » Содержание К началу Темы 4 4. 2. Психометрика. Валидность 49

>    Критерии валидизации o мнение педагогов о знаниях обследуемого в Критерии валидизации o мнение педагогов о знаниях обследуемого в определенной области; o академические оценки; o результаты контрольных проверок; o объективными показатели достижений в профессиональной сфере. Содержание К началу Темы 4 4. 2. Психометрика. Валидность 50

>   Валидность конструктная отражает степень репрезентации исследуемого  конструкта в результатах теста. Валидность конструктная отражает степень репрезентации исследуемого конструкта в результатах теста. Определяет область теоретической структуры явлений, измеряемых тестом. Содержание К началу Темы 4 4. 2. Психометрика. Валидность 51

>   ПРОВЕРКА ВАЛИДНОСТИ Тест признается валидным, если: o минимальный объем выборки ПРОВЕРКА ВАЛИДНОСТИ Тест признается валидным, если: o минимальный объем выборки для валидизации – 30 человек; o минимальное значение Фи-коэффициента Гилфорда – 0, 36. Содержание К началу Темы 4 4. 2. Психометрика. Валидность 52

>  Проверка валидности методом   контрастных групп o Заполнить   Выс. Проверка валидности методом контрастных групп o Заполнить Выс. Низ. матрицу Крит. сопряженности Выс. А В Тест Низ. С D Тест 53

>Фи-коэффициент Гилфорда      54 Фи-коэффициент Гилфорда 54

>   ПРОВЕРКА ВАЛИДНОСТИ o Валидный тест должен обладать внутренней  согласованностью o ПРОВЕРКА ВАЛИДНОСТИ o Валидный тест должен обладать внутренней согласованностью o Анализ внутренней согласованности осуществляется путем коррелирования ответов на каждое задание с общим результатом теста. Содержание К началу Темы 4 4. 2. Психометрика. Валидность 55

>   ПРОВЕРКА ВАЛИДНОСТИ Валидность теста может быть доказана через  возрастную дифференциацию, ПРОВЕРКА ВАЛИДНОСТИ Валидность теста может быть доказана через возрастную дифференциацию, т. е. результаты теста должны меняться с возрастом, при переходе на новый этап развития и обучения. Содержание К началу Темы 4 4. 2. Психометрика. Валидность 56

>  Проверка конвергентной и дискриминантной валидности o Результаты нового теста должны  коррелировать Проверка конвергентной и дискриминантной валидности o Результаты нового теста должны коррелировать с результатами известного теста, измеряющего качество, теоретически связанное с диагностируемым; o Результаты нового теста НЕ должны коррелировать с результатами известного теста, измеряющего качество, теоретически НЕ связанное с диагностируемым. 57

>  4. 3. ДИСКРИМИНАТИВНОСТЬ  q Определение дискриминативности q Показатели дискриминативности  4. 3. ДИСКРИМИНАТИВНОСТЬ q Определение дискриминативности q Показатели дискриминативности Ш Коэффициент дискриминативности Ш Индекс дискриминативности Содержание К началу Темы 4 58

>ОПРЕДЕЛЕНИЕ ДИСКРИМИНАТИВНОСТИ  Дискриминативность – это способность теста  дифференцировать испытуемых по  изучаемому ОПРЕДЕЛЕНИЕ ДИСКРИМИНАТИВНОСТИ Дискриминативность – это способность теста дифференцировать испытуемых по изучаемому признаку. Содержание К началу Темы 4 4. 3. Психометрика. Дискриминативность 59

>ПОКАЗАТЕЛИ ДИСКРИМИНАТИВНОСТИ Отражают меру соответствия успешности  выполнения одной задачи всему тесту:  o ПОКАЗАТЕЛИ ДИСКРИМИНАТИВНОСТИ Отражают меру соответствия успешности выполнения одной задачи всему тесту: o коэффициент дискриминации o индекс дискриминации Содержание К началу Темы 4 4. 3. Психометрика. Дискриминативность 60

> Коэффициент дискриминации o х - среднее арифметическое всех индивидуальных  оценок по тесту; Коэффициент дискриминации o х - среднее арифметическое всех индивидуальных оценок по тесту; o xn - среднее арифметическое оценок по тесту у испытуемых, правильно выполнивших задание; o σx — среднеквадратическое отклонение индивидуальных оценок по тесту для выборки; o Nn — число испытуемых, правильно решивших задачу; o N — общее число испытуемых. Содержание К началу Темы 4 4. 3. Психометрика. Дискриминативность 61

> Коэффициент дискриминации o Может принимать значения от -1 до +1. o Высокий положительный Коэффициент дискриминации o Может принимать значения от -1 до +1. o Высокий положительный rpb свидетельствует об эффективности деления испытуемых. o Высокое отрицательное значение rpb свидетельствует о непригодности данной задачи для теста, о ее несоответствии суммарному результату. Содержание К началу Темы 4 4. 3. Психометрика. Дискриминативность 62

>   Индекс дискриминации o вычисляется с применением метода  контрастных групп. o Индекс дискриминации o вычисляется с применением метода контрастных групп. o Нижняя граница «отсечения групп» составляет 10% от общего числа испытуемых в выборке, верхняя — 33%. o Чаще из выборки «извлекают» по 27 или 33% испытуемых. Содержание К началу Темы 4 4. 3. Психометрика. Дискриминативность 63

> Способы вычисления индекса  дискриминации Способ 1. Индекс дискриминации вычисляется как разность между Способы вычисления индекса дискриминации Способ 1. Индекс дискриминации вычисляется как разность между долей лиц, правильно решивших задачу, из «высокопродуктивной» и «низкопродуктивной» групп: Содержание К началу Темы 4 4. 3. Психометрика. Дискриминативность 64

>  Способы вычисления индекса   дискриминации Способ 2. Индекс дискриминации высисляется через Способы вычисления индекса дискриминации Способ 2. Индекс дискриминации высисляется через коэффициент корреляции: o fg — число лиц, правильно решивших задачу, по отношению к общему числу обследованных в группе с максимальным результатом; o fd — число лиц, правильно решивших задание в группе с минимальным результатом; o р — общая пропорция правильно выполненных заданий; o q — число лиц, давших неверное решение (1 – р). Содержание К началу Темы 4 4. 3. Психометрика. Дискриминативность 65

>    Критические значения   коэффициента корреляции для выборок:  n Критические значения коэффициента корреляции для выборок: n 25 50 100 200 rphi 0, 39 0, 28 0, 20 0, 14 при уровне значимости р < 0, 05 Содержание К началу Темы 4 4. 3. Психометрика. Дискриминативность 66

>   4. 4. РЕПРЕЗЕНТАТИВНОСТЬ  q Определение репрезентативности q Назначение репрезентативности Содержание 4. 4. РЕПРЕЗЕНТАТИВНОСТЬ q Определение репрезентативности q Назначение репрезентативности Содержание К началу Темы 4 67

>ОПРЕДЕЛЕНИЕ РЕПРЕЗЕНТАТИВНОСТИ Репрезентативность – это свойство выборочной  совокупности представлять характеристики  генеральной совокупности. ОПРЕДЕЛЕНИЕ РЕПРЕЗЕНТАТИВНОСТИ Репрезентативность – это свойство выборочной совокупности представлять характеристики генеральной совокупности. Это означает, что с некоторой наперед заданной или определенной статистически погрешностью можно считать, что представленное в выборочной совокупности распределение изучаемых признаков соответствует их реальному распределению. Содержание К началу Темы 4 4. 4. Психометрика. Репрезентативность 68

>НАЗНАЧЕНИЕ РЕПРЕЗЕНТАТИВНОСТИ Репрезентативность теста показывает, насколько  результаты выборки стандартизации могу быть  перенесены НАЗНАЧЕНИЕ РЕПРЕЗЕНТАТИВНОСТИ Репрезентативность теста показывает, насколько результаты выборки стандартизации могу быть перенесены на тех людей, на которых будет проводиться тест. Содержание К началу Темы 4 4. 4. Психометрика. Репрезентативность 69

> 4. 5. ИЗМЕРИТЕЛЬНЫЕ ШКАЛЫ q Условия объективности оценки результатов теста q Статистическая природа 4. 5. ИЗМЕРИТЕЛЬНЫЕ ШКАЛЫ q Условия объективности оценки результатов теста q Статистическая природа тестовых шкал q Измерительные шкалы Ø Процентильная шкала Ø Шкала интервалов q Критериально-ориентированные нормы Ø Идеология тестирования в условиях критериально-ориентированных норм Содержание К началу Темы 4 70

>УСЛОВИЯ ОБЪЕКТИВНОСТИ ОЦЕНКИ  РЕЗУЛЬТАТОВ ТЕСТА Условие 1. Стандартизация процедуры проведения  теста и УСЛОВИЯ ОБЪЕКТИВНОСТИ ОЦЕНКИ РЕЗУЛЬТАТОВ ТЕСТА Условие 1. Стандартизация процедуры проведения теста и оценки результатов должна быть единообразна: o условия тестирования o материалы, которые используются для проведения тестирования o временные ограничения o инструкции o принципы обработки o принципы интерпретации результатов Только тогда результаты различных испытуемых можно сравнивать между собой и оценивать в терминах «лучше-хуже» , «больше-меньше» Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 71

>УСЛОВИЯ ОБЪЕКТИВНОСТИ ОЦЕНКИ  РЕЗУЛЬТАТОВ ТЕСТА Условие 2. Создание тестовых норм Тестовые нормы фиксируются УСЛОВИЯ ОБЪЕКТИВНОСТИ ОЦЕНКИ РЕЗУЛЬТАТОВ ТЕСТА Условие 2. Создание тестовых норм Тестовые нормы фиксируются в шкале оценки, которая позволяет сравнивать результаты, т. е. правильно их интерпретировать. NB! Первичные результаты любого теста остаются бессмысленными без дополнительных данных. Значение показателя имеет тот или иной смысл в зависимости: от трудности заданий, из которых состоит тест, от среднего уровня того, как выполняет тест та или иная группа испытуемых. Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 72

>  СТАТИСТИЧЕСКАЯ ПРИРОДА   ТЕСТОВЫХ ШКАЛ 1.  Типичный измерительный тест - СТАТИСТИЧЕСКАЯ ПРИРОДА ТЕСТОВЫХ ШКАЛ 1. Типичный измерительный тест - это Ø последовательность кратких заданий, или пунктов, дающая в результате ее выполнения испытуемым Ø последовательность исходов, которая затем подвергается Ø однозначной количественной интерпретации. Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 73

>  СТАТИСТИЧЕСКАЯ ПРИРОДА   ТЕСТОВЫХ ШКАЛ 2. Суммарный балл по тесту подсчитывается СТАТИСТИЧЕСКАЯ ПРИРОДА ТЕСТОВЫХ ШКАЛ 2. Суммарный балл по тесту подсчитывается с помощью ключа: ключ устанавливает числовое значение исхода по каждому пункту. Например, за правильное решение задания дается «+1» , за неправильное решение или пропуск - «О» . Тогда балл буквально выражает количество правильных ответов. Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 74

>  СТАТИСТИЧЕСКАЯ ПРИРОДА   ТЕСТОВЫХ ШКАЛ 3. Кривая распределения тестовых баллов отражает СТАТИСТИЧЕСКАЯ ПРИРОДА ТЕСТОВЫХ ШКАЛ 3. Кривая распределения тестовых баллов отражает свойства пунктов, из которых составлен тест. в тесте преобладают трудные задания легкие задания Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 75

>  СТАТИСТИЧЕСКАЯ ПРИРОДА   ТЕСТОВЫХ ШКАЛ o Если пункты обладают оптимальным уровнем СТАТИСТИЧЕСКАЯ ПРИРОДА ТЕСТОВЫХ ШКАЛ o Если пункты обладают оптимальным уровнем трудности, то кривая распределения зависит от того, насколько пункты однородны. o Если пункты разнородны (исход по одному пункту не предопределяет исход по другому), то мы получаем тест в виде последовательности независимых испытаний. o При достаточно большом количестве независимых испытаний с двумя разновероятными исходами кривая суммарного балла по закону больших чисел автоматически приближается к кривой нормального распределения. Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 76

>  СТАТИСТИЧЕСКАЯ ПРИРОДА   ТЕСТОВЫХ ШКАЛ Таким образом,  в качестве меры СТАТИСТИЧЕСКАЯ ПРИРОДА ТЕСТОВЫХ ШКАЛ Таким образом, в качестве меры измеряемого тестом свойства выступает положение суммарного тестового балла на кривой распределения. Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 77

>   ИЗМЕРИТЕЛЬНЫЕ ШКАЛЫ Как сравнить o балл, полученный одним испытуемым, с баллами ИЗМЕРИТЕЛЬНЫЕ ШКАЛЫ Как сравнить o балл, полученный одним испытуемым, с баллами других испытуемых? o баллы, полученные одним испытуемым по разным тестам? o баллы, полученные испытуемым по одному тесту в разное время? С помощью стандартных шкал… Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 78

>   ИЗМЕРИТЕЛЬНЫЕ ШКАЛЫ В  педагогическом измерении могут использоваться:  o Процентильная ИЗМЕРИТЕЛЬНЫЕ ШКАЛЫ В педагогическом измерении могут использоваться: o Процентильная шкала o Шкала интервалов Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 79

>   Процентильная шкала Является шкалой порядка. Создается на основе деления оси тестовых Процентильная шкала Является шкалой порядка. Создается на основе деления оси тестовых баллов на равное количество отрезков. Характеризует относительное положение испытуемых по сравнению друг с другом. Процентиль — процент испытуемых из выборки стандартизации, которые получили равный или более низкий балл, чем балл данного испытуемого. Таким образом, в качестве источника данной меры выступает выборка стандартизации, на которой построено нормативное распределение тестовых баллов. Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 80

>   Шкалы интервалов Создаются на основе модели нормального  распределения. Создаются на Шкалы интервалов Создаются на основе модели нормального распределения. Создаются на выборке стандартизации не менее 200 человек. Позволяют точно оценить уровень развития диагностируемого качества каждого испытуемого в сравнении с данной группой. Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 81

>   Примеры стандартных    диагностических шкал o T -шкала Маккола: Примеры стандартных диагностических шкал o T -шкала Маккола: М = 50 и σ = 10; o шкала IQ : М = 100 и σ = 15; o шкала «стэнайнов» (целые численные значения от 1 до 9): М = 5, 0 и σ = 2; o шкала «стенов» (стандартная десятка): М = 5, 5 и σ = 2. М – среднее значение σ – стандартное отклонение Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 82

>   Распределение результатов    тестирования по уровням o  σ Распределение результатов тестирования по уровням o σ – M + σ – средний уровень; o M – 2 σ – ниже среднего; o M – 3 σ – низкий; o Далее – очень низкий; o M + 2 σ– выше среднего; o M + 3 σ – высокий; o Далее – очень высокий. Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 83

>Таким образом, О СТАНДАРТИЗАЦИИ ТЕСТА в строгом смысле  можно говорить, когда задана полная Таким образом, О СТАНДАРТИЗАЦИИ ТЕСТА в строгом смысле можно говорить, когда задана полная таблица соответствия сырой шкалы и стандартной шкалы и содержание этой таблицы обосновано статистической структурой распределения тестовых баллов на выборке стандартизации. Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 84

>       NB! o Любые тестовые заключения при использовании NB! o Любые тестовые заключения при использовании статистических тестовых норм являются относительными. o Они зависят от той выборки, на которой производилась стандартизация теста. Например, если тест проходил стандартизацию на студентах, то перед его применением на школьниках следует вначале произвести РЕСТАНДАРТИЗАЦИЮ, то есть снова собрать тестовые нормы на представительной выборке, сформированной именно из школьников. В противном случае диагностические выводы будут производиться по неадекватным тестовым нормам и будут неточны и неверны. Содержание К началу Темы 4 4. 5. Психометрика. Измерительные шкалы 85

>   4. 6. КРИТЕРИАЛЬНО-  ОРИЕНТИРОВАННЫЕ НОРМЫ Применяются чаще всего в педагогике. 4. 6. КРИТЕРИАЛЬНО- ОРИЕНТИРОВАННЫЕ НОРМЫ Применяются чаще всего в педагогике. Выполнение теста испытуемым сравнивается не с его выполнением другими людьми, а с неким критерием, при достижении которого тест признается выполненным. В критериально-ориентированном тестировании в качестве системы отсчета используется конкретная область содержания. Содержание К началу Темы 4 86

>  Идеология тестирования в условиях  критериально-ориентированных норм o данная область содержания доступна Идеология тестирования в условиях критериально-ориентированных норм o данная область содержания доступна для освоения любому учащемуся; o каждый учащийся будет осваивать ее с разной скоростью; o оценка выполнения заданий в критериально- ориентированном тестировании производится по принципу «все или ничего» ; o итоговый показатель фиксирует наличие или отсутствие знаний или навыка; o пороговый уровень (критерий) выполнения всех заданий является достаточно высоким (80 -85% выполнения всех заданий). Содержание К началу Темы 4 87

>Рекомендуемые пороговые уровни оценки Возможно применение более дифференцированной  шкалы, соотносимой с системой школьных Рекомендуемые пороговые уровни оценки Возможно применение более дифференцированной шкалы, соотносимой с системой школьных оценок: o 90 % и более выполненных заданий – «отлично» ; o 80– 89 % выполненных заданий – «хорошо» ; o 70– 79 % выполненных заданий – «удовлетворительно» ; o менее 70 % выполненных заданий – «неудовлетворительно» . Содержание К началу Темы 4 88

>    Вместо заключения ТЕСТ Ø прошедший все этапы психометрической  проверки, Вместо заключения ТЕСТ Ø прошедший все этапы психометрической проверки, Ø является надежным обоснованным инструментом, Ø позволяющим сравнивать результаты людей, групп друг с другом. С ним можно работать! Содержание К началу Темы 4 89

>  Из Кодекса практики тестирования   в образовании Создатели тестов должны: o Из Кодекса практики тестирования в образовании Создатели тестов должны: o Определять, что каждый тест измеряет и для чего тест должен использоваться. Описывать популяцию(ии), на которых тест может использоваться. o Точно представлять характеристики, полезность и ограничения тестов для их назначенных целей. o Описывать процесс создания теста. Объяснять, как выбираются содержание и навыки для тестирования. o Обеспечить доказательства, что тест соответствует назначенным целям. Содержание 90

>   Интернет-ресурсы 1. Ким В. С. Тестирование учебных достижений. Монография. - Уссурийск: Интернет-ресурсы 1. Ким В. С. Тестирование учебных достижений. Монография. - Уссурийск: Издательство УГПИ, 2007. - 214 с. http: //clipperkim. narod. ru/test/monotest/index. html 2. Основы психодиагностики. Учебное пособие для студентов педвузов / под общ. редакцией А. Г. Шмелева — Москва, Ростов-на-Дону: «Феникс» , 1996. — 544 с. http: //www. pedlib. ru/Books/3/0243/index. shtml Содержание 91

>Список использованной литературы o А. Анастази, С. Урбина Психологическое  тестирование – СПб. : Список использованной литературы o А. Анастази, С. Урбина Психологическое тестирование – СПб. : «Питер» o Л. Ф. Бурлачук, С. М. Морозов Словарь-справочник по психодиагностике СПб. : «Питер» o А. А. Бодалёв, В. В. Столин Общая психодиагностика. – СПб. : «Речь» , 2000 o А. Г. Шмелев и коллектив Основы психодиагностики – Учебное пособие для студентов педвузов – Москва, Ростов-на-Дону, «Феникс» , 1996 Содержание 92