Тема 5. Надежность психодиагностических

Тема 5. Надежность психодиагностических методик

2 Большой вклад в разработку понятий надежность и валидность психодиагностических тестов внесли американские психологи Анна Анастази (1908 – 2001), Джой Пол Гилфорд (1897 – 1976), Ли Джозеф Кронбах (1916— 2001) Надежность психодиагностической методики – это относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Это - критерий, позволяющий судить о точности психологических измерений, т. е. о том, насколько достоверны полученные результаты.

3 Причины, влияющие на надежность психодиагностической методики: ♦ нестабильность диагностируемого свойства; ♦ несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечетко сформулированы указания, как методику предъявлять испытуемым, и т. д. ); ♦ меняющаяся ситуация обследования; ♦ различия в манере поведения экспериментатора; ♦ колебания в функциональном состоянии испытуемого; ♦ элементы субъективности в способах оценки и интерпретации результатов.

4 Показатели надежности психодиагностической методики (по К. М. Гуревичу): ♦ показатель, характеризующий измерительный инструмент, - коэффициент надежности; ♦ показатель, характеризующий стабильность измеряемого свойства, — коэффициент стабильности; ♦ показатель оценки влияния личности экспериментатора — коэффициент константности.

5 Оценка надежности расщепленного теста по формуле Рюлона - дисперсия разностей между результатами каждого испытуемого по обеим половинам теста (дисперсия ошибки) - дисперсия суммарных баллов результатов полного теста Формула дисперсии Здесь (yi чет-yi нечет), (i = 1, 2, …n) - разность сумм баллов в строках с номером i субматриц с четными и нечетными заданиями.

6 Формулы расчета коэффициентов надежности и стабильности: Формула Спирмена – Брауна где r 11 — надежность всего опросника; r 0, 5; 0, 5 — коэффициент корреляция между результатами тестирования по двум половинам опросника или между результатами 1 -го и 2 -го тестирования по всему опроснику; r- коэффициент корреляции произведения моментов Пирсона, рассчитываемый по формуле: где r — коэффициент корреляции Спирмена; X— балл (результат) по одной половине теста; Y — балл (результат) по другой половине теста; п — количество испытуемых; Σ — сумма.

7 Образец матрицы для анализа заданий Задания шкалы опросника Сумма Обследуемый a b c d e 1 1 1 1 0 4 2 0 1 0 0 1 2 3 1 0 0 1 1 3 4 1 0 0 0 1 2 5 0 0 0 1 1 2 Сумма 3 2 0 3 4 13 Индекс 0, 6 0, 4 0, 2 0, 6 0, 8 2, 6 трудности задания Дискриминативность заданий теста определяется по величине коэффициента корреляции результатов выполнения каждого задания с общим баллом всего теста

8 ТОЧЕЧНО-БИСЕРИАЛЬНЫЙ КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ - коэффициент корреляции между двумя переменными, одна из которых измерена в дихотомической шкале, а другая – в интервальной шкале. Применяется в классической и современной тестологии как показатель качества тестового задания – надежности-согласованности с общим баллом по тесту - дискриминативности. где: X 1 – средняя оценка по шкале опросника в целом в группе ответивших «да» на данный пункт, X 2 – средняя оценка по шкале опросника в целом в группе ответивших «нет» на данный пункт, N 1 и N 2 – количество испытуемых, ответивших соответственно «да» и «нет» на данный пункт, N – общее количество испытуемых, σx - стандартное отклонение результатов по шкале опросника в выборке.

Пример расчета точечно-бисериальных коэффициентов корреляции как показателей качества тестовых заданий – надежности - согласованности с общим баллом по шкале теста – дискриминативности (по слайду № 7) Пункты X 1 X 2 X 1 - X 2 σx σ (X 1 - X 2)/ x N 1 N 2 √N 1×N 2/ r pb шкалы N(N-1) a 0, 6 0, 4 0, 2 0, 894 0, 2/0, 894= 3 2 √ 3× 2/20 0, 22 × 0, 55= 0, 22 = 0, 55 0, 12 b 0, 4 0, 6 -0, 2 0, 894 -0, 2/0, 894= 2 3 √ 3× 2/20 -0, 22 × -0, 22 = 0, 55= -0, 12 c 0, 2 0, 8 -0, 6 0, 894 -0, 6/0, 894= 1 4 √ 1× 4/20 -0, 67 × 0, 5= -0, 67 = 0, 5 -0, 34 d 0, 6 0, 4 0, 2 0, 894 0, 2/0, 894= 3 2 √ 3× 2/20 0, 22 × 0, 55= 0, 22 = 0, 55 0, 12 e 0, 8 0, 2 0, 6 0, 894 0, 6/0, 894= 1 4 √ 1× 4/20 0, 67 × 0, 5= 0, 67 = 0, 5 0, 34

Пример расчета коэффициента корреляции Пирсона для определения 9 дискриминативности одного пункта с несколькими вариантами ответа Испытуемые Балл по всему Произведение заданию в всему тесту в баллов по заданию и (пункту) квадрате тесту квадрате по всему тесту n X 2 Y Y 2 XY 1 1 30 900 30 2 3 9 57 3249 171 3 5 25 94 8836 470 4 4 16 76 5776 304 5 3 9 80 6400 240 6 1 33 1089 33 7 2 4 54 2916 108 8 2 4 58 3364 116 9 5 25 83 6889 415 10 4 16 76 5776 304 п = 10 ΣX= 30 ΣX 2 = 110 ΣY=641 ΣY 2 = 45195 ΣХY=2191 = 0, 94

10 Коэффициент Кронбаха (для определения внутренней согласованности заданий теста) где: а — коэффициент Кронбаха; N — количество заданий теста; Sj 2 - дисперсия по j-му пункту теста; Sх2— дисперсия суммарных баллов по всему тесту.

11 Коэффициент Кьюдера-Ричардсона - 20 (для определения внутренней согласованности заданий теста с дихотомическим типом ответов) где: rtt – коэффициент Кьюдера-Ричардсона, L – длина теста, pi - доля ключевых ответов на i-е задание теста, qi - доля неключевых ответов на i-е задание теста, σ ²x – дисперсия целого теста по слайду № 7: r= 5/4 × 1 – (0, 6× 0, 4+0, 4× 0, 6+0, 2× 0, 8+0, 6× 0, 4+0, 8× 0, 2)/ 0, 799 = = 1, 25 × (1 -1, 3) = 1, 25 × (-0, 3) = - 0, 375

12 Данные о внутренней согласованности заданий по факторам личности, выделенным Р. Кэттеллом (Бурлачук Л. Ф. ) № Обозначение фактора Коэффициент Кронбаха 1 А 0, 34 2 С 0, 29 3 B 0, 21 4 F-экспрессивность- 0, 64 сдержанность 5 G 0, 40 6 Н – смелость - робость 0, 73 7 I 0, 52 8 L 0, 17 9 М 0, 14 10 N - проницательность 0, 005 11 О 0, 44 12 Q 1 0, 002 13 Q 2 0, 38 14 Q 3 0, 45 15 Q 4 0, 49

13 Результаты анализа заданий 16 -факторного опросника Р. Кэттела (форма А) (Бурлачук Л. Ф. ) α - Кронбаха 0, 7878 0, 7535 0, 8117 0, 7203 0, 6726 0, 7769 0, 6797

Регистрационный бланк к методике «КОС» 1 11 21 31 2 12 22 32 3 13 23 33 4 14 24 34 5 15 25 35 6 16 26 36 7 17 27 37 8 18 28 38 9 19 29 39 10 20 30 40

Стимульный материал к методике «КОС» 1. Есть ли у Вас стремление к изучению людей и установлению знакомств с различными людьми? 2. Нравится ли Вам заниматься общественной работой? 3. Долго ли Вас беспокоит чувство обиды, причиненной Вам кем- либо из Ваших товарищей? 4. Всегда ли Вам трудно ориентироваться в создавшейся критической ситуации? 5. Много ли у Вас друзей, с которыми Вы постоянно общаетесь? 6. Часто ли Вам удается склонить большинство своих товарищей к принятию ими Вашего мнения? 7. Верно ли, что Вам приятнее и проще проводить время с книгами или за каким-либо другим занятием, чем с людьми? 8. Если возникли некоторые помехи в осуществлении Ваших намерений, то легко ли Вам отказаться от своих намерений? 9. Легко ли Вы устанавливаете контакты с людьми, которые значительно старше Вас по возрасту? 10. Любите ли Вы придумывать или организовывать со своими товарищами различные игры и развлечения? 11. Трудно ли Вам включаться в новые для Вас компании (коллективы)?

12. Часто ли Вы откладываете на другие дни те дела, которые нужно было бы выполнить сегодня? 13. Легко ли Вам удается устанавливать контакты и общаться с незнакомыми людьми? 14. Стремитесь ли Вы добиться, чтобы Ваши товарищи действовали в соответствии с Вашим мнением? 15. Трудно ли Вы осваиваетесь в новом коллективе? 16. Верно ли, что у Вас не бывает конфликтов с товарищами из-за невыполнения ими своих обещаний, обязательств, обязанностей? 17. Стремитесь ли Вы при удобном случае познакомиться и побеседовать с новым человеком? 18. Часто ли в решении важных дел Вы принимаете инициативу на себя? 19. Раздражают ли Вас окружающие люди и хочется ли Вам побыть одному? 20. Правда ли, что Вы обычно плохо ориентируетесь в незнакомой для Вас обстановке? 21. Нравится ли Вам постоянно находиться среди людей? 22. Возникает ли у Вас раздражение, если Вам не удается закончить начатое дело? 23. Испытываете ли Вы чувство затруднения, неудобства или стеснения, если приходится проявлять инициативу, чтобы познакомиться с новым человеком?

24. Правда ли, что Вы утомляетесь от частого общения с товарищами? 25. Любите ли Вы участвовать в коллективных играх? 26. Часто ли Вы проявляете инициативу при решении вопросов, затрагивающих интересы Ваших товарищей? 27. Правда ли, что Вы чувствуете себя неуверенно среди малознакомых Вам людей? 28. Верно ли, что Вы редко стремитесь к доказательству своей правоты? 29. Полагаете ли, что Вам не представляет особого труда внести оживление в малознакомую для Вас группу? 30. Принимаете ли Вы участие в общественной работе в школе (на производстве)? 31. Стремитесь ли Вы ограничить круг своих знакомых небольшим количеством людей? 32. Верно ли, что Вы не стремитесь отстаивать свое мнение или решение, если оно не было сразу принято Вашими товарищами? 33. Чувствуете ли Вы себя непринужденно, попав в незнакомый для Вас коллектив?

34. Охотно ли Вы приступаете к организации различных мероприятий для своих товарищей? 35. Правда ли, что Вы не чувствуете себя достаточно уверенным и спокойным, когда приходится говорить что-либо большой группе людей? 36. Часто ли Вы опаздываете на деловые встречи, свидания? 37. Верно ли, что у Вас много друзей? 38. Часто ли Вы оказываетесь в центре внимания у своих товарищей? 39. Часто ли Вы смущаетесь, чувствуете неловкость при общении с малознакомыми людьми? 40. Правда ли, что Вы не очень уверенно чувствуете себя в окружении большой группы своих товарищей?

«Ключ» к разделу «Коммуникативные склонности» методики «КОС» 1 + 11 – 21 + 31 – 3 – 13 + 23 – 33 + 5 + 15 – 25 + 35 – 7 – 17 + 27 – 37 + 9 + 19 – 29 + 39 – «Ключ» к разделу «Организаторские склонности» методики «КОС» 2 + 12 – 22 + 32 – 4 – 14 + 24 – 34 + 6 + 16 – 26 + 36 – 8 – 18 + 28 – 38 + 10 + 20 – 30 + 40 –

Оценочный коэффициент (К) коммуникативных или организаторских склонностей выражается отношением количества совпадающих ответов по каждому виду склонностей к максимально возможному числу совпадений (20) по формуле: К=N/20, или К= 0, 05 N, где К- величина оценочного коэффициента; N - количество ответов, совпадающих с «ключом» . Шкала оценок коммуникативных склонностей Коэффициент (К) Q Уровень проявления склонностей коммуникативных склонностей 0, 10 - 0, 45 1 Низкий 0, 46 - 0, 55 2 Ниже среднего 0, 56 - 0, 65 3 Средний 0, 66 - 0, 75 4 Высокий 0, 76 - 1, 00 5 Очень высокий Шкала оценок организаторских склонностей Коэффициент (К) Q Уровень проявления склонностей организаторских склонностей 0, 20 - 0, 55 1 Низкий 0, 56 - 0, 65 2 Ниже среднего 0, 66 - 0, 70 3 Средний 0, 71 - 0, 80 4 Высокий 0, 81 - 1, 00 5 Очень высокий