Алгоритм конструирования объективных психодиагностических методик Автор-составитель: ассистент кафедры психологии личности, к. пс. н. Калимуллина Иниза Рафаиловна
Психологическая методика может быть охарактеризована как эффективна в том случае, если она удовлетворяет следующим основным условиям: 1. 2. 3. 4. Использовании шкалы интервалов Надежность Валидность Дискриминативность (способность методики разделять отдельных испытуемых по уровню выполнения) 5. Наличие нормативных данных
• Первым очевидным шагом является самый тщательный анализ предмета тестирования, теоретического конструкта, положенного в основу тестируемого свойства, и его взаимоотношений с другими психологическими конструктами. • Конечным шагом такого анализа должно быть четкое вербальное определение исследуемого понятия и расчленение его на основные части
Анархизм (теоретический анализ) Авторское определение понятия «анархизм» Основные составляющие «анархизма»
Разработка тестовых заданий • Для этого прежде всего устанавливается иерархия ранее выделенных частей психологического феномена. • Затем непосредственно формулируются тестовые задания и проводится качественный анализ степени соответствия пропорций представленности элементов измеряемого свойства в этих заданиях. Такой анализ, как правило, производится с привлечением экспертов, которые выносят суждения о том, охватывает ли совокупность предлагаемых тестовых заданий декларируемое психологическое свойство и его составные части.
Характеристика 1 Анархизм Задания 1 -15 Характеристика 2 Задания 16 -20 Характеристика n Задания 21 -30 Экспертный анализ
В целом разрабатываемая система исходных признаков должна удовлетворять следующим требованиям: 1) Полнота описания. Система исходных признаков должна охватывать все выделенные аспекты измеряемого понятия. 2) Экономность описания. При разработке системы признаков следует избегать излишнего объема исходной информации, который может затруднить дальнейший эмпирико-статистический анализ параметров диагностической модели. 3) Четкая структурированность системы признаков. Признаки должны группироваться, относительно равномерно описывая все стороны измеряемого явления. 4) Количественная определенность отбираемых признаков. Признаки должны быть выражены в номинальной, качественной или количественной шкале.
Полнота описания • Система исходных признаков должна охватывать все выделенные аспекты измеряемого понятия. Экономность описания • При разработке системы признаков следует избегать излишнего объема исходной информации, который может затруднить дальнейший эмпирико-статистический анализ параметров диагностической модели. Четкая структурированность системы признаков Количественная определенность отбираемых признаков • Признаки должны группироваться, относительно равномерно описывая все стороны измеряемого явления. • Признаки должны быть выражены в номинальной, качественной или количественной шкале.
Определение количества заданий (спецификация теста) 1. формулирование цели будущего теста 2. разработка спецификации будущего теста
При спецификации манифестаций важно обеспечить выделение различных форм их реализации. Содержательные области (ЧТО предполагается измерять) • Манифестации (пути, по которым содержательные области могут проявляться)
Спецификация будущего опросника Нигилизм (пример) Манифестации Содержательные области Отрицание – Негативизм – В А (40%) Невыдержанность в словах – А (33, 3 %) Категорично сть Cловесный снобизм Количеств о заданий Эгоцентризм – С (20%) - Невыдержанность в поведении – В (33, 3%) Агрессивность – С (33, 3%) Количество заданий 30
• Из практических соображений обычно по каждой оси разрабатывается от 4 до 7 категорий. • Меньшее число категорий часто приводит к созданию слишком узкого опросника, а большее может сделать обременительным процесс конструирования опросника.
В итоге получается своего рода решетка, количество ячеек в которой будет равно количеству планируемых для изучения параметров, умноженному на количество их поведенческих манифестаций. Манифестации Содержательные области Отрицание – Негативизм – В А (40%) Невыдержанность в словах – А (33, 3 %) Категорично сть Cловесный снобизм Количеств о заданий Эгоцентризм – С (20%) - Невыдержанность в поведении – В (33, 3%) Агрессивность – С (33, 3%) Количество заданий 30
• Далее необходимо определить, сколько заданий (например вопросов) должно быть создано для каждой из ячеек. • При решении этой задачи следует руководствоваться тем, насколько важным представляется исследователю измерение одного из параметров сравнительно с другим или другими.
• Допустим, что содержательным областям, обозначенным А и B следует приписать 40 -%ный вес, а С - 20 -%-ный. • В то же время каждой манифестации A, B, C приписывается 33, 3 -%-ный вес. • Необходимо обратить внимание на то, что в целом процентный вес всех содержательных областей (по горизонтали) и всех манифестаций (по вертикали) должен составлять 100%.
• Следующий шаг состоит в том, чтобы решить, какое количество заданий должно быть включено в тест. • При этом необходимо учитывать такие факторы, как размер решетки и время, предполагаемое для выполнения заданий.
• После того как определен процентный вес каждой из ячеек решетки и установлено общее количество заданий для пилотажной версии теста, нетрудно подсчитать, сколько заданий должно быть разработано для каждой ячейки.
• Для того чтобы подсчитать количество заданий для каждой ячейки, умножают общее число заданий, предназначенных для измерения некоторого свойства личности, на процентный вес его поведенческих проявлений. • Например, количество заданий для левой крайней ячейки решетки равно отношению 33, 3% к 12 (6) заданиям, что составляет 4 (2) заданий ≈ 33, 3/100 х 12 (6) = 4 (2). Если не получается целое число заданий для каждой ячейки, следует его округлить.
Манифестации Содержательные области Количест во заданий Отрицание – Негативизм – В А (40%) Эгоцентризм – С (20%) Невыдержанность в словах – А (33, 3 %) Категорично сть 4 Словесный снобизм 4 Провокацион ность 2 10 Невыдержанность в поведении – В (33, 3%) 4 4 2 10 Агрессивность – С (33, 3%) 4 4 2 10 Количество заданий 12 12 6 30
(1) Количество заданий: 30/100*40 (20)=12(6) (2) Количество заданий по областям: 33, 3/100*12 (6) = 4 (2)
Разработка заданий
• Прежде всего нужно указать на то, что в каждом задании может быть задан только один вопрос или сформулировано одно уверждение.
• Нельзя допускать появления заданий, в которых присутствуют формулировки типа: «для этого человека и других людей» , «как и другие» и т; п.
• Каждое задание (вопрос) должны быть сформулированы предельно ясно и просто.
• Необходимо избегать двусмысленных формулировок и придерживаться, насколько это возможно, наиболее простых вариантов ответов. • В то же время необходимо стремиться к тому, чтобы обследуемые не могли догадаться о том, для измерения какой черты предназначено то или иное задание. В противном случае ответы будут отражать их точку зрения на выраженность у себя этой черты, а не реальное положение дел.
• Задания должны отражать конкретные, а не общие аспекты изучаемой области поведения.
• Везде, где только возможно, следует избегать употребления таких слов, как «часто» , «редко» и т. п. Иначе говоря, в формулировке заданий нужно очень осторожно прибегать к словам, указывающим на частоту действий. То, что одним испытуемым интерпретируется как – «часто» , для другого совсем не так.
• Также следует избегать терминов, выражающих чувства. Лучше представить задание в контексте поведения.
• После разработки всех заданий к ним следует вернуться через некоторое время, и попытаться еще раз оценить их формулировки, еще раз убедиться в том, что все они легко понимаются и не содержат двусмысленностей. Для этого рекомендуется привлечь хотя бы двух-трех экспертов.
В личностных опросниках, как правило, используют три типа заданий: 1. дихотомические, 2. трихотомические 3. задания с рейтинговыми шкалами.
«Да – Нет» 1. Весьма популярны задания с альтернативным выбором (дихотомические), которые просты для понимания, легки и удобны для обработки. Эти задания требуют наименьшего времени для ответа. 2. К их недостатком относится то, что обследуемые часто не удовлетворены предлагаемой альтернативой, хотели бы видеть больше вариантов ответа.
«Да – Не знаю – Нет» 1. Задания трихотомические (три варианта ответа, например «да» , «не знаю» , «нет» ) также распространены в опросниках, и их преимуществом является то, что обследуемые могут более точно выразить себя, нежели в случае альтернативы. 2. Недостаток применения более двух вариантов ответов заключается в том, что могут актуализироваться установки на выбор крайних вариантов ответа и выбор среднего варианта, чаще всего это такие ответы, как «не знаю» , «иногда» и т. п.
Полностью не согласен 1 – 2 – 3 – 4 – 5 – 6 Полностью согласен Задания с рейтинговыми шкалами. Обычно не рекомендуется использование более семи в опросниках, использующих рейтинговые шкалы. Важно обеспечить достаточное количество градаций ответа, с тем, чтобы обследуемые были в состоянии адекватно выразить самих себя.
В разрабатываемом опроснике желательно использовать только один тип заданий!!!
Оформление теста
Название методики Ф. И. О. ____________________________ Возраст____ Пол___ Образование_____ Дата_____ • В любом опроснике должен быть представлен блок основной информации, который включает его название, а также вопросы, касающиеся имени, пола, возраста, образования и некоторых других необходимых для исследователя данных. • Обязательно указывается дата заполнения опросника.
Инструкция • Инструкция должна быть ясной, доступной для понимания. В ней должно быть указано, как выбирать ответ и каким образом отмечать его в опроснике. • Здесь же содержится дополнительная информация, которую разработчик считает необходимым сообщить обследуемому.
Для компоновки текста опросника следует руководствоваться такими рекомендациями: 1. Нумеруется каждое задание. 2. Каждая строка на странице должна быть короткой и содержать не более 10 -12 слов. 3. Все задания располагаются по прямой вертикальной полосе сверху вниз в левом углу страницы. 4. Необходимо обеспечить ясную визуальную связь между каждым заданием и вариантами ответа на него. Это может быть сделано с помощью введения пунктирной линии от колонки заданий к их вариантам ответов.
5. Каждое задание нужно отделить друг от друга, лучше это сделать, используя свободное пространство, а не горизонтальную линию. 6. Если используется более чем один тип заданий, одинаковые задания группируются вместе. Каждый тип заданий требует разных инструкций и своих вариантов ответов. 7. Опросник печатается так, чтобы он имел эстетически привлекательный вид.
Вам предлагается ряд высказываний. Если Вы согласны с тем, что в них говорится, то в бланке для ответов поставьте балл со знаком “+”, если нет, то “-”. Другими словами, поставьте против каждого утверждения один из 6 -ти предложенных баллов с соответствующим знаком "+" (согласие) или "-" (несогласие). Будьте, пожалуйста, внимательны и искренни. Желаем успеха! 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Продвижение по службе больше зависит от удачного стечения обстоятельств, чем от способностей и усилий человека. Большинство разводов происходит от того, что люди не захотели приспособиться друг к другу. Болезнь - дело случая; если уж суждено заболеть, то ничего не поделаешь. Люди оказываются одинокими из-за того, то сами не проявляют интереса и дружелюбия к окружающим. Осуществление моих желаний часто зависит от везения. Бесполезно предпринимать усилия для того, чтобы завоевать симпатии других людей. Внешние обстоятельства, родители и благосостояние влияют на семейное счастье не меньше, чем отношения супругов. Я часто чувствую, что мало влияю на то, что происходит со мной. Как правило, руководство оказывается более эффективным, когда руководитель полностью контролирует действия подчиненных, а не полагается на их самостоятельность. Мои отметки в школе, в институте часто зависят от случайных обстоятельств (например, от настроения преподавателя) больше, чем от моих собственных усилий. Полное согласие не -3 -2 -1 1 2 3 Полное согласие Полное согласие не -3 -2 -1 1 2 3 Полное согласие Полное согласие не -3 -2 -1 1 2 3 Полное согласие
№° ответы № 23 24 25 26 27 28 29 30 31 32 33 ответы № 1 -3 _2 -1 1 2 3 12 -3 -2 -1 1 2 3 4 5 6 7 8 9 10 11 -3 -2 -1 1 2 3 -3 _2 -1 1 2 3 -3 -2 -1 1 2 3 -3 -2 -1 1 2 3 13 14 15 16 17 18 19 20 21 22 -3 -3 -3 -2 -2 _2 -2 -2 -2. -2 _2 -1 -1 -1 1 1 2 2 2 2 2 3 3 3 3 3 MD 1 а 2 б 1 в 18 а б 1 в 2 35 а б 1 в 2 52 а 2 б 1 в 69 а б 1 в 2 86 а б 1 в 2 A B 2 а б 1 в 2 3 а б 1 в 19 а 2 б 1 в 20 а б в 1 36 а б 1 в 2 37 а б 1 в 53 а 2 б 1 в 54 а б в 1 70 а 2 б 1 в 71 а 1 б в 87 а б 1 в 2 88 а б в 1 C E F G H I L M N O Q 1 Q 2 Q 3 Q 4 4 а 2 б 1 в 5 а б 1 в 2 6 а б 1 в 2 7 а 2 б 1 в 8 а 2 б 1 в 9 а 2 б 1 в 10 а 2 б 1 в 11 а б 1 в 2 12 а б 1 в 2 13 а б 1 в 2 14 а 2 б 1 в 15 а 2 б 1 в 16 а 2 б 1 в 17 а 2 б 1 в 21 22 23 24 25 26 27 28 29 30 31 32 33 34 38 39 40 41 42 43 44 45 46 47 48 49 50 51 55 56 57 58 59 60 61 62 63 64 65 66 67 68 72 73 74 75 76 77 78 79 80 81 82 83 84 85 89 а б 1 в 2 90 а 2 б 1 в 91 а б 1 в 2 92 а б 1 в 2 93 а б 1 в 2 94 а б 1 в 2 95 а 2 б 1 в 96 а б 1 в 2 97 а б 1 в 2 98 а 2 б 1 в 99 а 2 б 1 в 100 а б 1 в 2 101 а б 1 в 2 102 а 2 б 1 в а б 1 в 2 а б 1 в 2 а 2 б 1 в а б 1 в 2 а 2 б 1 в а б 1 в 2 а б 1 в 2 а 2 б 1 в а 2 б 1 в а б 1 в 2 а 2 б 1 в а б 1 в 2 а 2 б 1 в -3 -2 -1 1 2 3 -3 -2 -1 1 2 3 -3 -2 -1 1 2 3 а б 1 в 2 а 2 б 1 в а б 1 в 2 а 2 б 1 в а б 1 в 2 а б 1 в 2 ответы 34 35 36 37 38 39 40 41 42 43 44 -3 -2 -1 1 2 3 -3 -2 -1 1 2 3 -3 -2 -1 1 2 3 103 а б 1 в 2 104 а 1 б в 105 а б 1 в
Ф. И. О. Продолжительность заполнения (время заполнения): Инструкция: «Прочитайте внимательно каждое из приведенных ниже предложений и зачеркните соответствующую цифру справа в зависимости от того, как Вы себя чувствуете в данный момент. Над вопросами долго не задумывайтесь, поскольку правильных или неправильных ответов нет» . 1. Я спокоен 2. Мне н ичто не угрожает 3. Я нахожусь в н апряжении 4. Я испытываю сожаление 5. Я чувствую себя свобод но 6. Я расстроен 7. Меня волн уют в озмож ные неуд ач и 8. Я чувствую себя отдохнувшим 9. Я встрев ожен 10. Я испытываю чувство внутренн его удовлетворения 11. Я уверен в себе 12. Я нервничаю 13. Я не нахожу себе мес та 14. Я вз винчен 15. Я не чувствую скованности, напряженности 16. Я доволен 17. Я озабочен 18. Я слиш ком возбужден и мне не по себе 19. Мне радостно 20. Мне п риятно Нет, это не так 1 1 1 1 1 Пож алуй, да Верн о 2 2 2 2 2 3 3 3 3 3 Сове рше нно верно 4 4 4 4 4 1 1 1 2 2 2 3 3 3 4 4 4 1 1 2 2 3 3 4 4 Переверните лист
Пилотажное исследование Проведение пилотажного исследования предполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается.
• Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника. • Пример: опросник предназначен для обследования лиц, имеющих проблемы с алкоголем, соответственно пилотажное исследование можно провести в соответствующих консультативных центрах, в клиниках.
• Если невозможно создать репрезентативную выборку, обычно достаточно составить выборку приблизительно похожую на репрезентативную.
• Лица, которые принимают участие в пилотажном исследовании, должны различаться по демографическим показателям, таким как возраст, пол, социальный статус.
• Пилотажную версию опросника следует предъявить как можно большему количеству испытуемых. Минимальное количество респондентов, которое требуется для пилотажного, исследования, должно быть в два раза больше, чем количество заданий.
Анализ заданий по результатам, полученном в исследовании, имеет своей целью отбор наилучших заданий для окончательной версии методики и включает в себя: 1. Определение доли ответивших правильно (в соответствии с ключом) 2. Дискриминативности каждого задания
Образец матрицы для анализа заданий Обследуемый Задания а б Сумма в 1 1 2 0 3 2 1 0 2 3 3 0 1 2 3 4 0 2 1 3 Сумма 2 5 5 12 (а) 2/4 = 0, 5 (б) 5/4= 1, 25 (в) 5/4 = 1, 25
Вычисление индекса эффективности • Этот показатель подсчитывается делением количества обследуемых, давших «правильный» ( «ключевой» ) ответ на их общее количество. • В идеале этот индекс для каждого задания должен располагаться в интервале от 0, 25 до 0, 75 (приближаясь в среднем к 0, 5 для всей методики).
Определение дискриминативности • Для определение дискриминативности заданий используется вычисление коэффициента корреляции каждого задания с общим баллом всей методики.
• Чем выше коэффициент корреляции, тем выше дискриминативность задания, тем лучше задание.
Скачать презентацию Алгоритм конструирования объективных психодиагностических методик Автор-составитель ассистент кафедры
Алгоритм.pptx