VIII Саммит психологов Спб-2014 Интерактивная лекция Практическая тестология

VIII Саммит психологов (Спб-2014) Интерактивная лекция «Практическая тестология это прикладная психология или нет? » Шмелев Александр Георгиевич, профессор МГУ, научный руководитель Лаборатории «Гуманитарные технологии» , www. ht. ru

План лекции • Участники корпоративной системы тестирования. • «Практическая тестология» (ПТ) и «дифференциальная психометрика» • О книге «Практическая тестология» • Сайт книги и как ее приобрести • forum. ht-line. ru – интерактивное упражнение • Роли разных специалистов в ПТ • Интеграция тестовых баллов и экспертных оценок • Модуль «Интегратор» в системе HT-LINE • Метод целочисленного взвешивания

Парадигма «один на один» уходит Парадигма традиционной психологии «один психологисследователь – один обследуемый клиент» в эпоху ИКТ-революции и глобализации в крупных корпорациях исчезает: кандидаты оспаривают вакансии, выполняя с самого начала дистанционные онлайн -тесты, в создании и проведении которых участвуют многие (десятки человек)»

Testology-book. ru 1) Для психометристов – психологов с математической подготовкой 2) Для менеджероворгпсихолологов 3) Для авторов тестовых заданий (предметников) 4) Для ИТ-специалистов 5) Для руководителей подразделений качества в ВУЗах

Практическая тестология и дифференциальная психометрика • Предмет практической тестологии шире – это не только измерение психических свойств, но профессиональных и образовательных компетенций (ЗУНов). • Поле практической тестологии – это поле деятельности не в лабораторных условиях, а в реальной оргсреде образовательного учреждения в целом и-или производственной (коммерческой) организации.

Требования к тестологу • Современный практический тестолог – это не просто прикладной математик, получивший дополнительную подготовку в области психологии, и не просто прикладной психолог, получивший дополнительную математическую подготовку, - это универсальный ИТ-МЕНЕДЖЕР, способный скоординировать работу междисциплинарного коллектива исполнителей – работу по внедрению Автоматизированной Системы Тестирования (АСТ) в организации.

Оглавление книги 1. 2. 3. 4. 5. Определения и классификация тестов Конструкция и конструирование тестов Разработка тестовых заданий и образцы Математическая тестология (с. 262 – 350) Организационно-технологическое обеспечение тестовых систем 6. Валидность, рентабельность и достоверность 7. Внедрение тестов в систему вузовских экзаменов 8. Социально-психологические проблемы внедрения тестов.

Где и как приобрести книгу? • На сайте www. ht. ru в правой колонке есть раздел «Подписка на книгу Шмелева» . Эта подписка дает возможность получить доступ к э-копии книги, а также для дистанционной оплаты и получения книги в виде почтовой бандероли.

Интерактивная работа экспертов в И-сообществе • Вход на форум экспертов со страницы forum. ht. ru (возможна саморегистрация, а о регистрации «через Фейсбук» доступна инструкция на первой странице). • Раздел «Объединение психологов –> Разработка стандартов» . • Тема: «Проконтролируйте себя на согласованность с экспертами» . http: //forum. ht-line. ru/threads/prokontrolirujte-sebja-na-soglasovannost-s-ehkspertami. 179/ • Опрос-голосование: «Назовите признаки, входящие в определение понятия «измерительный тест» .

Роли в тестологической команде ВУЗа Главный менеджер проекта (Генконструктор АСТ) Менеджерпредметник ИТ-менеджер (Зампред УМК) Автор-эксперт 1 Операторпрограммист Инспектор(ы) учебной части Супервизоры в к-классах

Модель интеграции тестовых баллов и экспертных оценок Эксперт. оценки Тестовые баллы Эксперт. оценки в стенах 2 неуд 1– 3 2 3 удов 4– 5 4 хор 6– 7 6. 5 5 отл 8 - 10 9 Главная проблема – это не формула подсчета, а непонимание психологами способа приведения разнотипных шкал к одной шкале.

Расчетный пример ФИО респондента А В С Балл по тесту Э-оценка D Перевод A в Перевод В в шкалу грейдов шкалу стенов Иванов 8 4 5 6. 5 Петров 10 5 5 9 Усреднение в грейдах Усреднение в стенах Иванов Mean(5, 4) = 4. 5 Mean(8, 6. 5) = 7. 25 Петров Mean(5, 5) = 5 Mean(10, 9) = 9. 5

Модуль «Интегратор» в системе HT-LINE

Вкладка-режим «Участники» в модуле « Интегратор» HT-LINE

Возможность дополнительных групповых приглашений (тем, кто не начал какой-то тест)

Рассылка приглашений

Индивидуальная страница участника

Завершение пакета тестов

Вкладка «Результаты» и меню пакета

Экспорт результатов в Excel

вый балл i-го испытуемого, Qj – это целочисленная трудность j-го задания, симально возможная трудность (самый высокий уровень), е число заданий в тесте, i-го испытуемого на j-е задание, принимающий всего 2 возможных значения: R=1, что означает «правильно» , и R= - 1, что означ Формула целочисленного взвешивания

Практический эффект МЦВ • Результат МЦВ-подсчета – балл испытуемого отображается на упрощенной шкале логитов, то есть на той же самой, где отображается и трудность тестовых заданий. X=1 – означает, что испытуемый может справляться 50: 50 с легкими заданиями Q=1 X=2 – означает, что испытуемый может справляться 50: 50 с о средними заданиями Q=2 и 66*33 с легкими Q=1 X= 3 – означает, что испытуемый может справляться со средними 66*33 и 50: 50 с трудными Q=3

Таблицы вероятностей на целочисленной модели Раша Xi Qj-> -2 -1 0 1 2 -2 0, 50 0, 67 0, 80 0, 89 0, 94 -1 0, 33 0, 50 0, 67 0, 80 0, 89 0 0, 20 0, 33 0, 50 0, 67 0, 80 1 0, 11 0, 20 0, 33 0, 50 0, 67 2 0, 06 0, 11 0, 20 0, 33 0, 50 По строкам – сила испытуемого X, по столбцам – трудность задания Q

Где и как приобрести книгу? • На сайте www. ht. ru в правой колонке есть раздел «Подписка на книгу Шмелева» . Эта подписка дает возможность получить доступ к э-копии книги, а также для дистанционной оплаты и получения книги в виде почтовой бандероли.

Как быстрей познакомиться со «Стандартами тестирования персонала» 1) Надо зарегистрироваться на форуме forum. ht-line. ru 2) Проект документа будет опубликован в разделе Вики. 3) Каждый, кто считает себя компетентным, сможет что-то подправить или добавить в документ.

Спасибо за внимание. Готов ответить на вопросы.