Интерпретация результатов тестирования. Работа с матрицей результатов

Интерпретация результатов тестирования. Работа с матрицей результатов тестирования. После окончания тестирования начинается математическая обработка полученных результатов. Итогом тестирования определенной группы учащихся является матрица результатов. Если за каждое правильно выполненное задание ставится 1, а за невыполненное – 0 (дихотомическая система оценивания), то уровень знаний учащегося выражается в определенной сумме баллов. LOGO

Матрица – прямоугольная таблица, в которой сведены профили ответов учащихся (строки из оценок учащихся по всем заданиям теста) и профили заданий теста (столбцы из оценок всех учащихся по каждому заданию теста). www. themegallery. com LOGO

Таблица Матрица результатов 7 18 13 14 8 12 15 11 9 10 2 3 4 5 6 17 1 16 № Ф. И. О. 1 Имануилова Ю. 1 1 1 0 0 0 6 2 Сысоева Д. 0 1 1 1 0 0 0 0 7 3 Никольская Е. 1 1 1 0 0 0 8 4 Бочарова О. 1 1 1 0 0 0 1 0 0 8 5 Бухтоярова Э. 1 1 0 1 1 0 0 0 9 6 Ломакина С. 1 1 1 0 0 1 0 0 0 9 7 Лунина Л. 1 1 1 0 0 0 0 10 8 Ермакова С. 1 1 0 0 0 10 9 Галкина И. 1 1 0 1 0 0 0 10 10 Яшин Д. 1 0 1 1 1 0 0 0 10 11 Жеребцов С. 1 1 1 0 0 1 0 0 1 11 12 Ярцева О. 1 1 1 0 0 12 13 Гангур Т. 1 1 1 0 1 1 0 0 13 14 Нетесова Л. 1 1 1 1 0 0 16 15 Белгородцева И. 1 1 1 1 0 1 1 17 Число верных ответов 14 14 13 13 12 12 11 11 10 9 7 6 6 6 5 3 2 2

Создание матрицы результатов. v 1 ШАГ. Формирование матрицы тестовых результатов. Оценка дихотомическая. Строки матрицы, состоящие из 0 и 1, соответствуют ответам учеников на различные задания теста. Каждая строка, соответствующая конкретному испытуемому, называется профилем его ответов. v 2 ШАГ. Из матрицы удаляют все строки и столбцы, состоящие только из 0 или только из 1. v 3 ШАГ. Подсчитать индивидуальные баллы испытуемых и количество правильных ответов испытуемых на каждое задание теста. v 4 ШАГ. Приведение матрицы к треугольному виду. Для этого производят перестановку столбцов, располагая задания по убыванию числа правильных ответов на них. Затем сортируют строки по возрастанию индивидуальных баллов испытуемых, то есть проводят ранжирование учащихся по уровню знаний. Наличие ошибок в профиле ответов определяется из матрицы, приведенной к треугольному виду. Для этого смотрим индивидуальный балл испытуемого и отсчитываем количество заданий, соответствующее этому числу, начиная с самого легкого. В верном профиле ответов слева будут стоять только единицы, а справа – только нули. Все единицы и нули, стоящие не на своих местах считаются ошибками, так как испытуемый справился с более трудным заданием, но не справился с более легким. www. themegallery. com LOGO

• 5 ШАГ. Выполнение графиков. На данном этапе производится графическая интерпретация распределения эмпирических данных. Кривая нормального распределения иначе называется «колом Гаусса» или Гауссовой кривой, по имени впервые описавшего ее немецкого ученого математика Карла Фредерика Гаусса. Рис. 1. Кривая нормального распределения

Асимметрия. v Эта математическая модель показывает, каким образом значения величин, называемых случайными переменными, распределяются относительно среднего значения. Задания ориентированного на статистическую норму теста подбираются таким образом, чтобы итоги их выполнения выборкой приближались к кривой нормального распределения Гаусса. В этом случае асимметрия равна нулю (нулевая асимметрия). www. themegallery. com LOGO

Варианты асимметрии. v Отрицательная Нулевая Положительная v асимметрия www. themegallery. com LOGO

v Если какие – либо причины препятствуют более частому появлению значений, которые выше или ниже среднего, образуется асимметричные распределения: смещение кривой нормального распределения влево – отрицательная асимметрия, смещение вправо – положительная асимметрия. Положительная асимметрия распределения характерна для излишне легких тестов, эффект отрицательной асимметрии встречается в излишне трудных тестах. В хорошо сбалансированном по трудности тесте асимметрия нулевая. www. themegallery. com LOGO

Эксцесс. v Чем больше масса значений признака находится вблизи среднего, тем острее вершина кривой; при разбросе результатов, когда многие из них существенно отличаются от среднего, кривая становится более пологой. v С помощью эксцесса можно получить представление о том, является ли гистограмма островершинной или плоской. Островершинная кривая имеет явно выраженный положительный эксцесс, средневершинная имеет нулевой эксцесс, характерный для нормальной кривой, плосковершинная имеет эксцесс меньше нуля. www. themegallery. com LOGO

Виды эксцесса. нулевой положительный Отрицательный www. themegallery. com LOGO

v 6 ШАГ. Подсчет мер центральной тенденции. Меры центральной тенденции предназначены для выявления «центрального положения» , вокруг которого в основном группируется множество значений данного распределения данных. В зависимости от характера данных (по какой шкале они были получены: номинальной, ранговой или интервальной), для количественной характеристики совокупностей используют разные средние показатели: моду, медиану или среднее арифметическое. v Мода – это такое значение, которое встречается наиболее часто среди результатов выполнения теста. Распределение может иметь одну или несколько мод. В случае наличия двух мод распределение называется бимодальным. Если все значения баллов учеников встречаются одинаково часто, то считается , что моды у распределителя нет. www. themegallery. com LOGO

v Среднее выборочное – среднее арифметическое определяется суммированием всех значений совокупности баллов и последующим делением на их число. Среднее выборочное характеризует все распределение в целом. Для совокупности индивидуальных баллов х1, х2, …, х. N группы N испытуемых среднее значение будет равно: (х1+х2+…х. N): N. v Среднее выборочное дает возможность сравнить отдельные величины со средним арифметическим, определить тенденцию развития какого – либо явления, сравнить разные совокупности и др. Хороший нормативно – ориентированный тест обеспечивает нормальное распределение индивидуальных баллов учеников, когда среднее значение совпадает с модой и находится в центре распределения, около 68% концентрируются вокруг среднего по нормальному закону, а остальные сходят на нет к краям распределения. www. themegallery. com LOGO

v Медиана – это число, которое является серединой множества чисел, то есть половина чисел имеют значения большие, чем медиана, а вторая половина – меньшие. Опираясь на значение медианы, можно охарактеризовать структуру ряда вокруг среднего: имеется ли равномерное распределение вокруг среднего, накопление величин по возрастающим или убывающим интервалам. v Размах – измеряет на шкале расстояние, в пределах которого изменяются все значения показателя в распределении. v Меры центральной тенденции говорят о концентрации группы значений на числовой шкале, пренебрегая различиями, существующими между отдельными значениями. v Для измерения вариации оценок внутри группы требуются другие описательные статистические методы, такие как дисперсия, стандартное отклонение, среднее отклонение. www. themegallery. com LOGO

v Дисперсия является удачной мерой изменчивости, показывает значение отклонения, которое несет информацию о вариации совокупности значений. v Подсчет дисперсии основан на вычислении отклонений каждого значения показателя от среднего арифметического в распределении: (i = 1, 2, …, N). v Знак отклонения указывает место результата ученика по отношению к среднему арифметическому по тесту. Для ученика с индивидуальным баллом выше среднего значение разности будет положительно, а для тех, у кого результат ниже среднего арифметического, отклонение меньше нуля. v Мера изменчивости, называется дисперсией, обозначается S 2 x и вычисляется по формуле: www. themegallery. com LOGO

v Кроме дисперсии для характеристики меры изменчивости распределения пользуются еще одним показателем, который называется – стандартное отклонение. Стандартное отклонение равно корню квадратному из дисперсии: v Низкая дисперсия индивидуальных баллов указывает на плохое качество НОТ и говорит о слабой дифференциации испытуемых по уровню подготовленности в группе, что противоречит основной цели нормативно – ориентированных тестов. Излишне высокая дисперсия приводит к искажению вида распределения (существенное отличие вида распределения баллов от планируемой нормальной кривой).

v Зачастую в оценке характера распределения руководствуются простым соотношением. Для этого величину среднего выборочного сравнивают с утроенным стандартным отклонением. Если Х = 3 Sх, то дисперсия оптимально высока и можно принять гипотезу о нормальности распределения. Обычно эксцесс вычисляется по формуле: v Где все обозначения остались прежними. Необходимо помнить, что понятие «эксцесс» применимо лишь к унимодальным распределениям. www. themegallery. com LOGO