Основные понятия, используемые в математической обработке данных Ø Признаки и переменные Ø Шкалы измерения Ø Номинативная (шкала наименований) Ø Порядковая (ранговая) шкала Ø Интервальная (шкала равных интервалов) Ø Шкала отношений Ø Распределение признака, параметры распределения Ø Статистические гипотезы Ø Уровни статистической значимости
Типы используемых шкал Ø Неметрические Ø Метрические* (качественные) (количественные) Ø Номинативная / Ø Интервальная / Наименований Ø Ранговая / Порядковая Шкала равных интервалов Ø Шкала отношений *Метрика – единица измерения (градус Цельсия, кол-во респондентов, коэффициент интеллекта (IQ).
Качественные шкалы Номинативные – Порядковые условные коды неизмеримых категорий, значения признака не могут быть упорядочены по какому-либо семантическому признаку. ! только для качественной классификации: национальность, цвет глаз, город отражают условную степень выраженности какого-либо признака. ! нельзя сказать «насколько больше/меньше» : стадии заболевания, средний бал успеваемости (GPA: A, B, C, D)
Количественные шкалы Интервальные измеряются в абсолютных величинах, имеющих физический смысл. Можно упорядочить, численно выражать и сравнивать: T 0 C : 40 0 > 30 0 на 10 0 Относительные точка абсолютного нуля: x в два раза больше, чем y измерение времени и пространства !!! в большинстве случаев различий не делается
Пол 1 = мужской 2 = женский 1 = холост/не замужем Семейное положение 2 = женат/замужем 3 = вдовец/вдова 4 = разведен(а) 1 = некурящий Курение 2 = изредка курящий 3 = интенсивно курящий 4 = очень интенсивно курящий 1 = до 3000 Месячный доход 2 = 3001 - 5000 3 = более 5000 Коэффициент интеллекта (I. Q. ) Возраст (лет)
Место работы Степень заболевания 1 = стационар 2 = поликлиника 1 = средняя 2 = тяжелая 1 = 20 -39 Возраст 2 = 40 -55 3 = более 55
Определение методов статистической обработки результатов: Цели и задачи исследования Распределение признака Ограничения методов статистической обработки Рисунок взят с http: //forums. drom. ru
Нормальность распределения: для многих изучаемых переменных нельзя с уверенностью сказать о «нормальности» - случаи редких заболеваний, число автомобильных аварий. Объем выборки Проблемы измерения
Непараметрические критерии оценки – это совокупность статистических методов, которые позволяют оценить результаты исследований без вычисления общепринятых параметров. Обработка данных «низкого качества» из выборок малого объема с переменными, про распределение которых ничего не известно. Исследователь не знает о параметрах исследуемой популяции (среднее, стандартное отклонение)
Обзор непараметрических процедур По существу, для каждого параметрического критерия имеется, по крайней мере, один непараметрический эквивалент. Эти тесты попадают в категории: 1) критерии различия между группами (независимые выборки: м и ж); 2) критерии различия между переменными (зависимые выборки: успехи студентов в начале и конце семестра); 3) критерии зависимости между переменными
Достоинства непараметрических методов: 1) Не требуют знания характера распределения; 2) Могут применяться при любых распределениях; 3) Могут быть использованы при любом, даже небольшом числе наблюдений; 4) Применимы для признаков, имеющих количественное выражение, и признаков полуколичественного характера (например, степень тяжести и заболевания, результаты лечения и др. ); 5) Относительно просты и не требуют проведения сложных расчетов, соответственно, экономят время при вычислении; 6) Обладают достаточной мощностью (чувствительностью).
В основе расчета непараметрических критериев лежит упорядочивание (ранжирование) имеющихся значений по отношению друг к другу, типа «большеменьше» или «лучше-хуже» . Это разграничение значений не предполагает точных количественных соотношений, а, следовательно, и ограничений на параметры и вид распределения. Поэтому для использования непараметрических критериев нужно меньше информации, нежели для критериев параметрических.
Основные понятия «Нулевая гипотеза» (Но) - это предположение о том, что в сравниваемых группах отсутствует различие в распределении частот. Уровень статистической значимости – это максимально приемлемая для исследователя вероятность ошибочно отклонить Но, когда на самом деле она верна. Это допускаемая исследователем величина ошибки первого рода.
Основные понятия Величина уровня значимости устанавливается исследователем произвольно, обычно 0, 05 или 0, 01 (Но отклоняется при 5%). При уровне значимости более 5% «нулевая гипотеза» принимается, различия между сравниваемыми совокупностями принимаются статистически недостоверными, незначимыми.
Особого внимания заслуживает вопрос о мощности (чувствительности) критериев. Каждый из изучаемых критериев имеет характерную для себя мощность. Оценку значимости различий необходимо начинать с наименее мощного критерия. Если этот критерий опровергает нулевую гипотезу, то на этом анализ заканчивается. Если же нулевая гипотеза этим критерием не опровергается, то следует проверить изучаемую гипотезу более мощным критерием. Однако, если значение вычисленной для менее мощного критерия, оказалось очень далеким от критического значения, то мало надежды, что более мощный критерий опровергнет нулевую гипотезу.
Выбор непараметрических критериев для оценки результатов медицинских исследований (для определения существенности различий двух совокупностей) Для выбора того или иного критерия (табл. 1) необходимо определить следующие моменты: 1) В каком виде получены результаты: в количественном или альтернативном (атрибутивном), т. е. представлены числом или альтернативной оценкой, например, «есть признак – нет признака» , «есть симптом – нет симптома» и т. д. 2) Связаны ли между собой сравниваемые выборочные совокупности или они взаимно независимы. К связанным между собой относятся выборочные совокупности с попарно сопряженными вариантами, например, при изучении количества гемоглобина в крови одних и тех же больных до и после лечения. Взаимно независимые совокупности не связаны между собой и могут иметь различную численность, например, результаты исследования крови у нескольких групп больных с различными стадиями болезни. 3) Сравниваются две или несколько выборочных совокупностей.
Таблица 1 Выбор непараметрических критериев для определения существенности различий совокупности Название критерия Число наблюдений, при котором применяется критерий Сравнительная чувствительность критериев (по мощности) Для взаимосвязанных (сопряженных) совокупностей - критерий знаков - максимум-критерий - критерий Т Вилкоксона - до 100 пар Критерий - не менее 6; 8; 11 пар знаков - 6 -25 пар Критерий Вилкоксона Для независимых совокупностей - критерий Манна-Уитни - критерий Q Розенбаума - критерий Уайта - критерий Х Ван дер Вардена - серийный критерий - критерий l Колмогорова. Смирнова - Для любых совокупностей Точный метод Фишера ТМФ для четырех-польных таблиц от 2 до 20 от 2 до 16 менее 20 от 11 до 26 не более 28 от 8 до 30 Критерий Q Критерий Уайта Критерий Х Серийный критерий Критерий l
Применение непараметрических критериев для определения существенности различий взаимосвязанных (сопряженных) совокупностей Применяя критерии различия к связанным между собой выборочным совокупностям, исследователь стремится устранить или ослабить влияние на результаты оценки индивидуальной колеблемости вариант в пределах каждой совокупности, фиксируя основное внимание на изменениях каждого признака в динамике ( например, до и после какоголибо воздействия).
Критерий знаков в отличие от критерия t при оценке парных наблюдений (например, до и после лечения) учитывает не величину происшедших изменений, а только их направленность. Поэтому характер этих изменений учитывается в альтернативной форме (увеличение-уменьшение, ухудшение-улучшение и т. д. , что для кратности обычно обозначается знаком «+» и «-» , откуда и произошло название критерия). Случаи, когда парные наблюдения не имеют разницы (что можно обозначить знаком = или 0), из дальнейшего сравнения исключаются. В связи с этим следует стремиться, чтобы количество таких нулевых разностей было минимальным.
Если число положительных изменений близко к числу отрицательных изменений, то очевидно, что различия между сравниваемыми выборочными совокупностями не могут быть признаны статистически значимыми. Наоборот, вероятность значимого различия возрастает в случаях заметной направленности изменений в одну из сторон, т. е. в случаях преобладания одного из знаков.
Практическое применение критерия знаков заключается в следующем: 1) определяется направленность изменений в сравниваемых парных наблюдениях и для каждой пары наблюдений обозначается знаками + или -, а в случаях отсутствия изменений – 0; 2) подсчитывается общее число (n) парных наблюдений, имеющих различия (т. е. отмеченных знаками + и -); 3) подсчитывается меньшее число однозначных результатов сравнения (т. е. число знаков + или -), обозначаемое буквой Z;
Практическое применение критерия знаков заключается в следующем: 4) полученное число Z сравнивается с критическими значениями Z (Z 05, Z 01) для данного количества парных наблюдений (n) по специальной таблице; 5) если Z равно или больше критического табличного значения, соответствующего Z 05 (соответствующего уровня значимости 5%), то происшедшие изменения признаются случайными, статистически незначимыми (справедлива нулевая гипотеза). Если Z меньше Z 05 или Z 01, то различия признаются значимыми с вероятностью ошибки менее 5% (менее 1%).
Задача на критерий знаков Условие: У 10 больных изучалось кол-во билирубина в желчи до и после введения антибиотиков (см. табл). Задание: Определить существенность различий кол-ва билирубина. Решение: 1) увеличение кол-ва билирубина произошло у 7 больных. Снижение было у 2 больных. 2) Число пар наблюдений равнялось 10. Одна пара наблюдений имела равные результаты. 3) Оценка производится по минимальному числу наблюдений с однонаправленным результатом. В данном случае то двое больных, у которых произошло снижение билирубина в крови. 4) n=9 (10 -9), Z (наименьшее число однонаправленных результатов) равно 2. По таблице для 9 пар наблюдений табличное значение Z 05=2, для Z 01=1. ВЫВОД: с вероятностью более 95%, но менее 99% можно утверждать, что введение антибиотиков увеличивает содержание билирубина в желчи.
Количество билирубина до введения после Направление эффекта А 68 110 + Б 83 101 + В 70 120 + Г 100 180 + Д 110 100 - Е 100 0 Ж 180 240 + З 60 120 + И 200 160 - К 210 300 + Больные
Максимум-критерий Это более мощный критерий, основанный уже на величине происшедших изменений. Для этого: 1) определяют разности в парах наблюдений с учетом знаков; 2) располагают разности по их абсолютным величинам; 3) определяют число первых наибольших разностей с одинаковым знаком, т. е. до величины с противоположным направлением изменения. Оценка ведется по стандартным значениям: 6 пар наблюдений с одним знаком – 5% риска ошибки; 8 пар наблюдений – 1% риска ошибиться в достоверности различий; 11 пар наблюдений – менее 1% риска ошибки.
Задача на максимум-критерий РЕШЕНИЕ: 1) В нашем примере расположенные по абсолютной величине разности имеют следующий вид: +90, +80, +60, +50, +42, -40, +18, -10. 2) Подряд идут 6 величин со знаком «+» да значения со знаком «-» (-40). 3) Для того, чтобы иметь суждение о 95% вероятности безошибочного прогноза, необходимо 6 разновидностей с одинаковым знаком. В нашем примере их как раз 6. Следовательно, еще раз подтверждается вывод об эффективности действия антибиотиков.
Больные Количество билирубина Разность до введения после А 68 110 +42 Б 83 101 +18 В 70 120 +50 Г 100 180 +80 Д 110 100 -10 Е 100 0 Ж 180 240 +60 З 60 120 +60 И 200 160 -40 К 210 300 +90
Критерий Вилкоксона До настоящего времени при оценке двух связанных совокупностей рассматривалось лишь направление оказания действия и в какой-то степени величина разностей в паре наблюдений. Для более точного суждения о достоверности различий принимаются во внимание размеры этих разностей. Последовательность вычислений: 1) вычисляются разности в парах наблюдений; 2) проставляются ранги по величине разности без учета знаков (от меньшей разности к большей, результаты без изменений исключаются); 3) подсчитывается сумма однозначных рангов; 4) оценивается меньшая из сумм.
Задача на критерий Вилкоксона РЕШЕНИЕ: 1) Сумма рангов значений с плюсовым изменением = 41, сумма рангов со значением минус = 4. 2) Оценивается меньшая из сумм (Т=4) при числе пар наблюдений, равном 9. 3) Оценочная таблица приводится в специальной литературе: по строчке для n=9 Т 05=6, для Т 01=2. В нашем примере Т=4. 4) Следовательно, с вероятностью, большей 95% и меньшей 99%, можно утверждать о достоверном влиянии антибиотиков на увеличение билирубина в желчи.
Больные билирубин Разность Ранги до введения после А 68 110 +42 4 Б 83 101 +18 2 В 70 120 +50 5 Г 100 180 +80 8 Д 110 100 -10 1 Е 100 0 Ж 180 240 +60 6, 5 З 60 120 +60 6, 5 И 200 160 -40 3 К 210 300 +90 9
Применение непараметрических критериев для определения существенности различий независимых совокупностей Эти критерии особенно часто применяются в исследованиях, где имеются опытные и контрольные группы, где необходимо сравнить результаты двух групп наблюдений, относящихся к разным заболеваниям или стадиям болезни и т. д.
Критерий Уайта Последовательность расчета заключается в следующем: 1) имеется два ряда – Х и У. Данные рядов Х и У ранжируются от меньшей величины к большей вне зависимости от их принадлежности к тому или иному ряду; 2) ранги суммируются отдельно для рядов Х и У; 3) меньшая из сумм оценивается по таблице, которая приводиться в специальной литературе.
Критерий Колмогорова-Смирнова Это наиболее мощный критерий из серии непараметрических критериев, применяемых при сопоставлении двух различных групп наблюдений. Задача его та же, что и всех предыдущих. Последовательность обработки данных: 1) объединяются в один ряд в возрастающем порядке все варианты, встречающиеся в сравнительных группах наблюдений; 2) записываются частоты вариант для одной и другой групп; 3) проставляются частоты в накопленном порядке; 4) накопленные частоты делятся на число наблюдений в соответствующих группах;
5) вычисляются разности накопленных частот по группам Х и У без учета знаков; 6) находиться максимальная разность D; 7) по формуле определяется критерий l. l = D * (nx * ny / nx + ny) 2 2 2 8) сравнивается полученное значение с граничными значениями, которые для l 05 = 1, 84, а для l 01 = 2, 65. Если l >l 05 , то различия между сравниваемыми группами признаются существенными (таблица приводится в специальной литературе). 2 2
Применение непараметрических критериев для определения существенности различий любых совокупностей
Критерий соответствия ( ) – «хи-квадрат» 2 С помощью «хи-квадрат» определяют соответствие (согласие) эмпирического распределения теоретическому, и тем самым оценивают достоверность различий между выборочными совокупностями. Критерий применяется в тех случаях, когда нет необходимости знать величину того или иного параметра (среднюю или относительную величину) и требуется оценить достоверность различий не только двух, но и большего числа групп. В практическом здравоохранении метод может широко применяться при оценке эффективности прививок, действия препаратов, влияния условий труда и быта на заболеваемость работающих, влияния сроков госпитализации на течение заболеваемости и т. д.
Критерий определяется по формуле: Х = * ((Р – Р 1) / Р 1), где Р – фактические (эмпирические) данные; Р 1 – «ожидаемые» (теоретические) данные, вычисленные на основании нулевой гипотезы; - знак суммы. Определение критерия основано на расчете разницы между фактическими и «ожидаемыми» данными. Чем больше эта разность (Р – Р 1), тем с большей вероятностью можно утверждать, что существуют различия в распределении сравниваемых выборочных совокупностей, и наоборот, чем меньше разность, тем меньше шансов на то, что сравниваемые выборочные совокупности различны между собой. 2 2
Последовательность расчета заключается в следующем: 1) распределение фактических данных (Р) по всем 2) 3) 4) 5) 6) группам, суммирование итогов; определение ожидаемых величин (Р 1) на основе «нулевой гипотезы» . Полученные «ожидаемые» числа по всем группам заносят в таблицу; определяют разность между фактическими и «ожидаемыми» числами (Р – Р 1); определяют квадрат разностей по всем группам; квадрат разности делят на ожидаемое число во всех группах и результаты заносят в таблицу; критерий соответствия определяется путем суммирования предыдущих результатов (Р – Р 1) / Р 1 по всем группам. 2
Хи-квадрат Пирсона - это наиболее простой критерий проверки значимости связи между двумя категоризованными переменными. Критерий Пирсона основывается на том, что в двувходовой таблице (таблице сопряженности) ожидаемые частоты при гипотезе "между переменными нет зависимости" можно вычислить непосредственно.
Значение статистики хи-квадрат и ее уровень значимости зависит от общего числа наблюдений и количества ячеек в таблице. Представьте, что 20 мужчин и 20 женщин опрошены относительно выбора газированной воды (марка A или марка B). Если между предпочтением и полом нет связи, то естественно ожидать равного выбора марки A и марки B для каждого пола. ГАЗ. ВОДА: A ГАЗ. ВОДА: B Маргинальные частоты ПОЛ: мужчина 20 (40%) 30 (60%) 50 (50%) ПОЛ: женщина 30 (60%) 20 (40%) 50 (50%) 100 (100%)
Каждая ячейка таблицы содержит единственную комбинацию значений двух табулированных переменных (в строке - указана переменная Пол в столбце - переменная марка воды). Числа в каждой ячейке, на пересечении определенной строки и определенного столбца, показывают, сколько наблюдений соответствует данным уровням факторов. ГАЗ. ВОДА: A ГАЗ. ВОДА: B Маргинальные частоты ПОЛ: мужчина 20 (40%) 30 (60%) 50 (50%) ПОЛ: женщина 30 (60%) 20 (40%) 50 (50%) 100 (100%)
В целом таблица показывает, что женщины больше мужчин предпочитают газированную воду марки A, мужчины больше женщин предпочитают марку B. Таким образом, пол и предпочтение могут быть зависимыми. ГАЗ. ВОДА: A ГАЗ. ВОДА: B ПОЛ: мужчина 20 (40%) 30 (60%) 50 (50%) ПОЛ: женщина 30 (60%) 20 (40%) 50 (50%) 100 (100%)
Сравнение двух групп и более Задача – сравнить две группы и более по качественному признаку. Решение в 2 этапа: 1) построение таблиц сопряжённости; 2) анализ таблицы сопряжённости на предмет проверки гипотезы о случайности распределения частот в таблице сопряженности.
Таблица с двумя строками и столбцами – четырехпольная (2 на 2) (пример выше). Таблица сопряженности Должность * Возраст, лет Итого 1 12 1 14 % 0, 5% 5, 6% 0, 5% 6, 5% 71 108 21 200 % 33, 2% 50, 5% 9, 8% 93, 5% Частота Специалисты 56 и более Частота Должность 36 -55 Частота Руководители 20 -35 72 120 22 214 % 33, 6% 56, 1% 10, 3% 100, 0%
2 этап. Анализ таблиц сопряженности ? ? ? существует ли статистическая взаимосвязь двух анализируемых признаков, т. е. влияет ли один признак (# метод лечения) на распределение числа объектов исследования по другому признаку (# исходам заболевания), и является ли это влияние статистически значимым, т. е. ассоциированы ли эти два признака.
Формулировка проверка гипотезы 1 вариант: Но: гипотеза об однородности – группы (детерминируемые значениями одного из двух анализируемых признаков) происходят из одной и той же популяции, т. е. идентичны в отношении другого признака. Н 1: группы (выборки получены из разных популяций), т. е. различаются по второму признаку
Формулировка проверка гипотезы 2 вариант: Но: гипотеза о независимости признаков – распределение по одному признаку не влияет на распределение по другому признаку, т. е. не идентичны в отношении другого признака. Н 1: признаки являются зависимыми
Методы проверки гипотезы Для таблиц 2*2: Хи-квадрат Пирсона, хи-квадрат отношения правдоподобия, точного критерия Фишера и критерия хи-квадрат с поправкой Йетса, образованных двумя строками и двумя столбцами Меры сопряженности: Фи и параметр V Крамера, коэффициент сопряженности [0; 1] (0 означает отсутствие связи между переменными строки и столбца, а значение, близкое к 1, - высокую степень связи между этими переменными).
Корректность проведения теста хи-квадрат определяется двумя условиями: во-первых, ожидаемые частоты < 5 должны встречаться не более чем в 20% полей таблицы; во-вторых, суммы по строкам и столбцам всегда должны быть больше нуля.
Пример Гипотезы: «социальные группы с разным уровнем образования (дохода, должностью, местом жительства и т. д. ) отличаются по электоральным предпочтениям (степенью удовлетворенности жизнью и т. д. )» . Другими словами, допускается, что существует переменная (такая как «принадлежность к определенной социальной группе» ), которая объясняет поведение других переменных. Таким образом, есть объясняющие переменные, которые называются независимыми, и объяснимые переменные – зависимые.
По данным в таблице можно увидеть, что действительно есть прямая зависимость возраста респондента и его электоральной активности. Среди респондентов старше 50 лет подавляющее большинство – 74, 1% - готово голосовать на выборах, что свидетельствует о высокой электоральной активности людей старшей возрастной категории. Среди молодых респондентов в возрасте до 30 лет готовность голосовать на выборах продемонстрировали всего лишь 55, 3% респондентов, почти четверть из них – 24, 3% - заявили, что не будут участвовать в голосовании. Таким образом, чем старше возраст респондентов, тем выше их электоральная активность.
Спасибо за внимание!!!
Скачать презентацию Основные понятия используемые в математической обработке данных Ø
Непараметрические методы 1.ppt