Прогностическая эффективность биомаркеров Рубанович А. В. Институт общей генетики им. Н. И. Вавилова РАН, лаборатория экологической генетики rubanovich@vigg. ru
Прогностическая эффективность биомаркеров или как представить результаты так, чтобы они нравились не только нам, но и в министерствах
ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007— 2012 годы» Лот № 2. 2011 -1. 2 -512 -014. Разработка постгеномных методов для молекулярно-генетической диагностики соматических заболеваний 17 22 Разрабатываемая молекулярно-диагностическая тест-система для ранней диагностики генетической предрасположенности к развитию особо опасных НИИ общей патологии и и распространенных заболеваний обеспечит следующие диагностические патофизиологии РАМН характеристики: 1. специфичность - не менее 80%; 2. чувствительность - не менее 83%; 3. точность - не менее 90%; высокий (до 98%) уровень информативности ГНИИ генетики и селекции (чувствительность/специфичность) создаваемых систем полиморфных маркеров, основанных на идентификации этиологических вариантов геновпромышленных кандидатов; высокая чувствительность создаваемого нового способа микроорганизмов диагностики предрасположенности к сахарному диабету типа 1 (95% или более). -создание списка генов-кандидатов и их «горячих точек» - мутаций и Российский онкологический значимых полиморфных вариантов, вовлеченных в канцерогенез научный центр имени Н. Н. наследственных и спорадических форм рака молочной железы, рака Блохина РАМН яичников и рака щитовидной железы; -определение чувствительности и специфичности применяемых методик О чем это они? 32 Лот № 6. 2011 -1. 2 -512 -027. Исследование вариантов генов, ассоциированных с устойчивостью и чувствительностью человека к воздействию радиации 57 ГНИИ генетики и селекции промышленных микроорганизмов Высокий (до 98%) уровень информативности (чувствительность/специфичность) создаваемых молекулярногенетических систем, основанных на идентификации вариантов геновкандидатов. Высокая чувствительность нового способа диагностики устойчивости человека к воздействию радиации (95% или более).
Чувствительность – специфичность: старые добрые медицинские понятия Чувствительность (SE) – это доля носителей маркера среди больных (тест сработал!) Специфичность (SP) - это доля здоровых, которые не являются носителем маркера (тест сработал!) Случаи, когда маркер сработал 10 больных Случаи, когда Чувствительность = 0. 7 маркер не сработал 10 здоровых Специфичность = 0. 9
SE vs. SP: противоборство показателей Все без маркера, и все здоровы! SE=0, SP=1 Маркер у всех, и все больны! SE=1, SP=0 Маркер Специфичность Чувствительность Выигрывая в чувствительности, обычно теряем специфичность (et converso)
Так что важнее: чувствительность или специфичность? Тест должен быть высокочувствительным, если важно не пропустить ни одного больного (пусть даже будет гипердиагностика). Тест должен быть высокоспецифичным, если важно не объявлять здорового больным (серьезная психологическая травма либо сильные побочные эффекты лечения – гипердиагностика нежелательна) Все зависит от ситуации, но кроме того существует простой и эффективный показатель прогностических возможностей маркера (отличать больного от здорового): 1 SE Area Under Curve? AUC 0 1 - SP 1
Почему величина AUC=(SE+SP)/2 характеризует прогностическую эффективность маркера? Берем 1 здорового и 1 больного q Без использования маркера вероятность угадать, кто есть кто = 1/2 q Используем тест и носителя маркера объявляем больным вероятность угадать, кто есть кто = AUC В качестве больного выбираем: - любого AUC – это вероятность - любого отличить больного от здорового, ориентируясь на маркер! - с маркером AUC>1/2, если OR>1 AUC Прогностическая ценность 0. 5 Случайный классификатор 0. 5 -0. 6 Плохой классификатор 0. 6 -0. 7 Средний классификатор 0. 7 -0. 8 Хороший классификатор >0. 8 Отличный классификатор
А зачем все это? Почему бы не обойтись привычным набором показателей ассоциирования – r, OR, p и т. п. ? Относительная полезность OR и RR Тревожные заголовки последних лет: Ограниченная полезность OR при использовании диагностических и прогностических маркеров Маркеры с воспроизводимыми значимыми OR могут быть плохими классификаторами По ту сторону OR – риск заболеваемости на основе генетических профилей …брешь между статистической значимостью и диагностической дискриминацией Прогноз генетического риска – умеем ли мы уже это делать ?
George Poste, chief scientist at the Complex Adaptive Systems Initiative, and Regents professor of health innovation at Arizona State University Нашествие биомаркеров «Bring on the biomarkers» Nature , v 469, 2011 150 000 Капля в океане: работ, Good association is usually a necessary, претендующих на but not a sufficient, condition for good classification открытие биомаркеров Не более 100 биомаркеров рутинного использования в клиниках Проф. Алексей Кондрашов, Life Sciences Institute, University of Michigan Мегагрант-2010 (МГУ). Лекция в Полит. РУ (2010) «Эволюционная биология человека и охрана здоровья» : Надежды 90 -х не оправдались: эпоха GWAS буксует «У меня 10 -15 генов предрасположенности? В этой информации очень мало проку!»
Пример, когда сильный эффект не Причина парадокса в низкой чувствительности теста: 50/500=0. 1, т. е. только 10% больных обеспечивает эффективность прогноза являются носителями маркера Популяционное обследование: 1000 человек Заболеваемость – 50% 500 здоровых 500 больных Суперэффект! 50 с маркером 450 без маркера 5 с маркером 495 без маркера У больных частота маркера в 10 раз выше, чем у здоровых: OR=11, p=7 10 -11 Сколько раз тест сработал? Вероятность того, что случайно выбранный человек будет правильно идентифицирован равна: - почти монета!!! Как и было
Разберемся в исходных понятиях: все начинается с таблицы сопряженности 2 2: Больные Case D Носители маркера Свободны от маркера M Здоровые Control a b c d Популяционная частота маркера > p. M > 1 -p. M
Интерпретация в терминах ошибок I и II рода Больные Case Тест сработал! Носители маркера Свободны от маркера M Тест не сработал: ошибка Плоховато запоминается лучше частота маркера II рода среди больных D Здоровые Тест не Control сработал: ошибка I рода False True a b Positives False True c d Negative
Бинарный тест: вычисление показателей ассоциирования и риска q q Доля дур среди блондинок, это не то же Показатели ассоциирования: > RR самое, что доля Показатели рисков: блондинок среди дур! M D a c b d Во всех случаях можно оценить только отношение шансов! «Абсолютные» риски: доля больных среди M и Чувствительность и специфичность: Относительный риск: частота М среди больных Не все эти показатели поддаются непосредственной оценке – и среди здоровых все зависит от дизайна эксперимента
Дизайн ассоциативных исследований Выборка 1 Выборка 2 D Выборка 1 Выборка 2 M Набираем выборку, a b заранее не зная, кто болен и кто носитель c маркера d q Case-control study: подбор групп «больные-здоровые» q Cohort study: подбор групп «с маркером – без маркера» q Population study: случайная выборка без подбора групп Основной вариант ассоциативных OR, SE, SP, AUC исследований Обычно «экспонированные - OR, RR контроль» Редкий вариант любые (дорого!)
Возможность непосредственной оценки зависит p. D – встречаемость (распространенность) заболевания от дизайна эксперимента! p. M – популяционная встречаемость (частота) маркера Study OR RR SE SP p. D p. M Case-control √ ? √ √ ? ? Cohort √ √ При case-control мы не можем оценить √ √ √ Population заболеваемость и частоту маркера √ непосредственно в своем эксперименте Однако в большинстве случаев в отношении p. D и p. M имеется априорная информация (эпидемиологические справочники, базы данных Pub. Med, Hap. Map и т. д. ) Зная OR, p. D и p. M можно оценить все остальные показатели (например, относительный риск RR для case-control)
На что можно рассчитывать, используя бинарный маркера? Какими могут быть чувствительность, специфичность и риски При OR > 1: для бинарного теста? . . Рассмотрим крайности: SE > p. M и SP > 1 -p. M Идеальный маркер D a 0 M 0 d OR=RR=∞ AUC=1 В каждой клетке Чувствительность и произведения вероятностей специфичность больше нуля даже Маркер не работает «встретить – не встретить» в отсутствии ассоциаций D M p. D p. M (1 - p. D) (1 - p. M) p. D (1 - p. M) (1 - p. D) OR=RR=1 AUC=1/2
Зависимость чувствительности от p. D и p. M при фиксированном OR (=5) Чувствительность минус «чувствительность в отсутствии ассоциаций» q Чувствительность слегка убывает при увеличении заболеваемости SE - p. M q Чувствительность существенно зависит от частоты встречаемости маркера и произвольно p. D мала для редких маркеров даже при больших OR p. M
Зависимость специфичности от p. D и p. M при фиксированном OR(=5) q Специфичность слегка возрастает при увеличении заболеваемости Специфичность минус «специфичность в отсутствии ассоциаций» SP – (1 -p. M) q Специфичность слабо зависит от частоты маркера и приблизительно равна 1 - p. M при p. D< 0. 4 p. M p. D
Зависимость AUC от p. D и p. M Величина максимально возможного AUC не зависит от p. M и p. D и равна AUC OR=20 OR=10 OR=5 В этой точке p. M SE=SP p. D
При каких OR маркер является хорошим классификатором? Когда OR>5, а частота маркера не менее 30%: OR > 5. 4 При низких OR (< 2. 5) маркер является заведомо плохим классификатором при любых частотах заболевания и маркера: OR < 2. 4 При p. M OR << 1 чувствительность теста заведомо мала :
Почему высокое OR не всегда гарантирует эффективность прогнозов, и когда подобное происходит? При низкой частоте встречаемости маркера Суперэффект! тест прогностически неэффективен. Точнее … 50 с маркером 5 с маркером 450 без маркера 495 без маркера OR велико даже при очень больших OR маркер является плохим (=11) потому, классификатором, если p. M/ p. D<0. 2 (тогда AUC<0. 6) что это число D мало M 5 450 M 50 495 D p. M p. D-p. M p. D Возьмем крайний случай: OR=∞ AUC 1/2 p. M при p. M 0, хотя OR=∞ 0 1 -p. D 1 -p. M 1 -p. D
И еще одно обстоятельство OR=11, но это не совсем относительный риск (который показывает во сколько раз заболеваемость выше у носителей маркера) Популяционное обследование: 1000 человек Заболеваемость – 50% 500 здоровых 500 больных OR=11, p=7 10 -11 50 с маркером 450 без маркера 5 с маркером Доля больных среди носителей маркера = Доля больных среди свободных от маркера = Относительный риск = 495 без маркера
OR завышает оценку относительного риска (всегда!) При OR>1: RR OR RR 8 RR OR p. D=0. 05 при OR<5 и p. M=0. 1 6 p. D <0. 05 ( «правило пяти» ) - хорошая аппроксимация для RR 4 2 2 4 6 8 OR
RR может быть существенно меньше OR в случае широко распространенного заболевания (p. D>0. 1) и редкого маркера (p. M< 0. 05) p. D-заболеваемость RR (при p. M=0. 01) 0. 001 0. 01 10 Если редкий ген (MAF=1%) сильно ассоциирован (OR=6) с 8 широко распространенным заболеванием, то это не значит, 0. 05 что носители этого гена заболевают в 6 раз чаще 6 0. 1 На самом деле только в 2. 4 раза чаще 4 0. 2 2, 4 0. 3 2 OR 2 4 6 8 10
Бинарные и количественные маркеры (тесты) q Бинарный тест: маркер «есть-нет» M q Количественный тест: маркер является количественным показателем После выбора порогового значения маркера D a c приходим к таблице 2 х2 b d
Количественный тест: выбор порога Частота 0. 25 Контроль Больные 0. 2 0. 15 низкая 0. 1 специфичность высокая чувствительность 0. 05 Признак - маркер 0 Низкий порог
Количественный тест: выбор порога Маркер Частота 0. 25 Контроль Больные 0. 2 высокая специфичность Специфичность 0. 15 Чувствительность низкая чувствительность 0. 1 0. 05 Признак - маркер 0 Низкий порог Высокий порог Как выбрать порог, чтобы соотношение чувствительность/специфичность было оптимальным?
ROC – анализ Receiver Operator Characteristics Термин времен 2 -ой мировой войны, который придумали операторы первых радарных установок Как отличить шум и помехи от вражеского самолета? Современные применения ROC-анализа: Медицинская диагностика, радиология и физиология Распознавание образов, машинное обучение Погода и любые прогнозы по приметам Борьба со спамом
ROC – кривая: зависимость SE от (1 -SP) при плавном изменении порога SE Частота 0. 25 0. 2 Контроль Больные 1 0. 15 0. 1 0. 05 0 Пороговое значение Признак - маркер 0 0. 5 1 1 - SP Оптимальный выбор порога: выбирается точка на ROC-кривой, которая ближе всех к левому верхнему углу (0, 1), т. е.
Форма ROC-кривых 1 q Маркер не работает SE 0 1 - SP 1 1 q q Идеальный маркер 1 -ый тест лучше, чем 2 -ой SE SE
AUC – интегральный показатель прогностической эффективности маркера 1 AUC - это площадь под ROC-кривой (Area Under Curve) SE AUC = Вероятность того, что значение признака-маркера у случайно выбранного больше, чем у случайно выбранного здорового AUC 0 1 - SP 1 AUC 0. 5 Случайный классификатор 0. 5 -0. 6 Плохой классификатор 0. 6 -0. 7 Средний классификатор 0. 7 -0. 8 Хороший классификатор >0. 8 Отличный классификатор U=N 1·N 2·AUC - непараметрический критерий Манна-Уитни
Вычисления при ROC-анализе Значения признака-маркера 3 2 1 0 Контроль Больные
Вычисления при ROC-анализе
Все делается в Excel: Интервал 0 -0. 25 -0. 5 -0. 75 -1 1 -1. 25 -1. 5 -1. 75 -2 2 -2. 25 -2. 5 -2. 75 -3 3 -3. 25 Контроль # Доля 22 0. 22 14 0. 14 19 0. 19 11 0. 11 7 0. 07 5 0. 05 0 0 0 Больные # Доля 0 0 3 0. 03 9 0. 09 15 0. 15 11 0. 11 15 0. 15 16 0. 16 10 0. 10 11 0. 11 5 0. 05 3 0. 03 2 0. 02 0 0 SE SP 0. 88 0. 58
Все делается в Excel: Интервал 0 -0. 25 -0. 5 -0. 75 -1 1 -1. 25 -1. 5 -1. 75 -2 2 -2. 25 -2. 5 -2. 75 -3 3 -3. 25 Контроль # Доля 22 0. 22 14 0. 14 19 0. 19 11 0. 11 7 0. 07 5 0. 05 0 0 0 Больные # Доля 0 0 3 0. 03 9 0. 09 15 0. 15 11 0. 11 15 0. 15 16 0. 16 10 0. 10 11 0. 11 5 0. 05 3 0. 03 2 0. 02 0 0 SE SP 1 0, 97 0, 88 0, 73 0, 62 0, 47 0, 31 0, 21 0, 05 0, 02 0 0 0, 22 0, 44 0, 58 0, 77 0, 88 0, 95 1 1 1 1
Все делается в Excel: Интервал 0 -0. 25 -0. 5 -0. 75 -1 1 -1. 25 -1. 5 -1. 75 -2 2 -2. 25 -2. 5 -2. 75 -3 3 -3. 25 Контроль # Доля 22 0. 22 14 0. 14 19 0. 19 11 0. 11 7 0. 07 5 0. 05 0 0 0 Больные # Доля 0 0 3 0. 03 9 0. 09 15 0. 15 11 0. 11 15 0. 15 16 0. 16 10 0. 10 11 0. 11 5 0. 05 3 0. 03 2 0. 02 0 0 SE SP 1 0, 97 0, 88 0, 73 0, 62 0, 47 0, 31 0, 21 0, 05 0, 02 0 0 0, 22 0, 44 0, 58 0, 77 0, 88 0, 95 1 1 1 1 L(0, 1)
Все делается в Excel: Интервал 0 -0. 25 -0. 5 -0. 75 -1 1 -1. 25 -1. 5 -1. 75 -2 2 -2. 25 -2. 5 -2. 75 -3 3 -3. 25 Контроль # Доля 22 0. 22 14 0. 14 19 0. 19 11 0. 11 7 0. 07 5 0. 05 0 0 0 Больные # Доля 0 0 3 0. 03 9 0. 09 15 0. 15 11 0. 11 15 0. 15 16 0. 16 10 0. 10 11 0. 11 5 0. 05 3 0. 03 2 0. 02 0 0 SE SP L(0, 1) 1 0, 97 0, 88 0, 73 0, 62 0, 47 0, 31 0, 21 0, 05 0, 02 0 0 0, 22 0, 44 0, 58 0, 77 0, 88 0, 95 1 1 1 1 0, 780 0, 561 0, 437 0, 355 0, 398 0, 532 0, 690 0, 790 0, 900 0, 950 0, 980 1, 000 Наименьшее расстояние до точки (0, 1)
Все делается в Excel: Контроль Больные SE # Доля 1 0 -0. 25 22 0 0 Оптимальное пороговое 0. 25 -0. 5 22 значение 0. 22 3 0. 03 0, 97 0. 5 -0. 75 14 0. 14 9 0. 09 0, 88 0. 75 -1 19 0. 19 15 0, 73 1 -1. 25 11 0, 62 1. 25 -1. 5 7 0. 07 15 0, 47 При выборе этого порога, 1. 5 -1. 75 5 0. 05 16 0, 31 мы правильно идентифицируем 1. 75 -2 0 0 10 0, 21 73% больных и 77% здоровых 0, 1 2 -2. 25 0 0 11 0. 11 2. 25 -2. 5 0 0 5 0. 05 0, 05 2. 5 -2. 75 0 0 3 0. 03 0, 02 0 2. 75 -3 0 0 2 0. 02 3 -3. 25 0 0 0 Интервал SP L(0, 1) 0, 22 0, 44 0, 58 0, 77 0, 88 0, 95 1 1 1 1 0, 780 0, 561 0, 437 0, 355 0, 398 0, 532 0, 690 0, 790 0, 900 0, 950 0, 980 1, 000 Наименьшее расстояние до точки (0, 1)
Все делается в Excel: Интервал 0 -0. 25 -0. 5 -0. 75 -1 1 -1. 25 -1. 5 -1. 75 -2 2 -2. 25 -2. 5 -2. 75 -3 3 -3. 25 Контроль # Доля 22 0. 22 14 0. 14 19 0. 19 11 0. 11 7 0. 07 5 0. 05 0 0 AUC 0 0 0 0 Больные # Доля 0 0 3 0. 03 9 0. 09 15 0. 15 11 0. 11 15 0. 15 16 0. 16 10 0. 10 11 0. 11 5 0. 05 3 0. 03 2 0. 02 0 0 SE SP L(0, 1) AUC 1 0, 97 0, 88 0, 73 0, 62 0, 47 0, 31 0, 21 0, 05 0, 02 0 0 0, 22 0, 44 0, 58 0, 77 0, 88 0, 95 1 1 1 1 0, 780 0, 561 0, 437 0, 355 0, 398 0, 532 0, 690 0, 790 0, 900 0, 950 0, 980 1, 000 0, 220 0, 217 0, 130 0, 153 0, 072 0, 038 0, 020 0 0 0 0. 85 AUC =
Пример из радиационной генетики: Лаборатория экологической генетики ИОГен РАН
Частоты хромосомных аберраций в зависимости от генотипов по кандидататным генам у ликвидаторов аварии на ЧАЭС и в контроле Контроль : 98 курсантов Ликвидаторы : 84 человека Рутинный цитогенетический анализ Генотипирование по 20 генам репарации, оксидативного стресса и детоксикации ксенобиотиков
Частоты хромосомных аберраций в зависимости от генотипов по кандидататным генам у ликвидаторов аварии на ЧАЭС и в контроле Рисковый генотип: Детоксикация Оксидативный стресс, ксенобиотиков клеточный цикл Репарация ДНК минорные аллели в сайтах XPD и функциональные аллели генов GST Ген Ins/Del GSTT 1 Ликвидаторы : 84 человека Сайты GSTM 1 Контроль : 98 курсантов Ins/Del T 3801 C CYP 1 A 1 T 606 G A 4889 G CYP 1 B 1 G 1294 C Ассоциации с частотами аберраций для обеих выборок CYP 2 D 6 A 1934 G 1 Сайты C 589 T G 1996 A XPD T 2251 G (ERCC 2) G 862 A G 262 T ERCC 1 T 354 C APEX 1 T 444 G XRCC 1 RAD 23 B SOD 2 C 47 T CAT T 21 A GCLC C 129 T MTHFR C 677 T Tp 53 C 977 G ATM Сайты C 746 T OGG 1 Ген G 5557 A G 1947 A NAT 2 0 A 313 G COMT Частоты хромосомных аберраций 0 1 2 GSTP 1 Ген G 590 A 2 0 1 2 3 4 G 215 C
Распределения частот аберраций хромосомного типа Что можно считать повышенным уровнем хромосомных аберраций? у ликвидаторов и в контрольной группе 70 Контроль (96) Ликвидаторы (83) 80 60 SE, % р = 3, 7 10 -14 60 по тесту Манна-Уитни 50 Частота, % 100 0, 0021± 0, 0003 0, 0071± 0, 0006 ROC-кривая 40 40 20 30 0 0 20 40 60 80 100 -SP, % 20 10 0 0 -0. 0025 -0. 005 -0. 0075 -0. 01 -0. 0125 -0. 015 -0. 0175 -0. 02 -0. 0225 0. 0035 Частота аберраций хромосомного типа Примем за граничное значение «повышенного уровня аберраций» 100
Частота «рискового генотипа» среди лиц с Частота рискового SE, % SP, % AUC OR P повышенным уровнем аберраций хромосомного типа генотипа, % Контроль 63. 5 Ликвидаторы 67. 5 Хотя бы один минорный аллель в сайтах XPD 90. 0 43. 4 0. 67 6. 9 0. 008 плюс хотя бы одна инсерция в GSTM 1 -GSTT 1 76. 6 63. 2 0. 70 5. 6 Что есть норма? Более половины из нас предрасположены к повышенной частоте аберраций хромосом! 0. 002
и еще раз напомню - не ORом единым! q Необходимо оценивать, чувствительность, относительный риск и прогностическую эффективность маркера (вычислять AUC ) q Хороший классификатор – это когда OR>5, а частота маркера не менее 30% q При OR<2. 5 маркер является заведомо плохим классификатором (AUC<0. 6 при любых частотах заболевания и маркера) q Редкие мутации - малоэффективные классификаторы. Если частота маркера мала (p. M<0. 2 p. D ), то прогностическая эффективность теста крайне низка даже при OR>>1 q Не надо думать про OR, что относительный риск. Оцените RR как OR/(1 -p. D+p. D OR) q Если вы используете маркер, частота встречаемости которого равна p. M, то чувствительность теста не превышает p. M OR, а специфичность теста скорей всего будет равна 1 -p. M
Скачать презентацию Прогностическая эффективность биомаркеров Рубанович А В Институт общей
833456feafe300e3ec4bc6ddc43c9783.ppt