Разработка прототипа программного обеспечения распределенной высокопроизводительной интеллектуальной аналитической системы поддержки принятия клинических решений для многомасштабной эндоскопической диагностики и хирургии "Умный эндоскоп" Руководитель исследования: Кадушников Радий Михайлович, канд. физ. -мат. Наук, директор ООО «СИАМС» Организация: ООО «СИАМС» Информационно-телекоммуникационные системы
Цели и задачи исследования Цель исследования: повышение качества диагностики онкологических заболеваний желудка и толстой кишки на ранних стадиях за счет увеличения эффективности применения находящегося в эксплуатации эндоскопического оборудования с помощью интеллектуального программного обеспечения Задачи исследования: 1. Разработка алгоритмов обработки эндоскопических статистического анализа результатов изображений и 2. Создание высокопроизводительного аппаратно-программного комплекса (АПК) для анализа видеоизображений в режиме реального времени. 3. Проектирование распределенной архитектуры для обучения нейросети и последующего распознавания видеоизображений, полученных с АПК <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 2
Актуальность исследования • Задача ранней диагностики рака • Высокий уровень требований к квалификации врача-эндоскописта • Необходимость поддержки принятия решений в ходе эндоскопического исследования Результаты исследования 1. Разработан метод анализа серии видеоизображений микроструктуры капилляров и желез, получаемых с помощью эндоскопии высокого разрешения при обследовании желудка 2. Разработан высокопроизводительный аппаратно-программный комплекс (АПК) по анализу видеоизображений с эндоскопа в реальном режиме времени 3. Разработана распределенная архитектура для обучения нейросети и последующего распознавания видеоизображений, полученных из АПК <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 3
Описание исследования Объект исследования - желудочно-кишечный тракт (ЖКТ), который рассматривается на трех различных масштабных уровнях 1) макромасштаб – геометрия ЖКТ; 2) мезомасштаб – 3 d-рельеф стенок ЖКТ; 3) микромасштаб – микроструктура сосудистого и железистого рисунков стенок ЖКТ Особенности системы наблюдения за объектом а) проблема фокусировки; б) зависимость изображения капиллярного и железистого рисунков от расстояния между камерой эндоскопа и стенкой ЖКТ, а также от угла наклона камеры в) наличие артефактов на изображении с камеры; г) эффект смазанности изображения. Основные положения • Неоплазия представляет собой кластер измененных фрагментов микроструктуры. • Изменение микроструктуры характеризуется отклонениями геометрических характеристик капилляров и желез относительно друга. • Обучающую выборку необходимо формировать из фрагментов изображений, в пределах которых микроструктура капилляров и желез является относительно однородной. • Для анализа необходимо ввести вычисляемую характеристику микроструктуры относительный коэффициент изменений. <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 4
Описание исследования 1. Разработка метода анализа серии видеоизображений микроструктуры капилляров и желез, получаемых с помощью эндоскопии высокого разрешения при обследовании желудка 1 -й этап: Выделение микроструктуры капиллярного и железистого рисунка и расчет параметров в реальном режиме времени Выделение области интереса по яркости и градиенту <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 Выделение желез и капилляров методом адаптивной сегментации Построение скелетной модели Построение карты толщин 5
Описание исследования 2 -й этап: Расчет “Локального критерия” 1. C 1 - отношение средней толщины желез к средней толщине капилляров 2. C 2 – среднеквадратичное отклонение толщины желез 3. C 3 – среднее значение относительного перепада интенсивности в секущих профилях желез (размытость) 4. C 4 – доля одноузловых кластеров; С 5 – доля двух-узловых кластеров (стержневидные); С 6 – доля много-узловых кластеров 5. С 7 – ветвистость мозаики pi – весовой коэффициент, Вi={0, 1} Относительный коэффициент изменений слизистой оболочки желудка Ka [0 – 0, 25) [0, 25 – 0, 5) [0, 5 -0, 75) [0, 75 – 1] Дескрипторы D 1=N 1/N D 2=N 2/N D 3=N 3/N D 4=N 4/N D 4* = (D 1, D 2, D 3, D 4) – четырехмерный дескриптор ячейки <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 6
Описание исследования Зона риска 3 -й этап: Расчет “Интегрального критерия” Условие Наименование зоны C 1 ≥ C 1 t Ключевая ячейка C 2 ≥ C 2 t и C 1>C 1 d Смежная ячейка C 3 ≥ C 3 t и C 1>C 1 d Смежная ячейка 1. Ks – относительный коэффициент изменений 5 -й этап: Расчет параметров для всего изображения Ключевая ячейка Соседняя ячейка 2. С 8 – количество областей с превышением пороговых значений характеристик 3. С 9 – количество ячеек в наибольшей области 4. С 10 – значение Ks для наибольшей области D 10 = (C 1, C 2, ……C 10) – десятимерный дескриптор эндоскопического изображения <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 7
Описание исследования Интегральный критерий Рак Норма Локальный критерий <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 8
Описание исследования 2. Разработка АПК, предназначенного для анализа микроструктуры слизистой оболочки желудка АПК предназначен для анализа микроструктуры слизистой оболочки желудка и толстой кишки по видеоизображениям, полученным методом узкоспектральной эндоскопии высокого разрешения, выявления/распознавания мельчайших изменений и поражений на раннем этапе, а также их последующего классифицирования В режиме реального времени производится локализация областей микроструктуры слизистой оболочки, отличающихся от нормы. Зоны c измененной микроструктурой лоцируются на видеоизображении путем разметки кадров <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 9
Описание исследования Возможности комплекса «Умный эндоскоп» üАнализ видеопотока в режиме реального времени и в режиме отложенной обработки; üВыбор и сохранение стоп-кадров с результатами анализа, распознавания и классифицирования; üФормирование строки состояния представляющей собой гистограмму, каждый столбец которой соответствует кадру на изображении; üНавигация по видеофайлу - возможность переключаться на участки, признанные наиболее опасными; üАрхивация результатов анализа <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 10
Описание исследования 3. Разработка распределенной архитектуры для обучения нейросети и последующего распознавания видеоизображений, полученных из АПК Распределенная архитектура системы распознвания эндоскопических изображений на основе нейросети Обучение Сервер веб-атласа http: //endoscopy. siams. com Сбор данных Высоко-производительные программно-аппаратные комплексы <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 Результат распознавания Запрос на распознавание Нейросеть 11
Описание исследования Метод обучения нейросети 1. Загрузка эндоскопических изображений в атлас (в т. ч. автоматическая) 2. Разметка (переразметка) изображений врачамиэндоскопистами 3. Описание изображений врачами-эндоскопистами 4. Подготовка фрагментов эндоскопических изображений 4 типов (рис. ): a. отсутствие неоплазии, регулярный рисунок b. отсутствие неоплазии, нерегулярный рисунок c. неоплазия, регулярный рисунок d. неоплазия, нерегулярный рисунок 5. Подготовка вспомогательных фрагментов изображений: фон (bg), размытие и блики (bloor), кровь (blood) 6. Обучение нейросети (30000 фрагментов в исходной обучающей выборке) 7. Разметка эндоскопического изображения с помощью нейросети (рис. e) <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 12
Описание исследования Верификация метода по точности Верно определена неоплазия Метод верификации: 1. Подготовка выборки изображений 2 классов: 200 неоплазия, 300 отсутствие неоплазии 2. Построение интегрального дескриптора по каждому изображению 3. Построение модели с помощью метода опорных векторов (SVM) с кроссвалидацией 4. Визуализация результатов классификации в пространстве главных компонент (PCA) Верно определено отсутствие неоплазии Неверно определена неоплазия Неверно определено отсутствие неоплазии <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 13
Результаты исследования Результаты 1. Метод анализа видеоизображений микроструктуры слизистой оболочки желудка и толстой кишки, получаемых с помощью эндоскопии высокого разрешении. Точность метода – 93%. 2. Высокопроизводительный аппаратно-программный комплекс (АПК) для анализа видеоизображений с эндоскопа в реальном режиме времени 3. Распределенная архитектура для обучения нейросети и последующего распознавания видеоизображений, полученных из АПК может использоваться в рамах учебного процесса при подготовке и повышении квалификации врачей-эндоскопистов, для анализа архивов видеоизображений с целью оценки качества принятых ранее диагностических решений. После внесения в Государственный реестр медицинских изделий АПК будет применяться как дополнительное оборудование совместно с эндоскопом. <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 14
Спасибо за внимание! Докладчик: Студенок Сергей Игоревич, ведущий специалист, к. ф. -м. н. , studenok@siams. com Исследование выполнено в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014 -2020 годы» по приоритетному направлению «Информационно-телекоммуникационные системы» в рамках мероприятия 1. 2 Программы Результаты исследования представлены на стенде <номер стенда> <Номер соглашения> 14. 576. 21. 0018 от 27. 06. 2014 15
Скачать презентацию Разработка прототипа программного обеспечения распределенной высокопроизводительной интеллектуальной аналитической
579bfed09c62918c9d18bf0adac92c48.ppt