Система автоматической верификации авиационных прогнозов САВАП Минск 2017

Система автоматической верификации авиационных прогнозов САВАП Минск, 2017 г. , Никитина Л. А. , отдел МО ЕС Ор. ВД, 1 ФГБУ «Авиаметтелеком Росгидромета

Развитие вопроса верификации TAF в РФ 2005, июль – создан «Центр верификации авиационных метеорологических прогнозов (ЦВАМП)» , занимающийся мониторингом ОРМЕТ данных и автоматизированной оценкой (верификацией) качества прогнозов TAF в РФ и странах СНГ (по запросу НГМС) В мае 2017 г. осуществлены мониторинг ОРМЕТ данных и верификация TAF: ü По 233 аэродромам РФ; ü по 23 аэродромам государств-участников СНГ: • Армения • Беларусь • Киргизия • Таджикистан • Узбекистан Данные ЦВАМП отправляются в авиаметподразделения ежемесячно окончании отчетного периода и выкладываются на сайт Авиаметтелекома. по 2

ЦВАМП – верификация TAF в РФ и СНГ Оценка основана на допустимых отклонениях прогностических величин от фактических ü Приложение 3 ИКАО Дополнение В «Точность прогнозов, желательная с точки зрения эксплуатанта» ü Приложение 1 к ФАП-60 «Предоставление метеорологической информации для обеспечения полетов воздушных судов» (РФ) 3

ЦВАМП – верификация TAF в РФ и СНГ 2016, март – совещание по обсуждению вопросов верификации прогнозов TAF. Принято решение о доработке методики СПО ЦВАМП (новая методика в тестовом режиме с марта 2017 г. ): Действующая методика 1. Оценка элементов прогноза: + или – 2. Группа ТЕМРО оценивается как альтернатива 3. Оценка проводится при значениях: – видимости менее 2000 м ЦВАМП – облачности менее 200 м (BKN и OVC) Уточненная методика 1. Оценка элементов прогноза: реальный % 2. Группа ТЕМРО оценивается согласно определения (не более 1 часа и не более 1/2 периода действия группы) 3. Оценка проводится при значениях: – видимости 3000 м и менее – облачности 300 м и менее (BKN, OVC и SCT) 4

Пороговые значения (допуски) 14 -ая сессия КАМ ВМО (Гонконг, февраль 2010) В документе «Оценка качества TAF, ориентированная на пользователя и прогнозиста» отмечено, что в Приложении 3 ИКАО существуют как: ü Допустимые отклонения прогностических величин от фактических (Дополнение В «Точность прогнозов, желательная с точки зрения эксплуатанта» ); ü Критерии для включения групп изменений и внесения коррективов в прогнозы TAF (Добавление 5 «Технические требования, касающиеся прогнозов» ). Точность прогнозов, желательная с точки зрения эксплуатанта (Дополнение В) Критерии для выпуска TAF AMD (Добавление 5) Направление ветра ± 20° ≥ 60° , при средней скорости ветра ≥ 5 м/с Скорость ветра ± 2, 5 м/с ≥ 5 м/с Видимость ± 200 м до 800 м, ± 30% от 800 м и до 10 км Переход через пороговые критерии: 150, 350, 600, 800, 1500, 3000, 5000 м Явления погоды Наличие/отсутствие осадков Категории явлений в зависимости от степени влияния на авиацию Высота нижней границы облаков ± 30 м до 300 м ± 30% от 300 м до 3000 м Переход через пороговые критерии: 30, 60, 150, 300, 450 м Элемент прогноза 5

Существующие системы верификации TAF q Точностная - основанная на учете допустимых отклонений прогностических величин от фактических (Приложение 1 к ФАП-60 и Дополнение В Приложения 3 ИКАО «Точность прогнозов, желательная с точки зрения эксплуатанта» ), используется только РФ и СНГ (схема ЦВАМП); q Категориальная - с учетом критериев для включения групп изменений и внесения коррективов в прогнозы TAF (Добавление 5 Приложения 3 ИКАО «Технические требования, касающиеся прогнозов» ), например, схемы МЕТ ALLIANCE (Австрия, Бельгия, Германия, Швейцария, Ирландия, Голландия), схемы Канады, Австралии и США; q Вероятностная – на основе таблиц вероятности и достоверности прогнозов, схема Мет. Офиса (Великобритания). Категориальные системы верификации наиболее распространены в мире по сравнению с другими, так как полетное планирование основано на учете пороговых значений (эксплуатационных минимумов). 6

Рекомендации ВМО для систем верификации Общие принципы для разработки систем верификации TAF, рекомендованные 14 сессией КАМ ВМО ü ориентированность на потребности пользователей и на принятие решений (эксплуатационные критерии), не основываясь только на стандартах провайдеров услуг; ü предоставление обратной связи для синоптика в отношении оправдываемости его прогнозов (верификация в режиме реального времени) для улучшения качества прогнозирования; ü возможность проведения прямого сопоставления показателей оправдываемости TAF для аэропортов с различными климатологическими показателями и в различных синоптических ситуациях; ü применение для определения точности прогноза критериев внесения групп изменений и выпуска коррективов прогнозов. (прогноз метеовеличины считается точным, когда в сравнении с наблюдаемым значением не требуется корректив прогностического значения согласно критериям в Добавлении 5 Приложение 3 ИКАО). 7

Дальнейшее развитие вопроса верификации TAF в РФ 2011, сентябрь – решение Коллегии Росгидромета по проработке вопросов о новых методических подходах к критериям определения качества прогнозов 2016, март – совещание по верификации прогнозов TAF одобрило методику САВАП и приняло решение о проведении опытной эксплуатации САВАП 8

Цели разработки САВАП q Мониторинг TAF, METAR, SPECI и верификация TAF в режиме реального времени по аэродромам РФ и других государств (по договоренности) для совершенствования методической работы; q Повышение качества прогнозирования и точности TAF, выявление сильных и слабых сторон прогнозов, автоматическое представление количественных показателей метеобеспечения; q Освобождение человеческих ресурсов от механической работы при осуществлении верификации и направление усилий на выполнение аналитической и методической работы; q Получение объективных результатов в режиме реального времени (авторизованный доступ к единому web-сайту), наглядность отображения «наблюдение-прогноз» ; q Соответствие схемы верификации рекомендациям ИКАО/ВМО (критерии оценки – эксплуатационные пороговые значения для принятия решений); q Объективная сравнительная оценка на национальном и международном уровне (единые эксплуатационные критерии и оценочные показатели). 9

За основу методики САВАП приняты ü Рекомендации ВМО для верификации прогнозов погоды, одобренные КАМ (14 сессия КАМ ВМО Гонконг, 2010) – документ ВМО-№ 1053, стр. 24 -25, «Более точная оценка TAF, ориентированная на пользователя и прогнозиста» http: //library. wmo. int/pmb_ged/1053_ru. pdf ü Рекомендации ИКАО по минимальному набору показателей качества метеообеспечения ПКМ и ключевых показателей эффективности прогнозов для национальных авиационных метеорологических служб (отчет METG/22 EANPG ICAO, Добавление D, 2012) ü Рекомендуемые и размещенные на учебном сайте ВМО «Принципы верификации TAF Гюнтера Марингера» (Mahringer G. , Terminal aerodrome forecast verification in Austro Control using time windows and ranges of forecast conditions, Meteorol. Appl. 15, 2008), http: //www. caem. wmo. int ü В качестве примера взята Система верификации TAF, реализуемая для участников МЕТ ALLIANCE (представленная на METG/18 EANPG ICAO) http: //austrocontrol. at 10

Принципы САВАП для TAF q Категориальная схема, основанная на критериях, установленных в целях выпуска TAF AMD, TREND, SPECI (Добавление 5 Приложение 3 ИКАО); q Исключение механических и синтактических ошибок, создание базы прогнозов с ошибками, вывод итогов верификации с отражением количества и процента ошибок, совершенных в процессе подготовки (распространения) прогнозов; q Онлайн верификация каждого прогноза в режиме реального времени; q Верификация проводится раздельно по следующим элементам погоды: Ø видимость Ø нижняя граница облачности Ø явления погоды Ø направление ветра Ø скорость ветра, включая порывы q Расчет оценочных показателей качества прогноза и работы прогнозиста для отдельных аэродромов за любой период времени (от одного прогноза до нескольких месяцев с возможностью выборки прогнозов). 11

Функциональная структура САВАП организована на принципах клиент-серверной модели и функционирует на основе Интернет-технологии. Взаимодействие с пользователями осуществляется через веб-интерфейс доступный в сети Интернет по адресу http: //www. meteocenter. ru/savap (Техническое обеспечение, рекомендуемое для эффективной работы с САВАП, включает в себя персональный компьютер с доступом в Интернет, организованный на рабочем месте синоптика АМЦ/АМСГ) 12

Функциональная структура САВАП состоит из следующих функциональных модулей: ü «Администрирование» - регистрация и настройка прав доступа пользователей к функциональным возможностям САВАП; ü «Верификация» - оперативная верификация в режиме реального времени каждого прогноза TAF по конкретному аэродрому; ü «Анализ» - расчет показателей качества метеорологического обеспечения (ПКМ) прогнозов по конкретному аэродрому за выбранный период времени. Пользователь САВАП может иметь один из статусов: Ø с возможностью выбора списка аэродромов филиала (организации) и распределения доступа к данным отдельных аэродромов филиала (организации) между своими пользователями (Администратор организации); Ø доступ только к данным конкретных аэродромов (статус Оператор организации). 13

Онлайн мониторинг в режиме реального времени Для каждого АМЦ/АМСГ предоставляется доступ к web-странице, где в режиме реального времени синоптик осуществляет мониторинг выпущенных им прогнозов, оперативно отслеживает прогнозы с допущенными ошибками и в кратчайшие сроки принимает меры для их устранения. 14

Онлайн верификация в режиме реального времени В разделе «Верификация» формируются таблицы верификации: ü для отдельного аэродрома ü для каждого дня ü для каждого TAF ü отдельно для элементов прогноза Таблицы онлайн верификации используются синоптиками для быстрой наглядной оценки каждого выпущенного им прогноза TAF в режиме реального времени. 15

Представление результатов САВАП В разделе «Анализ» производится расчет и предоставление количественных показателей качества метеообеспечения (точности прогнозов и качества работы прогнозиста) События► ▼Показатели <150 m <350 m <600 m <800 m <1500 m <3000 m <5000 m - 0, 130 0, 160 0, 200 0, 270 - 0, 090 0, 300 0, 760 0, 240 Условная вероятность событий, - когда они были спрогнозированы (повторяемость обнаружений), Р(ef) - 0, 640 0, 650 0, 250 0, 300 Условная вероятность событий - когда они не были прогнозированы (повторяемость пропусков), Р(em) - 0, 190 0, 120 0, 330 0, 430 Оправдываемость , с учетом пороговых значений, PC 1, 000 0, 800 0, 820 0, 350 0, 370 Погрешность (отклонение), BIAS - 0, 400 1, 080 2, 830 2, 260 Вероятность обнаружения, HR - 0, 250 0, 700 0, 690 Коэффициент пропусков, MS - 0, 750 0, 300 0, 310 Вероятность ложных тревог, FAR - 0, 360 0, 350 0, 750 0, 690 Критический индекс успешности, CSI - 0, 220 0, 510 0, 230 0, 270 Индекс мастерства Пирси, PSS - 0, 210 0, 570 0, 110 0, 080 Индекс мастерства Хайдке, HSS - 0, 270 0, 550 0, 080 0, 050 Повторяемость (вероятность) событий, P(E) Повторяемость прогнозирования событий, R(E) 16

Опытная эксплуатация САВАП 2017, февраль - распоряжение генерального директора ФГБУ «Авиаметтелеком Росгидромета» от 22. 02. 2017 г. № 3 «О проведении опытной эксплуатации системы автоматической верификации авиационных прогнозов (САВАП)» q I этап - с 1 марта по 1 мая 2017 г. участники: ФГБУ «Авиаметтелеком Росгидромета» и филиалы; q II этап - с 1 июля по 1 октября 2017 г. участники: Ø филиалы ФГБУ «Авиаметтелеком Росгидромета» , Ø ФГБУ «ГАМЦ Росгидромета» , Ø АМЦ/АМСГ гражданской авиации и УГМС, Ø метеорологические службы других государств (по договоренности). ü Методика САВАП ü Порядок проведения опытной эксплуатации ü Отчеты и акт о проведении опытной эксплуатации 17

Опытная эксплуатация САВАП (I этап) На рабочих местах организован специалистов к веб-ресурсу САВАП. постоянный авторизированный доступ В период 1 -го этапа опытной эксплуатации в оперативном режиме: ü велись журналы по опытной эксплуатации САВАП, в который заносились сведения о сбоях, ошибках и другие замечания по работе; ü осуществлялся мониторинг поступления прогнозов TAF (TAF AMD, TAF COR), сводок METAR (METAR COR) и SPECI (SPECI COR) по аэродрому(ам) в зоне ответственности; ü отслеживалось наличие механических ошибок в выпущенных прогнозах TAF; правильности использования в прогнозах TAF идентификаторов для исправления COR и корректива AMD; ü отслеживалось формирование таблиц верификации САВАП по каждому элементу прогноза, правильность занесения данных из TAF и METAR/SPECI в таблицы верификации; ü анализировалось соответствие (несоответствие) прогностических и фактических значений в таблицах верификации для выявления слабых сторон в прогнозировании ü анализировались оценочные показатели качества метеорологического обеспечения. Специалисты ФГБУ «Авиаметтелеком Росгидромета» оказывали поддержку участникам опытной эксплуатации (разъяснения и ответы на вопросы по электронной почте, телефону, Skype). 18

Результаты опытной эксплуатации q Положительные отзывы: ü режим реального времени, позволяющий оперативно отслеживать прогнозы с ошибками и в кратчайшие сроки принимать меры для их устранения; ü наглядность визуализации каждого прогноза для оперативного устранения допущенных несоответствий между прогнозируемыми и наблюдаемыми элементами погоды; ü полное и наглядное представление о качестве прогноза и мастерстве прогнозиста, быстрая визуальная оценка качества каждого прогноза; ü большое количества аналитического материала для методической работы, всесторонний и полноценный методический анализ не только качества прогнозов, но и работы синоптика. q Необходима доработка в части: ü форматно-логического контроля прогнозов (пропускается часть ошибок в прогнозах TAF); ü предоставления информации и итогов по предложениям специалистов с мест. 19

Опытная эксплуатация САВАП В связи с планируемым проведением II этапа опытной эксплуатации САВАП с 1 июля по 1 октября 2017 г. приглашаются для участия: Ø ФГБУ «ГАМЦ Росгидромета» , Ø АМЦ/АМСГ гражданской авиации и УГМС, Ø Авиационные метеорологические службы других государств. ü Методика САВАП ü Порядок проведения опытной эксплуатации Контакты ФГБУ «Авиаметтелеком Росгидромета» 20

Ссылки на интернет-ресурс САВАП aviamettelecom. ru meteocenter. ru Спасибо за внимание! 21