ИНТЕГРИРОВАННАЯ ИНФОРМАЦИОННАЯ СИСТЕМАТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ М. В. Энгель, В. В. Белов Институт оптики атмосферы им. В. Е. Зуева СО РАН Новороссийск, 21 -26 сентября 2015
Center for International Earth Science Information Network National Oak Ridge Snow and Ice Data National Laboratory Center Marshall Space Flight Center Goddard Space Flight Center Langley Jet Propulsion Research Laboratory Center EROS Data Center Alaska Satellite Facility EOSDIS Data Warehouse ЦКН ИКИ РАН Росавиакосмос НИЦ "Планета" ИСЗФ РАН Системы архивации и долговременного хранения спутниковых данных ИСДМ Рослесхоз Динамический каталог данных НЦ ОМЗ Технология GEOSMIS Cервис ВЕГА НИЦ «Планета» : Европейский, Сибирский и Дальневосточный РЦПОДы 2
Интеграция распределенных данных на примере информационной системы атмосферной коррекции спутниковых изображений
Типы данных о состоянии атмосферы 1. Среднеклиматические и региональные метео- и оптические модели; 2. данные радиозондирования; 3. наземные данные об аэрозоле и влагосодержании: AERONET, AEROSib. NET; 4. прогностические данные: вертикальные профили температуры и влажности атмосферы; 5. спутниковые данные об оптико−метеорологических параметрах атмосферы: MODIS/EOS Условия использования данных при атмосферной коррекции: üточностные характеристики; üдостаточное пространственное и временное разрешение; üналичие сетевых ресурсов MODIS/EOS 4
ОПТИКО-МЕТЕОРОЛОГИЧЕСКАЯ ИНФОРМАЦИЯ Требования к источникам данных об атмосфере o Наличие метаданных для описания данных. o Использование унифицированного формата для записи данных. o Доступ к данным по стандартным сетевым протоколам. Возможные источники метеоданных o The Level 1 and Atmosphere Archive and Distribution System, Goddard Space Flight Center, NASA LAADS Web [http: //ladsweb. nascom. nasa. gov/] o Электронные архивы ИОА СО РАН o Электронные архивы ЦКП ДДЗ СО РАН ü ü Спутниковые данные: тематические продукты MODIS (HDF) облачная маска; параметры аэрозоля; параметры облачности; профили температуры и водяного пара. Прогностические модели (GRIB) 5
Функциональная модель информационной системы атмосферной коррекции спутниковых данных
НАСТРОЙКА ДАННЫХ НА РАБОТУ С АЛГОРИТМАМИ ОБРАБОТКИ Спутниковые данные: тематические продукты MODIS (формат HDF) Прогностические модели: профили температуры и влажности (формат GRIB)
Ожидание ввода задания Задание введено Проверка наличия нового задания q 0 Задание есть Определение ключей для поиска метеоданных q 1 q 2 Поиск спутниковых метеоданных в локальных источниках Данные найдены Поиск спутниковых метеоданных в удаленных источниках Поиск прогностических метеоданных в локальных источниках Данные не найдены Копирование метеоданных в рабочую папку q 3 Проверка релевантности спутниковых метеоданных Аварийное завершение q 4 q 7 Данные не релевантные Данные релевантные Проведение расчета Диаграмма состояний системы Определение маски для поиска прогностических данных Определение маски для поиска спутниковых данных Передача результатов расчета пользователю q 5 Нормальное завершение q 6 8
База данных üПризнаки состояний üПараметры расчета üИнфологическая структура данных üСлужебная информация Общий Объект Управления Системой Параметры инфологической структуры метеоданных: URL Тип данных Приоритет Сетевой протокол Параметры авторизации 9
Оценка релевантности спутниковой оптикометеорологической информации Имя файла: ESDT. AYYYYDDD. HHMM. CCC. YYYYDDDHHMMSS. hdf ESDT — имя продукта (MOD /Terra, MYD /Aqua) Метаданные: имя файла типа (Mx. D 03); MODIS/AQUA MODIS/TERRA MODIS/AQUA + – начало измерений; MODIS/TERRA – + номер коллекции; ASTER/ TERRA – + географические координаты; LANDSAT + + NOAA + + угловые значения. 10
Метод автоматической оценки релевантности спутниковой информации MODIS Получение файлов Mx. D 07_L 2 Профили температуры и влажности Восстановление температуры поверхности (канал 31) Качество хорошее Значения радиационной температуры Восстановление температуры поверхности (канал 32) Сравнение температур (ΔТs) [ΔТs>1 K] [ΔТs< =1 K] Запись состояния в БД Качество неудовлетворительное 11
Диаграмма деятельности системы Задание параметров расчета Определение ключей для поиска данных Задание типа информации (спутниковая, прогностическ ая) Обработка метаданных Задание географически х и временных параметров Определение маски файла Получение данных Определение источника данных (локальный, удаленный) Получени е файлов с данными [данные получен не получены] ы] Аварийно е завершен ие Расчеты Определение релевантност и спутниковых метеоданных [не релева нтные] [релева нтные] Расчет атмосферных поправок Предоставление результатов Формирован ие директории с результатами расчетов Предоставле ние доступа к результатам по ftpпротоколу Формировани е сообщения пользователю Нормальн ое завершен ие 12
Программная реализация системы Интерфейс к распределенным данным Обработка метаданных Оценка релевантности спутниковых данных Подготовка и проведение расчета Почтовый сервер АОУ 0 АОУ 1 АОУ 2 Интерфейс БД БД АОУ 3 АОУ 4 13
«устройство» : web-сервер {ОС Линукс} {web-сервер=apache} {framework=Django} http/ LAN «среда выполнения» : БД {СУБД Postgre. SQL} «устройство» : компьютер пользователя : данные пользователя : параметры задания «среда выполнения» : браузер «среда выполнения» : почтовый клиент «устройство» : сервер БД {ОС Линукс} : состояния http/ Internet : служебные данные «устройство» : сервер приложения {ОС Линукс} {сценарии=Python} Программа АОУ 0 Inter net ftp/Internet Daemon_Process_0. py «устройство» : сервер приложения {ОС Линукс} {сценарии=Python} Программа АОУ 0 Программа АОУ 1 Daemon_Process_1. py «среда выполнения» : файловая система «устройство» : почтовый сервер {ОС Линукс} {email сервер=smpt} {сценарии=Python} Программа АОУ 4 Daemon_Process_4. py ftp/Internet «устройство» : файловый сервер {ОС Линукс} «среда выполнения» : файловая система : папки с результатами расчетов «среда выполнения» : ftp-сервер : папки с результатами расчетов «устройство» : сервер приложения {ОС Линукс} {сценарии=Python} Программа Программы АОУ 0 АОУ 2, АОУ 3 Daemon_Process_2. py Daemon_Process_3. py Modtran. exe Диаграмма развертывания 14
Используемые программные технологии Трехуровневая архитектура Linux WEB-сервер (Приложения среднего звена) Клиент 1 (браузер) Клиент 2 (браузер) Сервер БД (Управление данными) Python Django C++ и FORTRAN Postgre. SQL MODTRAN Клиент n (браузер) 15
Перспективы Расширение диапазона спектральных каналов для проведения атмосферной коррекции; расширение типов оптико-метеорологической информации (спутниковая система VIIRS/ NPP); добавление алгоритмов тематической обработки данных ДЗЗ. 16
Заключение В ИОА СО РАН на основе использования автоматной модели и инфологической схемы данных создан прототип интегрированной информационной системы тематической обработки данных ДЗЗ. На первом этапе разработки в системе реализован алгоритм расчета корректирующих атмосферных поправок. В качестве распределенных источников оптико-метеорологической информации рассматриваются ресурс LAADS Web, а также распределенная инфраструктура ЦКП ДЗЗ СО РАН и электронные архивы спутниковых данных ИОА СО РАН. Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 15 -07 -06811 А. 17
Благодарю за внимание! 18
Математическая модель спутниковых измерений Lλ=B(λ, Tλ) = ↑ ↑ ↓ ↓ ελB(λ, Ts) Pλ+L TRM +L SOL+ rλ(L TRM +L SOL) Lλ – интенсивность восходящего излучения (эквивалентна радиационной температуре Tλ); Pλ – функция пропускания атмосферы; L↑TRM – интенсивность собственного теплового излучения атмосферы; L↑SOL– интенсивность: рассеянное аэрозолем (облачностью) солнечное излучение; L↓TRM, L↓SOL – интенсивности падающих на поверхность потоков теплового излучения атмосферы и солнечного излучения; B(λ, TS) – функция Планка; ελ – излучательная способность поверхности; rλ=1–ελ – коэффициент отражения поверхности. Чандрасекар С. Перенос лучистой энергии. – М. : Изд-во иностр. лит. , 19
Схема атмосферной коррекции Информация о метеорологическом и оптическом состоянии атмосферы Измеренная прибором интенсивность излучения, LS Излучательная способность поверхности, ελ ΔICOR(x, y) = LATM+LRFL+LSCT+LADJ Модель переноса излучения Искажающие характеристики LATM , LRFL , LSCT , LADJ , Pλ Атмосферная коррекция Bλ[TSRF]=(Lλ–ΔICOR)/(Pλ ελS ) Bλ[TSRF]→TSRF(x, y) Температура поверхности Земли (TSRF) Радиационная модель (MODTRAN) Информация о состоянии атмосферы 20
Автоматная модель системы φ z 1 φ a q q 0 z 6 Z={A, B, Q, φ, } a q q 5 a 1 a 6 q 6 b 6 a 1 q 7 b 7 a 6 q 7 b 6 a 1 z 1 q 1 b 1 q 7 b 8 z 2 z 3 z 4 z 5 z 6
Скачать презентацию ИНТЕГРИРОВАННАЯ ИНФОРМАЦИОННАЯ СИСТЕМАТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ
854ef939606244b1321a1d07dd9654fd.ppt