Применение распределенных вычислительных систем при определении параметров сейсмической

Применение распределенных вычислительных систем при определении параметров сейсмической анизотропии коры и верхней мантии к. т. н. Мишин Дмитрий Юрьевич Геофизический центр РАН, Институт космических исследований РАН

Современные проблемы хранения и доступа к геофизическим данным • Повторяющиеся задачи создания (сверхбольших) баз данных для новых геофизических продуктов • Необходимость обеспечения скорости доступа, достаточной для интерактивного анализа любой выборки из массива геофизических данных • Данные не должны удаляться или перезаписываться. Флаги: происхождение и история изменения, аккредитация, качество, тип • Многоуровневые распределенные хранилища метаданных (предметный каталог, пространственно-временное распределение, автоматический заказ и обработка) • Функционально насыщенные сервисы данных, поддерживающие выборку, обработку и поиск данных, расположенные близко к хранилищу данных

Современные проблемы хранения и доступа к геофизическим данным (2) • Обобщенные семантически модель данных и отвечающий ей язык запросов для разнородных наборов геофизических данных (классы данных: наблюденные и модельные данные на станциях, на координатных сетках, траекториях; электронные карты, изображения и данные дистанционного зондирования) • Распределенные алгоритмы для балансировки загрузки сети/баз данных • Сценарий обработки геофизических данных: экспорт – моделирование – визуализация – сохранение. Опорные веб-сервисы базовых сертифицированных наборов геофизических данных и моделей • Интеграция с сервисами электронных карт MS Virtual Earth, Google Maps, WMS и научными визуализационными библиотеками

Развитие компьютерного хранения и обработки данных

Грид: «Грид (Grid) - это согласованная, открытая и стандартизованная среда, которая обеспечивает гибкое, безопасное, скоординированное разделение ресурсов в рамках виртуальной организации. » (Я. Фостер, К. Кессельман) • Инфраструктура: каналы связи, вычислительные центры и центры данных • Промежуточное программное обеспечение: виртуальная среда для запуска задач, компоненты мониторинга, хранилища данных, компоненты передачи данных, система безопасности с поддержкой виртуальных организаций • Набор соглашений между научными центрами о распределении ресурсов

Участие в EGEE III (Enabling Grids for E-scienc. E) • В настоящее время в проекте EGEE участвуют 90 ведущих организаций из 32 стран, включая российский сегмент RDIG • Российская национальная виртуальная организация для Наук о Земле – e. Earth, в которую входят ГЦ РАН, ИФЗ РАН, ИКИ РАН • Совместные работы с европейской виртуальной организацией по наукам о Земле ESR (Earth Science Research), в которую входят ведущие геофизические и климатологические научные центры • Перенос сейсмологических моделей на промежуточное программное обеспечение Грид g. Lite • Разработка приложений для добычи данных об окружающей среде, основанных на среде OGSA-DAI, распределенном CDM хранилище Active. Storage для временных рядов и ESSEпоисковике событий в терминах нечеткой логики

Сервисы информационных моделей и потоков данных в Грид REST и SOAP Шаблоны запросов Метаданные. Виртуальная обсерватория OGSA-DAI Грид-сервисы и анализ данных JDBC, Файлы, сервисы Активное хранилище и другие источники Net. CDF и Nc. ML §WMS, WCS § Virtual Earth §Google Earth §Nasa World Wind KML и tile серверы Сейсмические, погодные, космические модели

Интеграция источников данных по окружающей среде в Грид Мировые центры данных: SPIDR (Space Physics Interactive Data Archive) С 1815 года по н. в. ~120 параметров, ~0. 5 TB Космическая погода NOAA CLASS (Comprehensive Large Array-data Stewardship System) Спутниковые снимки, ~1. 2 PB, растет ~0. 5 PB в год С 1992 года по н. в. Спутниковые снимки ~100 спектральных каналов Дистанционное зондирование Спутниковая телеметрия NOAA и ECMWF NCEP/NCAR реанализ погоды, ~1 TB ERA 40 реанализ погоды, ~2 TB С 1957 года по н. в. Погодные параметры на регулярном гриде, шаг 1 градус NWS прогноз погоды С 1950 года по н. в. Погодные параметры на регулярном гриде, шаг 2. 5 градуса Климатические данные Погодные параметры на регулярном гриде, шаг 1 градус NCDC Метеорологические наблюдения С 1901 года по н. в. , 122 GB база данных, 400 GB файлов 30 миллионов сенсоров, 1. 7 миллиарда наблюдений, 20000 станций Мировые центры данных: Электронные карты Геология и разломы, сейсмические каталоги, топография и батиметрия Сотни слоев, ~0. 5 TB Твердая Земля

Виртуальная Обсерватория – информационный метаресурс Виртуальная обсерватория – приложение для научных информационных метаресурсов, объединяющее в себе метаданные о существующих данных, Интернет-ресурсах и программных средствах, используемых в одной предметной области Пользователь ВО может получить представление о происходящем в предметной области, о новостях, разрабатываемом программном обеспечении, о новых и архивных данных, об открывшихся и давно существующих ресурсах, произвести сквозной текстовый поиск, или поиск по координатам или времени, получив информацию даже о самых малоизвестных ресурсах, удовлетворяющих условиям поиска

Виртуальная обсерватория система работы с XML метаданными • Vx. Oware – ПО с открытым исходным кодом (src@sourceforge) • Ключевые компоненты: 1) Web-приложение; 2) REST сервисы; 3) native XML база данных; 4) Хранилище индексированных объектов (документы, изображения, …) • XML: поддержка catalog-level схем метаданных: FGDC, ECHO, SPASE, NGDC, Ordering Extensions • Распределенный поиск метаданных в федерации ВО через REST сервисы • Web 2. 0 функции для совместной работы: вебредактирование, отношения, tagging, ranking, пользовательские комментарии, и т. д.

Проблема хранения пространственновременных геофизических данных Общая модель данных (Common Data Model) – это структура для хранения значений параметра в различные моменты времени на регулярном гриде, в указанных координатах (точки или станции) или пространственновременных траекториях. Взрыв индексного пространства My. SQL базы данных, 1998 -2007 Активное хранилище для Common Data Model, MS SQL Server 2 TB климатических данных, 2008 -2009

Преимущества CDM Модель данных в виде многомерного массива, чаще используемая в геофизике, чем связанные реляционные таблицы Обобщает разнообразие схем реляционных баз данных для хранения массивов Поддерживает стандартные конвенции и форматы хранения данных Легкость трансформации в бинарный формат (Net. CDF), XML (Nc. ML) и обратно Совместимость с API, библиотеками и программами для чтения и визуализации Net. CDF Предоставляет язык запроса и обработки многомерных данных, сравнимый с SQL

Скорость доступа к данным с использованием Грид-сервиса при различной геометрии запроса

Архитектура Грид-сервисов геофизических данных

Определение анизотропных сейсмических свойств литосферы и верхней мантии на основе инверсии волновых форм поперечных волн. Анизотропные параметры определяются по двум группам данных: волновым формам SKS и обменных волн. Среда под станцией моделируется пачкой плоских слоёв на полупространстве. Моделирование проводилось на синтетических примерах и реальных данных (Тянь-Шань). Целевые функции обменных волн (RF) и волн SKS определяются как среднеквадратичное отклонение наблюдений (obs) от соответствующих расчетов (syn) для вектора модели m.

Определение анизотропных сейсмических свойств литосферы и верхней мантии на основе инверсии волновых форм поперечных волн. Благодаря использованию Грид, решена обратная геофизическая задача путем исследования всего пространства параметров многомерной целевой функции. Была реализована процедура нахождения и исследования глобального экстремума целевой функции, проведен анализ согласованности различных групп данных и проведена геофизическая интерпретация результатов моделирования. Функции распределения по азимутам для станций

Запуск параллельных сейсмических задач в среде Condor Использование среды управления параллельными вычислениями Condor позволяет использовать преимущества Грид-среды на стандартных клиентских компьютерах под управлением MS Windows