Российские ресурсы астрономических данных и их интеграция в

Российские ресурсы астрономических данных и их интеграция в структуру Международной виртуальной обсерватории Д. А. Ковалева, О. Б. Длужневская Институт астрономии РАН RCDL'2011, Воронеж, 19 -22. 10. 11

Содержание • Российская виртуальная обсерватория в структуре МВО • Российские ресурсы астрономических данных – Общая характеристика – Тематика • Интеграция российских ресурсов в структуру МВО – Регистрация в реестре ВАО – Избранные российские астрономические ресурсы – Оцифровка архивов • Заключение RCDL'2011, Воронеж, 19 -22. 10. 11

Виртуальная обсерватория • Инструмент повышения эффективности использования астрономических данных: – Расширение числа пользователей путем предоставления свободного доступа к данным в виртуальной среде; – Инструменты ВО берут на себя трудоемкую, отнимающую много времени черновую работу. • Как новые, так и ранее полученные данные RCDL'2011, Воронеж, 19 -22. 10. 11

Виртуальная обсерватория включает в себя • астрономические данные (в виде архивов космических и наземных телескопов, каталогов, баз данных); • средства поиска, доступа к данным и их обработки; • научные приложения результатов работы с данными. RCDL'2011, Воронеж, 19 -22. 10. 11

www. ivoa. net RCDL'2011, Воронеж, 19 -22. 10. 11

Разработчики стандартов объединены в Рабочих группах Альянса • Задача групп: выработка стандартов для описания астрономических данных, объектов, процессов, программной архитектуры • Пример стандартов: формат данных (VOTable), описания метаданных ресурсов (Resource Metadata), модель данных для одномерных спектров (Spectrum Data Model) , язык запросов к данным (ADQL), протоколы доступа к спектрам и изображениям (SIAP, SSAP), и пр. • Документы и стандарты IVOA: http: //www. ivoa. net/Documents/ RCDL'2011, Воронеж, 19 -22. 10. 11

Создавая ВО: направления работы • • • Разработка стандартов и протоколов, их международное согласование. Создание и предоставление ресурсов данных. Создание «соединяющих» компонентов: портал, реестр, виртуальное хранилище и пр. Создание механизмов для научной обработки данных. Установка и сопровождение реестров ресурсов и систем поддержки пользователей. • Альянс МВО • Национальные узлы ВО RCDL'2011, Воронеж, 19 -22. 10. 11

Российская виртуальная обсерватория (РВО) В декабре 2001 года НСА РАН внес Проект РВО в числе важнейших международных проектов РАН. Координаторами Проекта являются ИНАСАН, САО РАН, ГАИШ и ИПИ РАН. Участники Проекта – рабочие группы ряда астрономических учреждений. Российская виртуальная обсерватория является открытым проектом, и любое сотрудничество с другими учреждениями приветствуется RCDL'2011, Воронеж, 19 -22. 10. 11

Активно действующие Рабочие группы РВО Данные РВО Руководитель О. Ю. Малков, ИНАСАН Архивы наблюдательных данных Руководитель О. П. Желенкова, САО РАН Технологии информационной инфраструктуры Руководитель Л. А. Калиниченко, ИПИ РАН Разработка сервисов РВО Руководитель О. С. Бартунов, ГАИШ База стеклянных библиотек российских астрономических обсерваторий и поддержка ОКПЗ Руководитель Н. Н. Самусь, ИНАСАН, ГАИШ База стеклянных библиотек Звенигородской обсерватории Руководитель С. В. Верещагин, ИНАСАН RCDL'2011, Воронеж, 19 -22. 10. 11

Рабочая группа Данные РВО на базе Центра астрономических данных ИНАСАН • Обеспечить российских астрономов удобным доступом к мировым астрономическим ресурсам. – Зеркалирование популярных зарубежных ресурсов данных. • Объединить российские астрономические данные и интегрировать их в международную виртуальную обсерваторию. – Создание списка основных российских астрономических Интернет ресурсов. Создание реестра. – Оцифровка архивов астронегативов ( «стеклянных библиотек» ) RCDL'2011, Воронеж, 19 -22. 10. 11

Зеркала ADS (Astrophysics Data System) – крупнейшая астрономическая электронная библиотека, объединяющая 4 библиографические базы данных (астрономия и науки о планетах, физика и геофизика, космические инструменты, астрон. препринты). Около 3. 6 млн. записей. Vizie. R – наиболее полная база данных астрономических каталогов и таблиц данных. В настоящее время содержит около 7000 каталогов, также включает в себя каталоги, доступные по FTP, и словарь обозначений небесных объектов. VALD – Венская база данных атомных линий, объем данных 6 Gb. Оригинал в Австрии; зеркала: США, Швеция, Германия RCDL'2011, Воронеж, 19 -22. 10. 11

Ресурсы в МВО • «Ресурс» в ВО – общий термин: элемент ВО, предоставленный пользователю провайдером. • Необходимо: название, уникальный идентификатор, кто его поддерживает или курирует. • Примеры: – коллекция данных или метаданных – приложение – сервис доступа –… RCDL'2011, Воронеж, 19 -22. 10. 11

Российские ресурсы астрономических данных • Ресурсы, содержащие оригинальные астрономические данные • Созданные российскими исследователями или с их участием • Размещенные на сайтах российских астрономических учреждений http: //www. inasan. ru/eng/rvo/rus_res. html RCDL'2011, Воронеж, 19 -22. 10. 11

РРАД: 2002 -2011 RCDL'2011, Воронеж, 19 -22. 10. 11

РРАД: динамика зависит от тематики RCDL'2011, Воронеж, 19 -22. 10. 11

РРАД: обновляемость зависит от тематики RCDL'2011, Воронеж, 19 -22. 10. 11

РРАД: уровни внутренней организации 1. Набор разнородных данных, часто, но не обязательно объединенных общей тематикой. 2. Таблица данных (каталог). 3. База данных с выраженной внутренней структурой, но без поискового интерфейса. 4. База данных с поисковым интерфейсом, часто с возможностью дополнительных сервисов. RCDL'2011, Воронеж, 19 -22. 10. 11

РРАД: уровень 1. Наборы данных • Чаще всего: на личных веб страницах сотрудников учреждений, – • • • хотя можно встретить и на страницах отделов и, в некоторых случаях, на уровне веб страниц учреждения. Как правило: результаты наблюдений и(или) исследований сотрудника или группы сотрудников в определенной области или в определенный промежуток времени, без каких-либо обобщений. Редко обновляются. Относятся к относительно небольшому количеству объектов или явлений (до нескольких десятков), и не являются объемными. В количественном отношении - около 15% списка. Редко представляют результаты мирового уровня, имеющие явную научную ценность для астрономического сообщества. RCDL'2011, Воронеж, 19 -22. 10. 11

РРАД: уровень 2. Каталоги • Каталоги, подготовленные в формате CDS и нередко (хотя не всегда!) имеющие номер CDS (уже в системе ВО). • Таблицы в свободном формате • Четкая одномерная организация • Возможность ftp-доступа (другие виды доступа возможны, но не всегда). • Количество объектов: от небольшого (несколько десятков) до весьма значительного (миллионы). • Занимаемый объем: в общем, пропорционален числу объектов и, за исключением самых массовых каталогов, невелик. • В структуре обсуждаемого списка РРАД: до 30%. RCDL'2011, Воронеж, 19 -22. 10. 11

РРАД: уровень 3 и 4. Базы данных 3. Без поискового интерфейса 4. С поисковым интерфейсом • Чаще небольшое количество объектов (до сотен) • Созданы раньше, обновляются реже • До 15% списка • Чаще большое количество объектов Ежедневные наблюдения Солнца на РАТАН-600, САО РАН Каталог пульсаров, ФТИ им. Иоффе http: //www. sai. msu. ru/neb/nss/index. htm • Чаще современные и(или) обновляемые • Более 25% списка http: //www. ioffe. ru/astro 1/psr-catalog/Catalog. php Служба естественных спутников планет, ГАИШ МГУ http: //www. sai. msu. ru/neb/nss/index. htm Система астрометрических баз данных, ГАО РАН (Пулково) http: //www. puldb. ru/index. php RCDL'2011, Воронеж, 19 -22. 10. 11

РРАД: еще варианты ресурсов • • Он-лайн сервисы: информация о текущем состоянии объекта или явления, и(или) прогнозы (Солнце, солнечно-земные связи, космические лучи): частая обновляемость (от 10 минут до суток). В некоторых случаях эти сервисы комбинированы с базами данных с развитым интерфейсом, но существуют и самостоятельно • Около 5% Пакет AMPLE (Adaptable Ephemeris for Minor Planets), ИПА РАН • Около 5% http: //www. ipa. nw. ru/PAGE/DEPFUND/LSBSS/rusample. htm http: //www. izmiran. ru/services/saf/ Астрономические ресурсы, подлежащие скачиванию и установке на компьютере пользователя (как базы данных с интегрированными сервисами, так и сервисные пакеты с интегрированными базами данных) Прогноз солнечной активности, ИЗМИРАН RCDL'2011, Воронеж, 19 -22. 10. 11

Проблема (временной? ) недоступности ресурсов • Поддержка списка 150 -200 независимых РАД: – Около 5% недоступны (при условии регулярных обновлений списка!) • Случайные сбои • Обновления сайтов • Изменение структуры и интернет-адресов РАД – Проблема курирования • Прекращение поддержки РАД - Проблема сохранности данных RCDL'2011, Воронеж, 19 -22. 10. 11

Интеграция РРАД в систему МВО • Регистрация РРАД в реестре ВАО (НВО), США • Создание ВО-совместимых интегрирующих ресурсов • Размещение в CDS российских каталогов (интеграция в систему доступа к каталогам Vizie. R) • Оцифровка и создание баз данных астронегативов RCDL'2011, Воронеж, 1922. 10. 11

Поиск ресурсов в МВО: Реестры ресурсов (Registries) • Реестры МВО: позволяют Пользователям и их приложениям находить коллекции данных и метаданных и сервисы на уровне Ресурсов. – Registry. Interface (компоненты search/harvesting): оба определяются стандартным Web Service Description Language + harvesting: поддерживается OAI-PMH протоколом RCDL'2011, Воронеж, 19 -22. 10. 11

Интеграция ресурсов в МВО: Реестры ресурсов (Registries) – Resource. Metadata — метаданные описания ресурсов (два уровня регистрации, в согласии с Dublin. Core стандартом): • • – • «поверхностный» - информирование пользователя ВО о наличии ресурса и его содержании в целом (Identifier, Name, Curation, Content, …) Более глубокое «включение» ресурса: данные о содержании ресурса, специфические для этого Resource. Type Примерно от 20 до 40 параметров для каждого ресурса Пока около 40 РРАД зарегистрировано вручную Реестр NVO/VAO (США) http: //nvo. ncsa. uiuc. edu/stsci/nvoregistration. html + зарегистрированы автоматически (каталоги CDS) в реестрах МВО: ? 50 - 70 ? RCDL'2011, Воронеж, 19 -22. 10. 11

Избранные РРАД мирового уровня • Объединенный каталог переменных звезд (ИНАСАН + ГАИШ МГУ) • CATS (CAtalogue Support System) (САО РАН) • Каталог рассеянных скоплений ГАИШ (ГАИШ МГУ) • База данных о двойных звездах (БДБ) (Обсерватория Безансона, Франция, + ИНАСАН) RCDL'2011, Воронеж, 1922. 10. 11

Объединенный каталог переменных звезд http: //www. sai. msu. su/gcvs/ • • • Содержит данные обо всех известных переменных звездах (свыше 70 тысяч объектов), постоянно пополняется. Является наиболее полной и авторитетной базой данных для астрономических объектов этого типа. Поддержка различных видов доступа, возможность поиска по параметрам. Один из наиболее востребованных специализированных астрономических ресурсов. Обработка астрофотографий → открытие новых переменных звезд. RCDL'2011, Воронеж, 1922. 10. 11

CATS – CAtalogue Support System http: //www. sao. ru/cats/ • • • Система поддержки астрофизических каталогов (радио данные). Все крупные (>1000 записей) каталоги радиоисточников (в том числе каталоги наблюдений на РАТАН-600). Программы для работы с каталогами. > 1 млн записей из > 400 каталогов. Поддерживается несколько способов доступа, включая веб-интерфейс. Ежедневно около 1500 обращений к системе (по информации авторов). RCDL'2011, Воронеж, 1922. 10. 11

Каталог рассеянных скоплений ГАИШ http: //ocl. sai. msu. ru/ • Крупнейший каталог новых рассеянных скоплений (около 170). • Создан с помощью средств ВО и в согласии со стандартами ВО. • Представлены средства для получения новых научных результатов из данных каталога (+ данные ВО) в режиме on-line. RCDL'2011, Воронеж, 1922. 10. 11

База данных о двойных звездах (БДБ, наследует Besancon Database of Binaries) ранее http: //bdb. obs-besancon. fr/ сейчас в ИНАСАН: тестовый режим • • База данных о двойных и кратных звездах всех наблюдательных типов. Интеграция и обеспечение доступа к данным обо всех типах двойных звезд. Каталоги двойных звезд различных типов включаются в БДБ, с базами данных устанавливаются связи. Еще одно средство интеграции в том числе РРАД о двойных звездах в систему МВО. RCDL'2011, Воронеж, 1922. 10. 11

Итоги • Цель ВО: повышение эффективности использования астрономических данных. • Рабочая группа Данные РВО поддерживает список российских ресурсов астрономических данных (около 150 ресурсов): http: //www. inasan. ru/eng/rvo/rus_res. html • Поддерживаются различные направления интеграции РРАД в систему МВО: – – регистрация ресурсов в ВО-реестре; представление каталогов в CDS; создание ВО-совместимых интегрирующих ресурсов; оцифровка архивов астронегативов. • IVOA: http: //www. ivoa. net • RVO: http: //www. inasan. ru/rus/rvo RCDL'2011, Воронеж, 19 -22. 10. 11

Спасибо! RCDL'2011, Воронеж, 19 -22. 10. 11

Web Site: http: //www. skyarchive. org RCDL'2011, Воронеж, 1922. 10. 11

Финансирование • МВО: $25 миллионов на первые 10 лет • Subaru (один из крупнейших наземных телескопов, 8. 3 м): $377 миллионов (наблюдательная ночь на таком телескопе стоит около $50 тысяч) • Galileo (14 -летняя миссия к Юпитеру, закончилась 21 сентября 2003): $1. 5 миллиарда • HST (крупнейший космический телескоп): $7. 5 миллиардов на период 1989 -2010 RCDL'2011, Воронеж, 1922. 10. 11

Changing funding scenario (IVOA has no funds of its own) Project 2007 Ar. VO Astro. Grid BRAVO China VO ► ▼ ▲ ▲ ▲ ESA ▼ ESO ▼ Euro-VO France-VO GAVO JVO NVO → VAO ▼ ► ► ▼ ▲ RVO ► SVO VObs. it ▲ ▼ funding 35 K$ 10 K$ 400 K$ 75 K$ 2010 FTE 5 5 4 10 (3 staff) 6 funding 66 K$ 800 k$ 400 K$ 6. 5 (3 Euro. VO) 240 K€ 56 M¥ 2. 5 M$ (peak) 24 K€ ~ 15 4 265 K€ 6 32 M¥ 15 5. 5 M$ (peak) (average, assigned) end FTE 6 yearly? ops. guaranteed 2009 10 2012 7 10→ 12 yearly? (4→ 5 staff) 2. 5 (+ publishing) 4. 5 (2 Euro. VO) 2011 ~ 15 yearly? 4 2011 6 25 2015 (average, estim. ) 5 30 K€ 5 yearly (permanent) 380 K€ 5 475 K€ 10 2011 315 K€ 12. 7 270 K€ 11. 4 yearly 125 INAF + 190 (7. 7 permanent) 145 RCDL'2011, Воронеж, 19 - INAF + 125 (6. 4 permanent) Euro-VO EU 22. 10. 11

Выбор языка программирования • • • Выбор языка программирования Python, СУБД Postgre. SQL (веб сервер Apache, ОС UNIX) для модернизации БДБ и реализации веб-интерфейса и обслуживающих программ обусловлен их кросс-платформенностью, высокой степенью функциональности и наличием серьезного задела, а также тем, что указанные средства являются свободно распространяемыми. Несвободное программное обеспечение не рассматривалось, так как его сложно протестировать в полном объеме до покупки, оно гораздо менее распространено и отлажено, чем его свободные аналоги, а также оно может содержать программные “закладки” или уязвимости в безопасности, обнаружение которых затруднено ввиду отсутствия доступа к исходным кодам. Основными требованиями при выборе программного обеспечения являлись: 1. Расширяемость (возможность добавления новой функциональности без существенных изменений в уже написанном коде). 2. Переносимость (возможность запускать приложение на различных программных и аппаратных платформах без изменения исходного кода, что позволяет незаметно для пользователей переносить код на более мощные серверы, по мере возникновения такой необходимости). 3. Масштабируемость (возможность увеличивать производительность приложения за счет увеличения числа серверов, на котором оно выполняется). 4. Устойчивость к сбоям (гарантия от потерь важных данных в случае сбоев аппаратных и программных компонентов). SQLite является достаточно простой системой СУБД, поддерживающей, тем не менее, транзакции и подзапросы SQL, что делает ее идеальной платформой для отладки кода. Postgre. SQL является достаточно мощной и надежной системой, также поддерживающей практически полностью язык запросов SQL, что послужило причиной выбора ее в качестве основной рабочей СУБД проекта. Распространенная программная платформа PHP была отвергнута на основании плохой совместимости между ее различными версиями и наличия большого количества открытых уязвимостей безопасности. Язык Python менее требователен к ресурсам, чем Perl. При этом для него существует множество библиотек, облегчающих разработку web-приложений. Синтаксис Python достаточно прост и позволяет писать очень хорошо структурированные программы. Наиболее интересной особенностью Python является наличие особой среды разработки Nagare (nagare. org), позволяющей резко упростить и ускорить создание веб-приложений. Дополнительным преимуществом Python является возможность использования объектно-ориентированных библиотек для доступа к базам данных. RCDL'2011, Воронеж, 19 -22. 10. 11

• the Cone. Search is performed using Q 3 C with Postgre. SQL. SDSS $85 mln • Large Synoptic Survey Telescope (LSST) in Cerro Pachón, Chile 2019 30 Тб за ночь $450 млн 8. 4 м • Galaxy Zoo project • VAO instead of NVO: $27, 5 mln RCDL'2011, Воронеж, 1922. 10. 11