Enabling Grids for E-scienc E Информационная система в

Enabling Grids for E-scienc. E Информационная система в g. Lite Новодворский Е. Г. Олешко С. Б. Петербургский институт ядерной физики г. Гатчина www. eu-egee. org EGEE-II INFSO-RI-031688

Службы g. Lite(реализовано) Enabling Grids for E-scienc. E CLI API Доступ Авторизация Аутентификация Службы Безопасности Каталог Метаданных файлов и реплик Storage Element Перемещение данных Управление данными EGEE-II INFSO-RI-031688 Информация и Мониторинг Службы информации и мониторинга Обнаружения Computing Element Управление загрузкой Службы управления заданиями EGEE tutorial, 15. 02. 2007 2

Информационная Система (ИС) g. Lite Enabling Grids for E-scienc. E В распределенной среде важна возможность получать информацию о доступных в данный момент ресурсах. Эта информация может включать: сайты (CE) • какие сайты способны выполнить данное задание, • как загружены сайты, • какое ПО установлено на них. данные мониторирования процесса выполнения задания сайты (SE), предоставляющие возможности для хранения данных, включая • их статус, • максимальный размер • число файлов, которые могут быть сохранены. EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 3

Использование ИС Enabling Grids for E-scienc. E Разработчик может Пользователь может Получать информацию о Грид-ресурсах и их статусе Получать информацию о статусе вашего задания Workload Management System: Сопоставлять запросы задания и доступные Грид-ресурсы Monitoring Services: Получает информацию о Грид-ресурсах и их доступности Менеджер сайта или сервиса “Генерирует” информацию относительно вашего сайта или сервиса EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 4

ИС в g. Lite 3. 0 Enabling Grids for E-scienc. E В g. Lite используются 2 основных ИС: Monitoring and Discovery Service (MDS) для – сохранения информации о ресурсах – публикации их статуса. Эта ИС пришла из Globus Toolkit и используется вместе с Berkley Database Information Indexes (BDII) Relational Grid Monitoring Architecture (R-GMA) для – сбора – мониторирования – публикации информации пользовательского уровня. EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 5

MDS Enabling Grids for E-scienc. E MDS использует представление данных в соответствии с GLUE(Grid Laboratory for a Uniform Environment) Schema (очень кратко) построена на основе LDAP (Light-weight Directory Access Protocol), GLUE решает вопросы интероперабельности специализированной базы данных, оптимизированной для чтения, поиска и программные компоненты разработанны так, чтобы быть частью Основные получения информации. базового middleware ГРИД каждого проекта. GLUE не требует сборки полной Доступ к ней открытый (insecure). системы middleware, а выбирает компоненты так, чтобы решить конкретные вопросы интероперабельности. • В LDAP используется иерархическая модель данных, представляющая элементы(entries), такие как, человек, компьютер, сервер и т. п. , и их атрибуты • Специальный атрибут – objectclass может быть определён для каждого элемента. Он определяет набор обязательных и необязательных атрибутов для этого элемента. EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 6

Структура данных LDAP Enabling Grids for E-scienc. E o = grid (корень DIT) ► Lightweight Directory Access Protocol: древовидная структура данных ►DIT (Directory Information Tree) c= US c=Switzerland c=Spain ►Путь от узла к корню DIT определяет встроенное уникальное имя ( DN): st = Geneva “id=pml, ou=IT, or=CERN, st=Geneva, c=Switzerland, o=grid” or = CERN ou = IT object. Class: person cn: Patricia M. L. phone: 5555666 office: 28 -r 019 EGEE-II INFSO-RI-031688 ou = EP id = pml id=gv EGEE tutorial, 15. 02. 2007 id=fd 7

Архитектура MDS сервиса Enabling Grids for E-scienc. E -- Иерархическая модель предоставления данных в информационной системе: GRIS GIIS BDII CE, SE (GIIS в настоящее время заменяется на BDII) -- Ресурсы описываются при помощи GLUE Schema. EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 8

Примеры GLUE Schema(I) Enabling Grids for E-scienc. E Атрибуты для CE ¤ Базовый Класс для CE (objectclass: Glue. CETop) : нет атрибутов ¤ CE (objectclass: Glue. CE) • Glue. CEUnique. ID: уникальный идентификатор CE • Glue. CEName: удобочитаемое имя сервиса ¤ CE Status (objectclass: Glue. CEState) • Glue. CEState. Running. Jobs: количество запущенных заданий • Glue. CEState. Waiting. Jobs: количество ждущих заданий • Glue. CEState. Total. Jobs: общее количество заданий (running + waiting) • Glue. CEState. Status: состояние очередей: • в очереди • работают • закрыты • …. . • Glue. CEState. Worst. Response. Time: наихудшее возможное время между представлением задания и началом его выполнения EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 9

Примеры GLUE Schema (II) Enabling Grids for E-scienc. E Атрибуты для SE ¤ Базовый класс (objectclass: Glue. SETop) : нет атрибутов ¤ Aрхитектура (objectclass: Glue. SLArchitecture) – Glue. SLArchitecture. Type: тип оборудования (диск, ленты, …. ) ¤ Протокол доступа (objectclass: Glue. SEAccess. Protocol) – Glue. SEAccess. Protocol. Type: тип протокола доступа или передачи файлов – Glue. SEAccess. Protocol. Port: номер порта – Glue. SEAccess. Protocol. Version: версия протокола – Glue. SEAccess. Protocol. Access. Time: время доступа к файлу по этому протоколуl EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 10

Примеры GLUE Schema (III) Enabling Grids for E-scienc. E Смешанные атрибуты ¤ Связь между CE и одним или более SE (objectclass: Glue. CESEBind. Group) – Glue. CESEBind. Group. CEUnique. ID: уникальный ID для CE – Glue. CESEBind. Group. SEUnique. ID: уникальный ID для SE EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 11

LDAP Enabling Grids for E-scienc. E • Поддерживается специальный язык запросов, который может быть использован для получения информации из ИС (ldapsearch) • Запрос определяет способ передачи и формат сообщений, используемых клиентом для доступа • LDAP может использоваться, как протокол доступа для большого числа баз данных EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 12

Модели данных Enabling Grids for E-scienc. E Иерархическая – структура типа дерево; потомок имеет только одного родителя. легко разделяется (partitions); легко отображается на физические устройства. BDII, LDAP Реляционная – набор таблиц; Язык запросов (SQL) эффективный, широко распостраненный R-GMA EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 13

Недостатки LDAP Enabling Grids for E-scienc. E LDAP не поддерживает агрегатные запросы на различные объекты • запрос основывается только на атрибутах объекта. • MDS не позволяет приложениям добавлять свои собственные данные • относительно статичное описание данных для публикации схема EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 14

R-GMA Enabling Grids for E-scienc. E R-GMA: Relation Grid Monitoring Architecture § Динамические данные о заданиях § Использует реляционную модель данных, которая очень гибкая и позволяет строить сложные запросы – – Данные представляются в виде таблиц. Структура данных определяется по колонкам. Каждая запись есть строка (tuple). Язык запросов - Structured Query Language (SQL). § Поддерживает различные типы запросов: – streams – archives – latest-value § R-GMA обеспечивает средства для любого, кто хочет опубликовать свою информацию о Грид. В принципе он может выполнять функции MDS. EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 15

Enabling Grids for E-scienc. E Мониторинг Грид EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 16

Системы мониторинга Enabling Grids for E-scienc. E http: //rocmon. jinr. ru: 8080/ Cистема учета использования ресурсов для LCG-сайтов РДИГ. Доступна статистика по: выполненным на сайтах задачам от различных виртуальных организаций затраченному процессорному времени средним значениям использованной физической памяти времени нахождения задач в очереди. EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 17

Мониторинг РДИГ Enabling Grids for E-scienc. E http: //rocmon. jinr. ru: 8080/ EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 18

Мониторинг Грид Enabling Grids for E-scienc. E http: //goc. grid. sinica. edu. tw/gstat/ Информационное состояние системы EGEE, отслеживаемое Грид операционным центром в Тайбее. Частота обновления информации – 5 минут EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 19

Грид операционный центр Enabling Grids for E-scienc. E http: //goc. grid. sinica. edu. tw/gst at/ EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 20

Грид операционный центр (ПИЯФ) Enabling Grids for E-scienc. E http: //goc. grid. sinica. edu. tw/gst at/ EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 21

Мониторинг Грид Enabling Grids for E-scienc. E http: //gridportal. hep. ph. ic. ac. uk/rtm/applet. html Java апплет, отображающий real-time прохождение задач в LCG EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 22

Real-time мониторинг Enabling Grids for E-scienc. E http: //gridportal. hep. ph. ic. ac. uk/rtm/applet. html EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 23

Мониторинг Грид Enabling Grids for E-scienc. E http: //goc 02. gridsupport. ac. uk/googlemaps/lcg. html Результаты прохождения ежедневных SFT тестов из Операционного Центра в ЦЕРН. EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 24

Результаты SFT тестов Enabling Grids for E-scienc. E http: //goc 02. grid-support. ac. uk/googlemaps/lcg. html EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 25

Мониторинг Грид Enabling Grids for E-scienc. E http: //cluster. pnpi. nw. ru/ Мониторинг загрузки кластера ПИЯФ EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 26

http: //cluster. pnpi. nw. ru/ Enabling Grids for E-scienc. E EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 27

Enabling Grids for E-scienc. E Спасибо за внимание EGEE-II INFSO-RI-031688 EGEE tutorial, 15. 02. 2007 28