Скачать презентацию Enabling Grids for E-scienc E Информационная система Бережная Скачать презентацию Enabling Grids for E-scienc E Информационная система Бережная

40a81f45814015688b06164771fe1dfe.ppt

  • Количество слайдов: 22

Enabling Grids for E-scienc. E Информационная система Бережная А. , Котляр В. Институт физики Enabling Grids for E-scienc. E Информационная система Бережная А. , Котляр В. Институт физики высоких энергий г. Протвино www. eu-egee. org EGEE-II INFSO-RI-031688

Службы g. Lite Enabling Grids for E-scienc. E CLI API п Информация и Мониторинг Службы g. Lite Enabling Grids for E-scienc. E CLI API п Информация и Мониторинг Авторизация Аутентификация Службы Безопасности Каталог Метаданных файлов и реплик Storage Element Досту Перемещение данных Управление данными EGEE-II INFSO-RI-031688 Службы Обнаружения Службы информации и мониторинга Computing Element Управление загрузкой Службы управления заданиями EGEE Tutorial for grid users 30. 11. 2007 2

Информационная система (ИС) Enabling Grids for E-scienc. E • Что? – Система сбора информации Информационная система (ИС) Enabling Grids for E-scienc. E • Что? – Система сбора информации о состоянии ресурсов. • Зачем? – Для получения информации о Грид-ресурсах и их статусе. – Для получения информации о вашем задании. – Сопоставлять запросы задания и доступные Грид-ресурсы • Как? –Мониторинг и публикация новых данных относительно состояния ресурса –Известная/стандартная модель данных • Кто? – Пользователи, ищущие конкретный ресурс. – RB/WMS распределяющие и управляющие заданиями. – Другие сервисы мониторинга EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 3

Сервисы ИС Enabling Grids for E-scienc. E • Модель данный g. Lite основана на Сервисы ИС Enabling Grids for E-scienc. E • Модель данный g. Lite основана на Grid Laboratory Uniform Environment (GLUE) Schema • В g. Lite используются 2 основных ИС : – Berkeley DB Information Index (BDII) § § Сбора информации сохранения информации о ресурсах публикации их статуса. построена на основе LDAP (Light-weight Directory Access Protocol), специализированной базы данных, оптимизированной для чтения, поиска и получения информации. – Relational Grid Monitoring Architecture (R-GMA) для § § § сбора мониторирования публикации информации пользовательского уровня. EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 4

GLUE Schema Enabling Grids for E-scienc. E • Описывает информацию Грид-ресурсов, сохраненную в ИС GLUE Schema Enabling Grids for E-scienc. E • Описывает информацию Грид-ресурсов, сохраненную в ИС • Основные программные компоненты разработанны так, чтобы быть частью базового middleware ГРИД каждого проекта. • GLUE не требует сборки полной системы middleware, а выбирает компоненты так, чтобы решить конкретные вопросы интероперабельности • Существующая версия отображена в –LDAP –XML –Class. Ad (Condor Matchmaking language) EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 5

Структура GLUE Schema Enabling Grids for E-scienc. E Основные объекты Site +Unique. ID: string Структура GLUE Schema Enabling Grids for E-scienc. E Основные объекты Site +Unique. ID: string +Name: string +Description: string +Email. Contact: string +User. Support. Contact: string +Sys. Admin. Contact: string +. . . * Service +Unique. ID: string +Name: string +Type: service. Type_t +Version: string +Endpoint: uri +. . . * * Storage Element Computing Element +Unique. ID: string +Name: string +Architecture: SEArch_t +Size. Total: int 32 +Size. Free: int 32 +Information. Service. URL: string +Port: int 32 +. . . +Unique. ID: string +Name: string +Implementation. Name: CEIm pl_t +Info. LRMSType: lrms_t +Info. LRMSVersion: string +Info. GRAMVersion: string +. . . * Service data +Key: string +Value: string EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 6

Примеры GLUE Schema(I) Enabling Grids for E-scienc. E Атрибуты для CE ¤ Базовый Класс Примеры GLUE Schema(I) Enabling Grids for E-scienc. E Атрибуты для CE ¤ Базовый Класс для CE (objectclass: Glue. CETop) : нет атрибутов ¤ CE (objectclass: Glue. CE) • Glue. CEUnique. ID: уникальный идентификатор CE • Glue. CEName: удобочитаемое имя сервиса ¤ CE Status (objectclass: Glue. CEState) • Glue. CEState. Running. Jobs: количество запущенных заданий • Glue. CEState. Waiting. Jobs: количество ждущих заданий • Glue. CEState. Total. Jobs: общее количество заданий (running + waiting) • Glue. CEState. Status: состояние очередей: • в очереди • работают • закрыты • …. . • Glue. CEState. Worst. Response. Time: наихудшее возможное время между представлением задания и началом его выполнения EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 7

Примеры GLUE Schema (II) Enabling Grids for E-scienc. E Атрибуты для SE ¤ Базовый Примеры GLUE Schema (II) Enabling Grids for E-scienc. E Атрибуты для SE ¤ Базовый класс (objectclass: Glue. SETop) : нет атрибутов ¤ Aрхитектура (objectclass: Glue. SLArchitecture) – Glue. SLArchitecture. Type: тип оборудования (диск, ленты, …. ) ¤ Протокол доступа (objectclass: Glue. SEAccess. Protocol) – Glue. SEAccess. Protocol. Type: тип протокола доступа или передачи файлов – Glue. SEAccess. Protocol. Port: номер порта – Glue. SEAccess. Protocol. Version: версия протокола – Glue. SEAccess. Protocol. Access. Time: время доступа к файлу по этому протоколуl EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 8

Примеры GLUE Schema (III) Enabling Grids for E-scienc. E Смешанные атрибуты ¤ Связь между Примеры GLUE Schema (III) Enabling Grids for E-scienc. E Смешанные атрибуты ¤ Связь между CE и одним или более SE (objectclass: Glue. CESEBind. Group) – Glue. CESEBind. Group. CEUnique. ID: уникальный ID для CE – Glue. CESEBind. Group. SEUnique. ID: уникальный ID для SE EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 9

GRISs, Site-BDII и BDII Enabling Grids for E-scienc. E http: //www. XXX. org/index. conf GRISs, Site-BDII и BDII Enabling Grids for E-scienc. E http: //www. XXX. org/index. conf Top BDII Information Index Top Level Site 3 Site 2 Site-BDII Site 1 GIIS CE GRIS SE GRIS MON GRIS Site N Site-BDII GIIS CE GRIS SE GRIS MON GRIS WMS GRIS LFC GRIS FTS GRIS Resource Level EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 10

GRISs, Site-BDII и BDII Enabling Grids for E-scienc. E • Resource level: Grid Resource GRISs, Site-BDII и BDII Enabling Grids for E-scienc. E • Resource level: Grid Resource Information Server (GRIS) – GRIS запущен на каждом CE, SE, RB, My. Proxy, etc. . – Plugins собирают статическую и динамическую информацию об определенном ресурсе и делают ее доступной, чтобы быть опубликованной GRIS. • Site level: Grid Index Information Server (GIIS) – Собирает информацию со всех GRIS's сайта. – Сохраняет эту информацию на Berkeley DB. – Делает ее доступной для Top level Information Index. – Называется site BDII. • Top level: Berkeley DB Information Index (BDII) – Собирает информацию со всех GIIS's. – Сохраняет эту информацию Berkeley DB. – Опрашивает только сайты, которые определены в файле конфигурации (доступны через http). EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 11

LDAP Enabling Grids for E-scienc. E • Поддерживается специальный язык запросов, который может быть LDAP Enabling Grids for E-scienc. E • Поддерживается специальный язык запросов, который может быть использован для получения информации из ИС (ldapsearch) • Запрос определяет способ передачи и формат сообщений, используемых клиентом для доступа • LDAP может использоваться, как протокол доступа для большого числа баз данных EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 12

Структура данных LDAP Enabling Grids for E-scienc. E o = grid (корень DIT) ► Структура данных LDAP Enabling Grids for E-scienc. E o = grid (корень DIT) ► Lightweight Directory Access Protocol: древовидная структура данных ►DIT (Directory Information Tree) c= US c=Switzerland c=Spain ►Путь от узла к корню DIT определяет встроенное уникальное имя ( DN): st = Geneva “id=pml, ou=IT, or=CERN, st=Geneva, c=Switzerland, o=grid” or = CERN ou = IT object. Class: person cn: Patricia M. L. phone: 5555666 office: 28 -r 019 EGEE-II INFSO-RI-031688 id = pml ou = EP id=gv EGEE Tutorial for grid users 30. 11. 2007 id=fd 13

Недостатки LDAP Enabling Grids for E-scienc. E LDAP не поддерживает агрегатные запросы на различные Недостатки LDAP Enabling Grids for E-scienc. E LDAP не поддерживает агрегатные запросы на различные объекты • запрос основывается только на атрибутах объекта. • MDS не позволяет приложениям добавлять свои собственные данные • относительно статичное описание данных для публикации схема EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 14

R-GMA Enabling Grids for E-scienc. E R-GMA: Relation Grid Monitoring Architecture § Динамические данные R-GMA Enabling Grids for E-scienc. E R-GMA: Relation Grid Monitoring Architecture § Динамические данные о заданиях § Использует реляционную модель данных, которая очень гибкая и позволяет строить сложные запросы – – Данные представляются в виде таблиц. Структура данных определяется по колонкам. Каждая запись есть строка (tuple). Язык запросов - Structured Query Language (SQL). § Поддерживает различные типы запросов: – streams – archives – latest-value § R-GMA обеспечивает средства для любого, кто хочет опубликовать свою информацию о Грид. EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 15

Системы мониторинга Enabling Grids for E-scienc. E http: //rocmon. jinr. ru: 8080/ Cистема учета Системы мониторинга Enabling Grids for E-scienc. E http: //rocmon. jinr. ru: 8080/ Cистема учета использования ресурсов для LCG-сайтов РДИГ. Доступна статистика по: выполненным на сайтах задачам от различных виртуальных организаций затраченному процессорному времени средним значениям использованной физической памяти времени нахождения задач в очереди. EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 16

Мониторинг РДИГ Enabling Grids for E-scienc. E http: //rocmon. jinr. ru: 8080/ EGEE-II INFSO-RI-031688 Мониторинг РДИГ Enabling Grids for E-scienc. E http: //rocmon. jinr. ru: 8080/ EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 17

Мониторинг Грид Enabling Grids for E-scienc. E http: //goc. grid. sinica. edu. tw/gstat/ Информационное Мониторинг Грид Enabling Grids for E-scienc. E http: //goc. grid. sinica. edu. tw/gstat/ Информационное состояние системы EGEE, отслеживаемое Грид операционным центром в Тайбее. Частота обновления информации – 5 минут EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 18

Грид операционный центр Enabling Grids for E-scienc. E http: //goc. grid. sinica. edu. tw/gst Грид операционный центр Enabling Grids for E-scienc. E http: //goc. grid. sinica. edu. tw/gst at/ EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 19

Мониторинг Грид Enabling Grids for E-scienc. E http: //gridportal. hep. ph. ic. ac. uk/rtm/applet. Мониторинг Грид Enabling Grids for E-scienc. E http: //gridportal. hep. ph. ic. ac. uk/rtm/applet. html Java апплет, отображающий real-time прохождение задач в LCG EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 20

Real-time мониторинг Enabling Grids for E-scienc. E http: //gridportal. hep. ph. ic. ac. uk/rtm/applet. Real-time мониторинг Enabling Grids for E-scienc. E http: //gridportal. hep. ph. ic. ac. uk/rtm/applet. html EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 21

Enabling Grids for E-scienc. E Спасибо за внимание EGEE-II INFSO-RI-031688 EGEE Tutorial for grid Enabling Grids for E-scienc. E Спасибо за внимание EGEE-II INFSO-RI-031688 EGEE Tutorial for grid users 30. 11. 2007 22