Enabling Grids for E-scienc. E Информационна система в g. Lite Пламена Ненкова ИПОИ - БАН www. eu-egee. org INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009
Услуги в g. Lite Enabling Grids for E-scienc. E CLI API Access Authorization Information & Monitoring Auditing Authentication Security Services Metadata Catalog File & Replica Catalog Storage Element Data Movement Application Monitoring Information & Monitoring Services Accounting Job Provenance Package Manager Connectivity Computing Element Workload Management Data Management Workload Mgmt Services INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 2
Информационна система Enabling Grids for E-scienc. E • Какво е? – Система за събиране на информация за състоянието на ресурсите • Защо? – За да открива ресурси в грид и техния статус – Да има полезна информация как се използват ресурсите за да се управлява натоварването ефективно – За да проверява наличността на ресурсите. • Как? – Мониторинг на състоянието на ресурсите локално и публикуване на актуални данни в Информационната система. – Приемане на даннов модел, който трябва да се използва от всички компоненти, които искат достъп до мониторираната информация – Използване на различни подходи за отчитане и съхранение на информацията INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 3
Информационна Система (ИС) g. Lite Enabling Grids for E-scienc. E В разпределена среда е важно да има възможност за получаване на информация за достъпните в момента ресурси. Тази информация може да включва: Изчислителни Елементи (Computing Element) • какви сайтове могат да изпълнят дадено задание • как са натоварени сайтовете • какви програмни пакети са инсталирани. данни от мониторинга – за процеса на изпълнение на заданията Елементи Памет (Storage Element) (предоставящи възможности за съхранение на данни) • техния статус • максималния размер • броя файлове, които могат да бъдат съхранени INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 4
Използване на ИС Enabling Grids for E-scienc. E Разработчикът може Потребителят може Да получи информация за Грид ресурсите и техния статус Да получи информация за статуса на заданието Workload Management System: Да съпоставя изискванията на заданията с наличните ресурси на грида Monitoring Services: Да извлича информация за състоянието и наличността на грид ресурсите Мениджър на сайт или услуга “Генерира” информацията отнасяща се за администрирания сайт или дадена услуга INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 5
Развитие Enabling Grids for E-scienc. E • Данните публикувани в Информационната Система (ИС) отговарят на схемата GLUE (Grid Laboratory for a Uniform Environment). Схемата GLUE цели да дефинира общ концептуален модел данни, който да се използва за Грид ресурси. • BDII (Berkeley DB Information Index), базиран на обновена версия на Услугата за мониторинг и откриване (Monitoring and Discovery Service - MDS) на Глобус е приета като основен провайдър на Информационната Услуга. • R-GMA (Relational Grid Monitoring Architecture) е другата реализирана информационна система INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 6
Модели данни Enabling Grids for E-scienc. E Йерархическа – структура тип дърво; Наследниците имат само един родител. Лесно се разделя (partitions); лесно се изобразява на физически устройства. BDII, LDAP Релационна – набор от таблици; Език за запитване (SQL) - ефективен, широко разпространен R-GMA INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 7
MDS Enabling Grids for E-scienc. E MDS Използва схемата GLUE(Grid Laboratory for a Uniform Environment) за представяне на данните Построена на основата на LDAP (Light-weight Directory Access Protocol) специализирана база данни, оптимизирана за четене, запитаване и получаване на информация. Достъпът до нея е открит (insecure). • В LDAP се използва йерархически модел на данните, представящи елементите (entries), такива като човек, компютър, сървър и т. н. и техните атрибути • Специален атрибут – objectclass може да бъде определен за всеки елемент. Той определя набора от задължителни и незадължителни атрибути за този елемент INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 8
Структура на данните в LDAP Enabling Grids for E-scienc. E o = grid (корень DIT) ► Lightweight Directory Access Protocol: дървовидна структура данни ►DIT (Directory Information Tree) c= US c=Switzerland c=Spain ►Пътят от възела към корена DIT изгражда уникалното име (DN): st = Geneva “id=pml, ou=IT, or=CERN, st=Geneva, c=Switzerland, o=grid” or = CERN ou = IT object. Class: person cn: Patricia M. L. phone: 5555666 office: 28 -r 019 id = pml ou = EP id=gv id=fd INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 9
The Glue Schema in EGEE/LCG: DIT Enabling Grids for E-scienc. E • Glue Schema – DIT for the Computer Resourc осигурява общ даннов модел за описание на Грид ресурсите http: //glueschema. forge. cnaf. infn. it/ DIT for the Storage Resources INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 10
Пример GLUE Schema(I) Enabling Grids for E-scienc. E Атрибути за CE ¤ Базов клас CE (objectclass: Glue. CETop) : няма атрибути ¤ CE (objectclass: Glue. CE) • Glue. CEUnique. ID: уникален идентификатор CE • Glue. CEName: име на услугата ¤ CE Status (objectclass: Glue. CEState) • Glue. CEState. Running. Jobs: брой на пуснатите задания • Glue. CEState. Waiting. Jobs: брой чакащи задания • Glue. CEState. Total. Jobs: общо количество на заданията (running + waiting) • Glue. CEState. Status: състояние: • чакащ • работещ • приключил • …. . • Glue. CEState. Worst. Response. Time: най-лощо възможно време между пускането на заданието и неговото изпълнение INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 11
Пример GLUE Schema (II) Enabling Grids for E-scienc. E Атрибути за SE ¤ Базов клас (objectclass: Glue. SETop) : няма атрибути ¤ Архитектура (objectclass: Glue. SLArchitecture) – Glue. SLArchitecture. Type: тип оборудването (диск, ленти, …. ) ¤ Протокол за достъп (objectclass: Glue. SEAccess. Protocol) – Glue. SEAccess. Protocol. Type: тип на протокола за достъп и предаване на данните – Glue. SEAccess. Protocol. Port: номер на порта – Glue. SEAccess. Protocol. Version: версия на протокола – Glue. SEAccess. Protocol. Access. Time: време за достъп до файла по този протокол INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 12
Архитектура на MDS услугата Enabling Grids for E-scienc. E -- Йерархически модел за представяне на данните в информационната система: GRIS GIIS BDII CE, SE (GIIS вече е заменен с BDII) -- Ресурсите се описват с помощта на GLUE Schema. INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 13
Преглед на упражненията Enabling Grids for E-scienc. E • BDII Информационна Система – Основна Инфрмационна система за настоящия промишлен грид – Две множества команди: § lcg-infosites: прости, задоволяват повечето потребности § lcg-info: поддържат по-сложни заявки INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 14
lcg-infosites Enabling Grids for E-scienc. E • Командата lcg-infosites може да се ползва като един лесен начин за извличане на информация за грид ресурсите в повечето случаи. ИЗПОЛЗВАНЕ: lcg-infosites --vo <vo name> options -v <verbose level> --is <BDII to query> INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 15
Опции за lcg-infosites Enabling Grids for E-scienc. E INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 16
Упражнения Enabling Grids for E-scienc. E • Използване на команди за достъп до информационната система • Ще изследвате грида GILDA, за да се види какви изчислителни елементи памет съществуват. • Моля активирайте връзката от това упражнение. INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 17
Вземете списъка на поддържаните атрибути Enabling Grids for E-scienc. E $ lcg-info --list-attrs Attribute name Glue object class Glue attribute name Max. Time CEStatus Total. Jobs CEVOs Total. CPUs Free. CPUs CE Waiting. Jobs Running. Jobs Close. CE Close. SE SEVOs Used. Space Available. Space Type SE Protocol Arch. Type Processor OS Cluster Tag Memory Glue. CEPolicy. Max. Wall. Clock. Time Glue. CEState. Status Glue. CEState. Total. Jobs Glue. CEAccess. Control. Base. Rule Glue. CEInfo. Total. CPUs Glue. CEState. Free. CPUs Glue. CEUnique. ID Glue. CEState. Waiting. Jobs Glue. CEState. Running. Jobs Glue. CESEBind. Group. CEUnique. ID Glue. CESEBind. Group. SEUnique. ID Glue. SAAccess. Control. Base. Rule Glue. SAState. Used. Space Glue. SAState. Available. Space Glue. SEType Glue. SEUnique. ID Glue. SEAccess. Protocol. Type Glue. SLArchitecture. Type Glue. Host. Processor. Model Glue. Host. Operating. System. Name Glue. Sub. Cluster. Unique. ID Glue. Host. Application. Software. Run. Time. Environment Glue. Host. Main. Memory. RAMSize Glue. CE Glue. CESEBind. Group Glue. SA Glue. SEAccess. Protocol Glue. SL Glue. Sub. Cluster INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 18
Опции за lcg-info Enabling Grids for E-scienc. E INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 19
lcg-info примери Enabling Grids for E-scienc. E Направете списък на всички CE(s), които могат да изпълняват MPICH, като се зададе броят на свободни процесори и таговете на инсталирани програми • $ lcg-info --vo gilda --list-ce --query 'Tag=MPICH' --attrs 'Free. CPUs, Tag' • Да няма шпация! -…. . CE: grid-ce. bio. dist. unige. it: 2119/jobmanager-lcgpbs-long - Free. CPUs 6 - Tag LCG-2_1_0 LCG-2_1_1 …. • Внимание тук! INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 20
Практически упражнения Enabling Grids for E-scienc. E http: //indico. cern. ch/conference. Display. py? conf. Id=53043 Information systems on EGEE – More information INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 21
Мониторинг Грид Enabling Grids for E-scienc. E • Два примера на системи за мониторинг • http: //gridportal. hep. ph. ic. ac. uk/rtm/ (Не използва директно EGEE мидълуера – това е допълнителна услуга, която се използва от видимите сайтове) • http: //mon. egee-see. org/gridice/site. php INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 22
Real-time мониторинг Enabling Grids for E-scienc. E http: //gridportal. hep. ph. ic. ac. uk/rtm/applet. html INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 23
Enabling Grids for E-scienc. E Благодаря за вниманието INFSO-RI-222667 Introduction to Grid Computing, EGEE and Bulgarian Grid Initiatives – Sofia, 17. 03. 2009 24
Скачать презентацию Enabling Grids for E-scienc E Информационна система в
fc3e2be3293266e8bc25a204cb983e50.ppt