Enabling Grids for E-scienc. E Введение в ППО g. Lite Олешко С. Б. Петербургский институт ядерной физики г. Гатчина www. eu-egee. org
Enabling Grids for E-scienc. E Презентацию можно будет скачать со страницы сайта http: //egee. pnpi. nw. ru в разделе “Грид в ПИЯФ” 2
Enabling Grids for E-scienc. E Содержание • Что такое EGEE и как получить доступ к ресурсам EGEE • Инфраструктура EGEE • ППО g. Lite • Сообщества пользователей и поддержка пользователей • Использование команд g. Lite • Запуск простейшего задания – ссылка на пример • Более сложные примеры – ссылки на примеры • Работа с большими объёмами данных – ссылка на пример 3
Проект EGEE(www. eu-egee. org ) Enabling Grids for E-scienc. E • Цель EGEE – Обеспечить создание высокопроизводительной продукционной GRID инфраструктуры, ее поддержку и развитие • EGEE – 1 апреля 2004 – 31 марта 2006 – 71 участник из 27 стран, объединённых в региональные федерации • EGEE-II – 1 апреля 2006 – 30 апреля 2008 – расширение числа участников и ресурсов (~90 участников из 36 стран) • EGEE-III – 1 мая 2008 – 30 апреля 2010 – переход к стабильной постоянно действующей Гридинфраструктуре 4
Текущий статус Enabling Grids for E-scienc. E 17, 000 пользователей 150, 000 ЦПУ (ядер) 28 Pb дисковой памяти 41 Pb на лентах 12 миллионов зад. /месяц +45% в год 268 центров +5% в год 48 стран +10% в год 182 ВО +29% в год Real Time Monitor: http: //gridportal. hep. ph. ic. ac. uk/rtm 5
Участие России в проекте EGEE Enabling Grids for E-scienc. E В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности. Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia). Сейчас в РДИГ (http: //www. egee-rdig. ru) входят 15 институтов (в 2004 году - 8) 6
Инфраструктура EGEE Enabling Grids for E-scienc. E • Производственная (production) – масштабная инфраструктура с центрами по всему миру – стабильная, со службой поддержки, использующая только оттестированную и надёжную версию ППО • Тестовая (pre-production) – работает параллельно с основной (ограниченное число узлов) – тестирование новых версий ППО – проверка новых пользовательских приложений • Учебная (t-infrastructure) – полный набор Грид-служб – каждый может зарегистрироваться и попробовать работать в Грид (GILDA - https: //gilda. ct. infn. it/) ~15 центров на 3 континентах 7
EGEE, ППО g. Lite и ВО Enabling Grids for E-scienc. E • ППО g. Lite устанавливается в каждом центре EGEE и обеспечивает: – управление данными – вычислительный сервис – сервис безопасности INTERNET 8
EGEE, ППО g. Lite и ВО Enabling Grids for E-scienc. E • ППО g. Lite устанавливается в каждом центре EGEE и обеспечивает: – управление данными – вычислительный сервис – сервис безопасности • Ресурсы и пользователи EGEE образуют виртуальные организации (ВО) INTERNET 9
EGEE, ППО g. Lite и ВО Enabling Grids for E-scienc. E • ППО g. Lite устанавливается в каждом центре EGEE и обеспечивает: – управление данными – вычислительный сервис – сервис безопасности • Ресурсы и пользователи EGEE образуют виртуальные организации (ВО) INTERNET • Распределённые сервисы (программное обеспечение ) и люди получают доступ к ВО 10
Пример: ВО biomed Enabling Grids for E-scienc. E Центры: • 36, в основном из Европы и Азии • 65 584 ЦПУ • ~741 Тб памяти Также доступен портал поддержки приложений Пользователи • любой, работающий с биомедицинскими приложениями • нет ограничений по географическому расположению • В настоящий момент 220 -250 членов ВО 11
История g. Lite Enabling Grids for E-scienc. E g. Lite 3. 1(2007) g. Lite 3. 2(2009) 12
g. Lite - ППО EGEE (www. glite. org ) Enabling Grids for E-scienc. E • Текущая версия - g. Lite 3. 2 • Совместима с Scientific Linux 5 – Некоторые сервисы есть под Debian, а также для более ранних версий Scientific Linux • g. Lite, как программный продукт… – Установочный дистрибутив – Разработка ещё не завершена • Патчи для отдельных компонент появляются достаточно часто 13
Основные сервисы g. Lite Enabling Grids for E-scienc. E External Components User Interface EGEE Maintained Components Access User Interface User BDII General Services Workload Logging & Management Book keeping Service Information Services File Transfer Service LHC File Catalogue Compute Element CREAM LCG-CE BLAH MON g. LExec Worker Node Hydra AMGA Storage Element Disk Pool Manager d. Cache Virtual Organisation Membership Service Proxy Server Security Services SCAS Authz. Service LCAS & LCMAPS Physical Resources 14
Основные компоненты Enabling Grids for E-scienc. E User Interface (UI): (UI) Для пользователя - точка входа в Грид Workload Management System (WMS): (WMS) Определяет соответствие между требованиями задания и доступными Грид-ресурсами, управляет запуском Information System: Содержит характеристики и статус ресурсов System File and replica catalog: местоположение файлов в Грид и их catalog реплик Logging and Bookkeeping (LB): Статус заданий, выполняющихся (LB) в Грид Computing Element (CE): Очередь заданий на вычислительном узле, (CE) где может выполняться задание пользователя Storage Element (SE): Сервер хранения данных, где сохраняются (SE) Грид файлы (чтение/запись/копирование) или их реплики 15
Доступ к ВО EGEE Enabling Grids for E-scienc. E • • • Пользователи (и компьютеры) идентифицируются при помощи гридсертификатов. Сертификаты выдаются национальными Центрами сертификации (CA). Сервис управления ВО (VOMS) поддерживает список пользователей, зарегистрированных в ВО Последовательность действий: – Получить сертификат из своего национального CA: http: //www. igtf. net – Зарегистрироваться в ВО § Список ВО: http: //cic. gridops. org/ – Менеджер ВО утверждает запрос § Модифицируется VOMS DB § Информация реплицируется на все ресурсы ВО в течении 24 часов – Можно работать в Грид через командный или графический интерфейс Получение сертификата: единожды Обновление сертификата: ежегодно Вы CA Вступление в ВО: единожды менеджер ВО Регистрация VOMS Репликация VOMS DB ежесуточно VOMS database Грид сайты ВИРТУАЛЬНАЯ ОРГАНИЗАЦИЯ 16
Как найти национальный CA Enabling Grids for E-scienc. E http: //igtf. net CA в Азиатско. Тихоокеанском регионе CA в Европе CA в Америке 17
РДИГ CA Enabling Grids for E-scienc. E http: //ca. grid. kiae. ru/RDIG/ 18
Получение сертификата Enabling Grids for E-scienc. E Пользователь создаёт пару ключей Открытый / Закрытый На подпись передается открытый ключ Для подписи необходимо удостоверение личности, которое предъявляется RA ID Закрытый ключ шифруется на локальном диске Корневой сертификат CA Центр cертификации СА подписывает открытый ключ с помощью своего корневого сертификата и информирует пользователя Подписанный открытый ключ передается пользователю 19
Сертификаты пользователя Enabling Grids for E-scienc. E • В зависимости от способа получения сертификата он может быть получен в различных форматах: – *. pem формат: 2 файла: userkey. pem – закрытый ключ, userсert. pem – подписанный сертификат) – *. p 12 формат (PKCS 12): один файл - для загрузки в браузер Mozilla/Netscape/Fire. Fox – *. pfx формат: один файл - для загрузки в браузер Internet Explorer • Куда может быть скопирован (загружен) сертификат: – – в веб-браузер на машину User Interface на My. Proxy сервер для личного пользования – на USB носитель • Сертификат имеет срок действия (от 2 недель до 1 года) • По истечению срока действия он может быть продлён Типичная картина на машине User Interface: $ ls -l. globus/ total 8 -rw-r--r-1 ole users 1761 Nov 25 -r-------1 ole users 951 Nov 24 2009 usercert. pem 2009 userkey. pem 20
Вступление в члены ВО Enabling Grids for E-scienc. E Сертификат должен быть загружен в браузер 21
GILDA CA для обучения Enabling Grids for E-scienc. E • GILDA CA имеет особенности – Облегчённая аутентификация – Нет необходимости в подтверждении RA § Получение сертификата только через WWW! – Возобновляемый сертификат для GILDA сразу после выдачи действителен в течении 2 недель (обычно – 1 год) – Возобновляемый сертификат для GILDA действителен только для GILDA ВО (обычный сертификат годится для любой ВО) • Ссылки: – Инструкция: https: //gilda. ct. infn. it § Выберите пункт меню - “Instruction for Users” – Сайт GILDA CA: https: //gilda-security. ct. infn. it/CA – Запрос сертификатов для проведения курсов: https: //gilda. ct. infn. it § Выберите пункт меню “Request a tutorial” – Поддержка пользователей: http: //gilda-support. ct. infn. it/ 22
Доступ к t-инфраструктуре GILDA Enabling Grids for E-scienc. E 1. Получить сертификат от GILDA CA 2. Подтвердить согласие с правилами GILDA, зарегистрироваться в ВО GILDA 3. Загрузить сертификат на User Interface 4. Можно работать через SSH к User Interface, либо через Веб-интерфейс Grid Tutor 23
t-инфраструктура в РДИГ Enabling Grids for E-scienc. E • Состав: –три грид-сайта ОИЯИ, Дубна (RU-JINR, RU-JINR-2, RU-JINR -MPI) – грид-сайт ОФВЭ, Протвино (SU-Protvino-IHEP) –грид-сайт ИМИТ АН РУз, Ташкент, Узбекистан (UZIMIT) –грид-сайт Софийского университета, София, Болгария (BG-SU) –грид-сайт ИТФ, Киев, Украина (UA-BITP) –грид-сайт КПИ, Киев, Украина (UA-BITP) 24
Пользователи EGEE Enabling Grids for E-scienc. E Поддерживаемые Грид области авторизация + другие приложения Домен ВО ВО Области приложений: • Физика высоких энергий (HEP) • Биологические науки (LS) • Науки о Земле (ES) • Грид обсерватория (GO) • Вычислительная химия (CC) • Астрономия и астрофизика (AA) • Термоядерный синтез (F) ВО 23 “Базовых” ВО: Использование CPU > 10% от всего домена 182 “активных” ВО Сообщество пользователей User User 4167 пользователей в “Базовых” ВО User 13, 381 пользователей в зарегистрированных ВО User Области приложений и контакты: https: //twiki. cern. ch/twiki/bin/view/EGEE/NA 4 25
Работа в ВО EGEE Enabling Grids for E-scienc. E Приложения Средства разработки, программные комплексы, порталы ИКС & APIs Сервисы g. Lite (управление, данные, вычисления, безопасность, . ) • Большинство ВО разрабатывают своё ПО “поверх” g. Lite • Некоторые области приложений имеют особые требования • Программа EGEE RESPECT : – Recommended External Software Packages for Egee Communi. Ties – Перечень внешнего ПО, которое успешно работает с g. Lite § Расширяет функциональность Грид -инфраструктуры § Сокращает дублирование при разработке § Ускоряет “гридификацию” новых приложений – http: //technical. euegee. org/index. php? id=290 26
Поддержка пользователей Enabling Grids for E-scienc. E Основные службы поддержки: • Global Grid User Support - GGUS: http: //www. ggus. org/ – Если возникают проблемы при работе в любой ВО производственного (production) Грид (т. е. CE, WMS, UI, …) – Если есть практические вопросы по работе сервисов g. Lite – При обращении в браузер должен быть загружен сертификат! • EGEE Application Porting Support для пользователей: http: //www. lpds. sztaki. hu/gasuc/ – Если вы не знаете, как портировать ваше приложение в EGEE – Технические консультации + программисты, которые могут помочь вам! • Служба поддержки пользователей РДИГ: https: //glse. itep. ru/usersupport/index. php – Первый уровень поддержки пользователей РДИГ – Проблемы при работе с региональными ВО • Служба поддержки администраторов сайтов РДИГ: https: //glse. itep. ru/adminsupport/index. php 27
Enabling Grids for E-scienc. E Запуск простейшего задания www. eu-egee. org
Enabling Grids for E-scienc. E Запуск заданий • Задание (job) – это средство для запуска приложений в Грид • Информация, которая должна быть определена, когда задание должно быть запущено в Грид – Характеристики задания – Требования задания и условия на вычислительные ресурсы § Включая требования на программное обеспечение • – Требования к данным Эта информация определяется при помощи Job Description Language (JDL) – Основан на CLASSified ADvertisement language (Class. Ad) из проекта Condor § Class. Ad – последовательность атрибутов, разделённых (; ) 29
Workload Management System Enabling Grids for E-scienc. E • Пользователь управляет заданиями через подсистему управления загрузкой (Workload Management System - WMS); • Основная задача WMS - планирование и управление распределенными ресурсами в системе Грид; • Что может пользователь? – Посылать задачи на выполнение; – Выполнять задачи на наиболее подходящих для этого ресурсах (WMS автоматически оптимизирует использование ресурсов); – Получать информацию о состоянии задач; – Получать результаты выполнения задач. 30
Запуск простого задания - 1 Enabling Grids for E-scienc. E User Interface создание прокси Сайт X в EGEE Computing Element Storage Element Сервис управления ВО (БД пользователей ВО) 31
Запуск простого задания - 2 Enabling Grids for E-scienc. E User Interface создание JDL, запуск задания (исполняемое) + данные (ограниченный объём) Information System Workload Management System запрос создание прокси публикует состояние Сайт X в EGEE Computing Element Storage Element Сервис управления ВО (БД пользователей ВО) 32
Запуск простого задания - 3 Enabling Grids for E-scienc. E User Interface создание JDL, запуск задания (исполняемое) + данные (ограниченный объём) Information System Workload Management System запрос создание прокси запуск задания публикует состояние протоколирование Сайт X в EGEE Computing Element Storage Element процесс Сервис управления ВО (БД пользователей ВО) Logging and bookkeeping 33
Запуск простого задания - 4 Enabling Grids for E-scienc. E User Interface создание JDL, запуск задания (исполняемое) + данные (ограниченный объём) Information System Workload Management System запрос создание прокси получение статуса и выходные данные (ограниченный объём) выходные данные протоколирование статус задания запуск задания публикует состояние Сайт X в EGEE Computing Element Storage Element процесс Сервис управления ВО (БД пользователей ВО) Logging and bookkeeping 34
Создание прокси Enabling Grids for E-scienc. E $ ls -l. globus/ -r---- 1 ole users 963 Sep 9 18: 50 userkey. pem -rw------- 1 ole users 821 Sep 9 18: 50 userreq. mail $ voms-proxy-init --voms atlas Enter GRID pass phrase: ****** Your identity: /C=RU/O=RDIG/OU=users/OU=pnpi. nw. ru/CN=Sergey Oleshko Creating temporary proxy. . . . Done Contacting lcg-voms. cern. ch: 15001 [/DC=ch/DC=cern/OU=computers/CN=lcgvoms. cern. ch] "atlas" Done Creating proxy. . . . . Done Your proxy is valid until Fri Jan 29 01: 40: 30 2010 voms-proxy-init Вход в Грид Enter GRID pass phrase: ****** закрытый ключ защищён паролем – Опции для voms-proxy-init: § Имя VO § -hours <время жизни прокси> § -help voms-proxy-destroy выход из Грид 35
JDL: атрибуты Enabling Grids for E-scienc. E Type - используется для различения простых и составных заданий (Job, Collection, DAG) Job. Type – определяет тип задания (Normal, Interactive, MPICH, Checkpointable) Executable (обязательный) - Имя выполняемой программы Arguments (optional) - Параметры программы Std. Output, Std. Error (optional) - Стандартный output/error Input. Sandbox (optional) - Список файлов на UI, которые необходимы для выполнения задания. Эти файлы будут переданы на удаленный узел. Output. Sandbox (optional) - Список файлов, сгенерированных заданием и переданных на WMS, которые должны быть затребованы на UI Shallow. Retry. Count (optional) - В случае возникновения ошибки – количество попыток повторного запуска задания (до того, как задание начало выполнятся) 36
Создание JDL файла Enabling Grids for E-scienc. E $ more hostname. jdl Type = "Job"; Job. Type = "Normal"; Executable = "/bin/hostname"; Std. Output = "hostname. out"; Std. Error = "hostname. err"; Output. Sandbox = {"hostname. err", "hostname. out"}; Arguments = "-f"; Shallow. Retry. Count = 3; 37
Рекомендуется Команды WMS Enabling Grids for E-scienc. E Версия WMS Н LCG-2 WMS Делегирован ие прокси Запуск Статус Журнал Выход Снятие Подходящие ресурсы edg-job-submit [-o joblist]jdlfile edg-job-status [-v verbosity] [-i joblist] job. IDs edg-job-get-logging-info [-v verbosity] [-i joblist] job. IDs edg-job-get-output [-dir outdir] [-i joblist] job. IDs edg-job-cancel [-i joblist] job. ID edg-job-list-match jdlfile g. Lite WMS via NS Е g. Lite 3. 0 Р glite-job-submit Е [-o joblist] jdlfile К glite-job-status О [-v verbosity] [-i joblist] job. IDs М glite-job-logging-info Е [-v verbosity] [-i joblist] job. IDs Н glite-job-output Д [-dir outdir] [-i joblist] job. I О Ds glite-job-cancel В [-i joblist] job. ID А glite-job-list-match jdlfile Н О g. Lite WMS via WMProxy g. Lite 3. 1+ glite-wms-job-delegateproxy -d deleg. ID glite-wms-job-submit [-d deleg. ID] [-a] [-o joblist] jdlfile glite-wms-job-status [-v verbosity] [-i joblist] job. IDs glite-wms-job-logginginfo [-v verbosity] [-i joblist] job. IDs glite-wms-job-output [-dir outdir] [-i joblist] job. IDs glite-wms-job-cancel [-i joblist] job. ID glite-wms-job-list-match [-d deleg. ID] [-a] jdlfile 38
Порядок выполнения команд Enabling Grids for E-scienc. E User Interface 1. glite-wms-job-delegate-proxy -d deleg. ID 2. glite-wms-job-list-match -d deleg. ID hostname. jdl deleg. ID 3. glite-wms-job-submit -d deleg. ID hostname. jdl Job. ID 4. glite-wms-job-status Job. ID 5. glite-wms-job-output Job. ID Контроль заданий 0. voms-proxy-init --voms gilda Сайт X в EGEE Computing Element Сервис управления ВО (БД пользователей ВО) Storage Element процесс 39
Статусы задания Enabling Grids for E-scienc. E SUBMITTED - задание послано пользователем и зарегистрировано в LB сервисе WAITING – происходит поиск подходящего ресурса READY - заданию назначен Computing Element, но оно туда ещё не передано SCHEDULED - задание ожидает в очереди на Computing Element RUNNING - задание выполняется DONE - задание завершилось ABORTED - задание снято WMS (т. к. слишком долгое, срок действия сертификата истёк, и т. п. ) CANCELLED - задание снято пользователем CLEARED - Output Sandbox передан на User Interface 40
Практикумы Enabling Grids for E-scienc. E 1. Авторизация и аутентификация http: //egee. pnpi. nw. ru/cgi/index. cgi? l 1=6&l 2=10 § § § 2. Проверка сертификата Создание прокси Проверка прокси Запуск простого задания с использованием WMProxy http: //egee. pnpi. nw. ru/cgi/index. cgi? l 1=6&l 2=14 § Создание простого JDL файла copy&paste JDL файл с HTML страницы § § § Делегирование прокси Получение списка ресурсов Запуск задания Проверка статуса задания Получение выходных данных Дополнительно: http: //egee. pnpi. nw. ru/cgi/index. cgi? l 1=6&l 2=2 § § Как импортировать сертификат в браузер Как экспортировать сертификат из браузера Команды работы с прокси Работа с My. Proxy 41
Веб-страница Enabling Grids for E-scienc. E 42
Enabling Grids for E-scienc. E Более сложные примеры www. eu-egee. org
“Выполняемая программа” Enabling Grids for E-scienc. E Executable = "/bin/hostname"; • Может быть установлена на CE § Системная команда(утилита) Linux (Scientific Linux!) § Прикладное ПО для ВО: информация берётся из Информационной Системы • Использовать JDL для направления задания на подходящий CE • Или приходит от клиента – Часть Input. Sandbox § Скрипт • Не нужна компиляция • Может вызывать бинарные файлы, которые статически установлены на CE § Или бинарный файл • Должен быть скомпилирован на UI совместимость с CE • Собран быть статически собран позволит избежать ошибок, вызванных различными версиями библиотек • Или исходники (+ скрипт для компиляции) • Компилируется на СЕ (на рабочем узле) 44
Запуск собственного скрипта Enabling Grids for E-scienc. E $ cat testsandbox. jdl Type = "Job"; Job. Type = "Normal"; Executable = "/bin/sh"; Arguments = "testsandbox. sh"; Std. Output = "testsandbox. out"; Std. Error = "testsandbox. err"; Input. Sandbox = "testsandbox. sh"; Output. Sandbox = {"testsandbox. err", "testsandbox. out"}; Shallow. Retry. Count = 1; $ cat testsandbox. sh #!/bin/bash ls -l $ /bin/sh testsandbox. sh 45
Сборка и запуск на WN Enabling Grids for E-scienc. E • Есть файл с исходным текстом программы на языке С ctst. c, которая выводит строку “Hello world” на стандартный вывод. • Есть Makefile для сборки этой программы. • Необходимо обеспечить сборку и запуск программы на удаленном ресурсе. • JDL файл: Job. Type="Normal"; Executable = "start. C. sh"; Std. Output = "ctst. out"; Std. Error = "ctst. err"; Output. Sandbox = {"ctst. out", "ctst. err"}; Input. Sandbox = {"start. C. sh", "ctst. c", "Makefile"}; Shellow. Retry. Count=3; 46
Остальные файлы Enabling Grids for E-scienc. E • • • Cтартовый скрипт start. C. sh: #!/bin/bash make //сборка программы chmod +x ctst //разрешаем запускать ее. /ctst //запускаем exit 0 Текст программы на С - ctst. c: #include <stdio. h> int main(int argc, char **argv) { printf("nnn"); printf("Hello world!n"); printf("nnn"); // exit(0); } Makefile ctst: ctst. o g++ ctst. o -o ctst -lm clean: rm ctst. o ctst 47
Управление WMS через JDL Enabling Grids for E-scienc. E Executable = “grid. Test”; WMS использует Std. Error = “stderr. log”; Информационную Std. Output = “stdout. log”; Систему для поиска CE Input. Sandbox = {“/home/ole/test/grid. Test”}; Output. Sandbox = {“stderr. log”, “stdout. log”}; Requirements = other. Architecture==“INTEL” && other. Glue. CEInfo. Total. CPUs > 480; Rank = other. Glue. CEState. Total. Jobs; Политика планирования, которой следует WMS: • Найти CE, удовлетворяющие требованиям (Requirements) • Выбрать СЕ с максимальным рангом 48
Контроль требований Enabling Grids for E-scienc. E User Interface создание прокси создание JDL, запуск задания (исполняемое) + данные (ограниченный объём) Workload Management System Information System запрос получение статуса и выходные данные (ограниченный объём) выходные данные протоколирование статус задания запуск задания публикует состояние Сайт X в EGEE Computing Element Storage Element процесс Сервис управления ВО (БД пользователей ВО) Logging and bookkeeping 49
Правила планирования WMS Enabling Grids for E-scienc. E 1. Найти CE, удовлетворяющие требованиям (определённые атрибутом Requirements в JDL файле) 2. Выбрать CE, которое является “ближайшим”(“Сlose”) к SE, определённым в Input. Data • • • Отношение “Ближайший” определяется между CE и SE администратором сайта “Ближайший” – не обязательно самый близкий географически, зависит от скорости каналов связи Обычно “Ближайший” – это тот же самый сайт • • CE: cluster. pnpi. nw. ru: 2119/jobmanager-pbs-atlas Close SE: cluster. pnpi. nw. ru 3. Выбрать CE с максимальным рангом (Формула определения ранга задаётся в атрибуте Rank JDL файла) 50
Некоторые JDL атрибуты Enabling Grids for E-scienc. E • Glue. CEUnique. ID – идентификатор(имя) CE – Избежать использование “неправильных” CE: other. Glue. CEUnique. ID != “cluster. pnpi. nw. ru: 2119/jobmanager-pbs-atlas” – Выполнить задание на определённом CE: other. Glue. CEUnique. ID == “cluster. pnpi. nw. ru: 2119/jobmanager-pbs-atlas” • Glue. CEInfo. Total. CPUs – максимальное число ЦПУ в CE Rank = other. Glue. CEInfo. Total. CPUs; • Glue. CEState. Waiting. Jobs – число ожидающих заданий • Glue. CEPolicy. Max. CPUTime – задание будет снято после этого числа минут • Glue. Host. Main. Memory. RAMSize – объём памяти http: //glite. web. cern. ch/glite/documentation/ спецификация JDL (запуск через WMS WMProxy) 51
Примеры Enabling Grids for E-scienc. E • Rank = ( other. Glue. CEState. Waiting. Jobs == 0 ? other. Glue. CEState. Free. CPUs : other. Glue. CEState. Waiting. Jobs); если нет ожидающих заданий, – тогда выбранный CE будет тот, где больше всего свободных ЦПУ – в противном случае – тот CE, где меньше всего ожидающих заданий. • Requirements = ( Member(„IDL 2. 1”, other. Glue. Host. Application. Software. Run. Time. Environment) ) && (other. Glue. CEPolicy. Max. Wall. Clock. Time > 10000); тот CE где, – установлено IDL 2. 1 – по крайней мере 10000 сек. может потребоваться заданию (ожидание + выполнение) 52
Практикум по теме Enabling Grids for E-scienc. E “Ещё о JDL”- http: //egee. pnpi. nw. ru/cgi/index. cgi? l 1=6&l 2=27 Различные варианты “выполняемой программы” § Запуск клиентского скрипта § Получить список файлов директории § Запуск бинарного файла клиента (через скрипт) Requirements, Ranks § Послать задание на определённый CE § Послать задание на CE, где установлено ПО “GEANT 4 -6” § Послать задание куда угодно, кроме определённого CE (до того там была ошибка) Дополнительно: Запросы к информационной системе для получения характеристик и состояния CE и SE: http: //egee. pnpi. nw. ru/cgi/index. cgi? l 1=6&l 2=16 53
Enabling Grids for E-scienc. E Работа с большими файлами данных www. eu-egee. org
Основы управления данными Enabling Grids for E-scienc. E • Файлы в основном записываются один раз, читаются многократно – Если пользователь изменяет файл, то § Либо он обеспечивает непротиворечивость! § Либо сохраняет файл с новым именем файла! – Нет цели создать глобальную систему управления файлами • Сервисы для управления файлами – Сохранение файлов – Каталоги – Передача файлов 55
Управление данными - 1 Enabling Grids for E-scienc. E “User interface” Input “sandbox” LCG File. Catalogue (LFC) Data. Sets info Output “sandbox” In san t“ pu nfo r. I ke ro ” ox db +B san t“ ” ox db tpu Ou Ограничение ~20 MByte WMS Storage Element 2 Computing Element Storage Element 1 Задание 1 записывает результаты, как 2 реплики одного файла на 2 различных SE 56
Управление данными - 2 Enabling Grids for E-scienc. E “User interface” Input “sandbox” LCG File. Catalogue (LFC) Data. Sets info Output “sandbox” In t“ pu Считать там, где ближе всего находятся данные san nfo r. I ke ro ” ox db +B san t“ ” ox db tpu Ou Ограничение ~20 MByte WMS Storage Element 2 Computing Element Storage Element 1 Задание 2 читает файл, как входной с SE 57
Логические имена файлов Enabling Grids for E-scienc. E “User interface” LCG File. Catalogue (LFC) “Myfile. dat” File_on_se 1 Myfile. dat File_on_se 2 Storage Element 2 Файл с одинаковым содержимым находится на двух SE Storage Element 1 58
Разрешение логических имён Enabling Grids for E-scienc. E “User interface” LCG File. Catalogue (LFC) “Myfile. dat” File_on_se 1 (“SURL”: site URL) Myfile. dat “Логическое имя” “GUID” Глобальный уникальный идентификатор File_on_se 2 (“SURL”: site URL) Storage Element 2 Содержимое файла не может быть изменено Нет необходимости синхронизировать реплики Storage Element 1 Файл с одинаковым содержимым находится на двух SE 59
Именование файлов Enabling Grids for E-scienc. E • • Symbolic Link в пространстве логических имён (logical filename space) Logical File Name (LFN) [lfn: <anything_you_want>] – Имя, созданное пользователем для того чтобы ссылаться на некоторый элемент данных, напр. “lfn: cms/20030203/run 2/track 1” • Globally Unique Identifier (GUID) [guid: <40_bytes_unique_string>] – Внутренний (машинный) идентификатор элемента данных, напр. “guid: f 81 d 4 fae-7 dec-11 d 0 -a 765 -00 a 0 c 91 e 6 bf 6” • Site URL (SURL) [<sfn | srm>: //<SE_hostname>/<some_string>] (or Physical File Name (PFN) or Site FN) – Физическое местоположение реплики элемента данных в системе хранения данных, напр. “srm: //pcrd 24. cern. ch/flatfiles/cms/output 10_1” (SRM) “sfn: //lxshare 0209. cern. ch/data/alice/ntuples. dat” (Classic SE) • Transport URL (TURL) [<protocol>: //<some_string>] – Временный указатель на реплику + протокол доступа: распознаётся SE, напр. “rfio: //lxshare 0209. cern. ch//data/alice/ntuples. dat” Symbolic Link 1 . . Symbolic Link n Physical File SURL 1 LFN GUID TURL 1 . . Physical File SURL n TURL n SRM 60
Каталоги (File and Replica Catalog) Enabling Grids for E-scienc. E • Главная цель - определить, где размещены файлы в Grid • File and Replica Catalog - это сервис, который реализует это и поддерживает соответствие между LFNs, GUIDs и SURLs. • В g. Lite поддерживаются 2 типа каталогов: – Replica Location Server (RLS) - старый § Local Replica Catalog (LRC) § Replica Metadata Catalog (RMC) – LCG File Catalog (LFC) – по умолчанию • Тип используемого пользователем каталога определяется переменной окружения LCG_CATALOG_TYPE: edg для RLS, lfc для LFC • Оба каталога между собой несовместимы!!! Однако есть средства миграции из RLS в LFC • Файл данных только тогда может считаться Грид-файлом, когда он физически присутствует на каком-либо SE и зарегистрирован в каталоге 61
Структура LFC Enabling Grids for E-scienc. E LFC имеет иерархическую структуру /grid/<VO_name>/ <you create it> LFC Namespace Defined by the user • Все члены данной ВО имеют права чтения/записи в соответствующую директорию • Если соответствующей директории нет, то это означает, что данный LFC сервер не поддерживает эту ВО • Команды работы с LFC похожи на соответствующие команды в UNIX (с префиксом lfc-) • Переменная окружения $LFC_HOST должна содержать имя LFC сервера 62
Директории LFC Enabling Grids for E-scienc. E lfn: /grid/gilda/tutorial 1/run 2/ input 1 input 2 input 3 LCG File. Catalogue (LFC) Storage Element 1 sfn: //grid 005. iucc. ac. il/storage/gilda/generated/2007 -06 -23/fileb 233 d 43 f-5 bc 6 -4 ede-a 5 fe-611 d 48 be 2 ba 5 Storage Element 2 srm: //aliserv 6. ct. infn. it/dpm/ct. infn. it/home/gilda/generated/2007 -06 -23/filea 21 ab 3 e 2 -8 ff 6 -4 a 44 -82 a 7 -f 2 Storage Element 3 sfn: //trigriden 01. unime. it/flatfiles/SE 00/gilda/generated/2007 -06 -23/filec 79 a 9 e 3 c-2485 -4206 -a 2 a 5 -235 f • LFC директории = виртуальные директории – Каждый файл из директории может быть сохранён на своём SE 63
Директории LFC Enabling Grids for E-scienc. E lfn: /grid/gilda/tutorial 1/run 2/ input 1 input 2 input 3 LCG File. Catalogue (LFC) Storage Element 1 sfn: //grid 005. iucc. ac. il/storage/gilda/generated/2007 -06 -23/fileb 233 d 43 f-5 bc 6 -4 ede-a 5 fe-611 d 48 be 2 ba 5 Storage Element 2 srm: //aliserv 6. ct. infn. it/dpm/ct. infn. it/home/gilda/generated/2007 -06 -23/filea 21 ab 3 e 2 -8 ff 6 -4 a 44 -82 a 7 -f 2 Storage Element 3 sfn: //trigriden 01. unime. it/flatfiles/SE 00/gilda/generated/2007 -06 -23/filec 79 a 9 e 3 c-2485 -4206 -a 2 a 5 -235 f Storage Element 4 sfn: //grid 005. iucc. ac. it/flatfiles/SE 00/gilda/generated/2007 -06 -23/filec 79 a 9 e 3 c-2485 -4206 -a 2 a 5 -235 f • LFC директории = виртуальные директории – Каждый файл из директории может быть сохранён на своём SE 64
Команды для работы с LFC Enabling Grids for E-scienc. E • Есть 2 набора команд, которые могут использоваться в качестве средств для работы с каталогами и файлами – lfc-. . . команды для работы с каталогом LFC, который определяет соответствие между LFN и SURL (Site URL) – lcg-. . . команды, которые позволяют копировать файлы с/на SE и создавать реплики файлов. Кроме того, команды lcg-. . . также обеспечивают взаимодействие между SE и каталогом. 65
Storage Element Enabling Grids for E-scienc. E • Обеспечивает – Хранение файлов: системы хранения файлов – дисковые или ленточные – Транспортный протокол (gsi. FTP) ~ FTP сервер, дополненный GSI – Унифицированный интерфейс (SRM) протоколы ресурсы протокол Лента протокол Storage Element Лента протокол Диск Лента Запрос на файл + VOMS proxy сервис Аутентификация, авторизация 66
Типы SE в g. Lite Enabling Grids for E-scienc. E Тип Ресурс Передача файлов Протокол доступа SRM Classic SE Disk server GSIFTP insecure RFIO No DPM Disk pool GSIFTP secure RFIO Yes d. Cache Disk pool/MSS GSIFTP gsidcap Yes CASTOR MSS GSIFTP insecure RFIO Yes 67
Практические упражнения Enabling Grids for E-scienc. E “Основы системы управления данными в g. Lite” (http: //egee. pnpi. nw. ru/cgi/index. cgi? l 1=6&l 2=15): • • Получение списка файлов и директорий Создание директории Сохранение файла на SE Получение SURL файла Репликация файла между SE Создание символической ссылки Передача файла с SE на UI Удаление 68
Практические упражнения Enabling Grids for E-scienc. E “Запуск заданий, требующих данные” (http: //egee. pnpi. nw. ru/cgi/index. cgi? l 1=6&l 2=25): Упражнение 1: • • • Передать файл на SE, зарегистрировать в LFC Переслать скрипт на CE, как задание Передать выполняемый файл через input sandbox Cкрипт начинает выполняться на CE Скрипт копирует файл с SE Файл обрабатывается, результат записывается в STDOUT Упражнение 2: • • • Переслать скрипт на CE, как задание Передать выполняемый файл через input sandbox Cкрипт начинает выполняться на CE Скрипт создаёт локальный файл Программа, запущенная из скрипта, записывает файл на SE, регистрирует в LFC • Результат доступен при помощи lcg-cp 69
Enabling Grids for E-scienc. E Спасибо за внимание 70
Скачать презентацию Enabling Grids for E-scienc E Введение в ППО
f1f00bfc2ea1f3eb5ad9cd7dbd89e53c.ppt