Enabling Grids for E-scienc E g Lite

Enabling Grids for E-scienc. E g. Lite – ППО для EGEE Олешко С. Б. Петербургский институт ядерной физики г. Гатчина www. eu-egee. org EGEE-II INFSO-RI-031688

ППО Грид (middleware) Enabling Grids for E-scienc. E • ”Прозрачное” взаимодействие между гетерогенными ресурсами (принадлежащих различным, географически распределённым организациям), приложениями и пользователями возможно только при помощи… – использования специализированного программного обеспечения, называемогоmiddleware Мобильный доступ Рабочие станции Визуализация • G R I D M I D D L E W A R E Суперкомпьютеры, PC-кластеры Хранилища данных, эксперименты, … Internet, сети Middleware “скрывает” технические детали Грид-инфраструктуры и обеспечивает безопасную интеграцию/распределение ресурсов – интернет-протоколы не обеспечивают безопасный механизм доступа к разделяемым ресурсам 2

ППО Грид (middleware) Enabling Grids for E-scienc. E • Используя ПК или workstation • Используя Грид • Для входа – имя (account) и пароль (“Аутентификация”) • Использование прав, разрешенных вам (“Авторизация”) • Запуск заданий • Управление файлами: создание, чтение/запись, список директорий • Для входа – единый цифровой сертификат (“Аутентификация”) • Использование прав, делегированных вам (“Авторизация”) • Запуск заданий • Управление файлами: создание, чтение/запись, список директорий • Компоненты системы связываются по шине • Сервисы связываются через Интернет • Операционная система • ППО (middleware) • Один административный домен • Множество административных доменов 3

История g. Lite Enabling Grids for E-scienc. E g. Lite 3. 1(2007) 4

Основные компоненты Enabling Grids for E-scienc. E User Interface (UI): (UI) Для пользователя - точка входа в Грид Workload Management System (WMS): (WMS) Определяет соответствие между требованиями задания и доступными Грид-ресурсами, управляет запуском Information System: Содержит характеристики и статус ресурсов System File and replica catalog: местоположение файлов в Грид и их catalog реплик Logging and Bookkeeping (LB): Статус заданий, выполняющихся (LB) в Грид Computing Element (CE): Очередь заданий на вычислительном узле, (CE) где может выполняться задание пользователя Storage Element (SE): Сервер хранения данных, где сохраняются (SE) Грид файлы (чтение/запись/копирование) или их реплики 5

Основные сервисы g. Lite Enabling Grids for E-scienc. E Access CLI Security API Information & Monitoring Authorization Information & Monitoring Auditing Authentication Data Management Application Monitoring Workload Management Metadata Catalog File & Replica Catalog Accounting Job Provenance Package Manager Storage Element Data Movement Site Proxy Computing Element Workload Management 6

Enabling Grids for E-scienc. E Управление данными 7

Свойства и требования Enabling Grids for E-scienc. E • Гетерогенность – Данные хранятся на различных устройствах (диски, ленты), использующих различные методы доступа • Распределенность – Данные хранятся на различных сайтах, где отсутствует общая разделяемая файловая система – Данные могут перемещаться между различными сайтами • Различные административные домены – Данные хранятся там, куда обычный доступ вам запрещен – Необходим общий интерфейс к устройствам § Storage Resource Manager (SRM) – Необходим способ определения местоположения файлов § File and Replica Catalogs – Необходима управляемая, надежная передача файлов § File transfer and placement services – Необходима общая модель безопасности § Реализация контроля доступа (ACL), основанного на применении Grid DNs 8

Требования к g. Lite SE Enabling Grids for E-scienc. E • Storage Element - это сервис, который позволяет пользователю или приложению сохранять данные для будущего использование • Управление локальными ресурсами памяти (диски) и интерфейс к Mass Storage Systems (ленты), таким как – HPSS, CASTOR, Diske. Xtender (UNITREE), … • Способность управлять различными системами хранения данных единым способом и прозрачно для пользователя (обеспечивается через SRM интерфейс) • Поддержка основных протоколов передачи данных – Grid. FTP обязательно – Другие по возможности (https, ftp, etc…) • Поддержка “привычного” протокола доступа для ввода/вывода удалённых файлов – POSIX (like) I/O client library for direct access of data (GFAL) 9

Проблема имён файлов Enabling Grids for E-scienc. E • Имена файлов на SE имеют только локальное значение: – /tmp/picard/file 1 (Unix) – srm: //castorgrid. cern. ch: 8443/srm/managerv 1? SFN =/castor/cern. ch/file 1 (SRM Site URL – SURL) Локальная система может преобразовывать имена файлов, напр. SURL не может использоваться прямо, он должен быть преобразован SRM в Transfer URL (TURL) : gsiftp: //se 05. cern. ch/scratch/file 05 Для доступа к файлам необходим подход, позволяющий абстрагироваться от локальной системы имен и обеспечить общий для GRID среды механизм имен файлов 10

Именование файлов Enabling Grids for E-scienc. E • • Symbolic Link в пространстве логических имён (logical filename space) Logical File Name (LFN) [lfn: <anything_you_want>] – Имя, созданное пользователем для того чтобы ссылаться на некоторый элемент данных, напр. “lfn: cms/20030203/run 2/track 1” • Globally Unique Identifier (GUID) [guid: <40_bytes_unique_string>] – Внутренний (машинный) идентификатор элемента данных, напр. “guid: f 81 d 4 fae-7 dec-11 d 0 -a 765 -00 a 0 c 91 e 6 bf 6” • Site URL (SURL) [<sfn | srm>: //<SE_hostname>/<some_string>] (or Physical File Name (PFN) or Site FN) – Физическое местоположение реплики элемента данных в системе хранения данных, напр. “srm: //pcrd 24. cern. ch/flatfiles/cms/output 10_1” (SRM) “sfn: //lxshare 0209. cern. ch/data/alice/ntuples. dat” (Classic SE) • Transport URL (TURL) [<protocol>: //<some_string>] – Временный указатель на реплику + протокол доступа: распознаётся SE, напр. “rfio: //lxshare 0209. cern. ch//data/alice/ntuples. dat” Symbolic Link 1 . . Symbolic Link n File and Replica Catalog Physical File SURL 1 LFN GUID TURL 1 . . Physical File SURL n TURL n SRM 11

Каталоги (File and Replica Catalog) Enabling Grids for E-scienc. E • Главная цель - определить, где размещены файлы в Grid • File and Replica Catalog - это сервис, который реализует это и поддерживает соответствие между LFNs, GUIDs и SURLs. • В g. Lite поддерживаются 2 типа каталогов: – Replica Location Server (RLS) - старый § Local Replica Catalog (LRC) § Replica Metadata Catalog (RMC) – LCG File Catalog (LFC) – по умолчанию • Тип используемого пользователем каталога определяется переменной окружения LCG_CATALOG_TYPE: edg для RLS, lfc для LFC • Оба каталога между собой несовместимы!!! Однако есть средства миграции из RLS в LFC • Файл данных только тогда может считаться Грид-файлом, когда он физически присутствует на каком-либо SE и зарегистрирован в каталоге 12

Структура LFC Enabling Grids for E-scienc. E LFC имеет иерархическую структуру /grid/<VO_name>/ <you create it> LFC Namespace Defined by the user • Все члены данной ВО имеют права чтения/записи в соответствующую директорию • Если соответствующей директории нет, то это означает, что данный LFC сервер не поддерживает эту ВО • Команды работы с LFC похожи на соответствующие команды в UNIX (с префиксом lfc-) • Переменная окружения $LFC_HOST должна содержать имя LFC сервера 13

Команды LFC Enabling Grids for E-scienc. E lfc-chmod Изменить права доступа к файлу/директории LFC lfc-chown Изменить владельца и группу для файла/директории LFC lfc-delcomment Удалить комментарии, связанные с файлом/директорией lfc-getacl Показать ACL для файла/директории lfc-ln Создать символическую ссылку на файл/директорию lfc-ls Вывести список файлов в директории lfc-mkdir Создать директорию lfc-rename Переименовать файл/директорию lfc-rm Удалить файл/директорию lfc-setacl Установить/изменить ACL для файла/директории lfc-setcomment Добавить/заменить комментарий 14

Команды работы с файлами (lcg-utils) Enabling Grids for E-scienc. E Replica Management lcg-cp Копировать файл из Грид на локальный компьютер (UI) lcg-cr Копировать файл на SE и зарегистрировать его в каталоге lcg-del Удалить один файл (или реплику, или все реплики) lcg-rep Репликация между SE и регистрация реплики lcg-gt Получить TURL для данных SURL и протокола передачи lcg-sd Установить статус “Done” для данного SURL в SRM запросе File Catalog Interaction lcg-aa Добавить синоним в LFC для данного GUID lcg-ra Удалить синоним в LFC для данного GUID lcg-rf Зарегистрировать в LFC файл, размещённый на SE lcg-uf Удалить регистрацию в LFC файла, размещённого на SE lcg-la Список всех синонимов для данного SURL, GUID или LFN lcg-lg Получить GUID для данного LFN или SURL lcg-lr Список всех реплик для данного GUID, SURL или LFN 15

Enabling Grids for E-scienc. E Информационная система 16

Информационная Система g. Lite Enabling Grids for E-scienc. E В распределенной среде важна возможность получать информацию о доступных в данный момент ресурсах. Эта информация может включать: • сайты (CE), способные выполнить данное задание, их загрузка, ПО, установленное на них. • сайты, предоставляющие возможности для хранения данных, включая их статус, максимальный размер и число файлов, которые могут быть сохранены. • данные мониторирования процесса выполнения задания 17

ИС в g. Lite 3. 0 Enabling Grids for E-scienc. E • В g. Lite используются 2 основных ИС: – Monitoring and Discovery Service (MDS) – для сохранения информации о ресурсах и публикации их статуса. Эта ИС пришла из Globus Toolkit и используется вместе с Berkley Database Information Indexes (BDII) – Relational Grid Monitoring Architecture (R-GMA) – для сбора, мониторирования и публикации информации пользовательского уровня. 18

R-GMA Enabling Grids for E-scienc. E R-GMA: Relation Grid Monitoring Architecture • Динамические данные о заданиях • Использует реляционную модель данных, которая очень гибкая и позволяет строить сложные запросы – – данные представляются в виде таблиц. структура данных определяется по колонкам. каждая запись есть строка (tuple). язык запросов - Structured Query Language (SQL). • Поддерживает различные типы запросов: – streams – archives – latest-value • R-GMA обеспечивает средства для любого, кто хочет опубликовать свою информацию о Грид. В принципе он может выполнять функции MDS. 19

Архитектура R-GMA Enabling Grids for E-scienc. E Schema Registry • Все Producers регистрируются в Registry, определяя Schema • Consumer получает из Registry те URLs, которые могут выполнить его запрос. • Consumer взаимодействует с этими Producers. • Producers обрабатывают query и возвращают tuples Consumer. Table. Name URL 1 Table. Name URL 2 Producer 1 Producer 2 Table. Name Value 1 Table. Name Value 2 Value 3 Value 4 Consumer Table. Name Value 1 Value 2 Value 3 Value 4 Виртуальная база данных 20

R-GMA пример 1 Enabling Grids for E-scienc. E 21

R-GMA пример 2 Enabling Grids for E-scienc. E Service. Status URI VO type email. Contact site URI VO type up status gppse 01 alice SE sysad@rl. ac. uk RAL gppse 01 alice SE y SE is running gppse 01 atlas SE sysad@rl. ac. uk RAL gppse 01 atlas SE y SE is running gppse 02 cms SE sysad@rl. ac. uk RAL gppse 02 cms SE n SE ERROR 101 lxshare 0404 alice SE sysad@cern. ch CERN lxshare 0404 alice SE y SE is running lxshare 0404 atlas SE sysad@cern. ch CERN lxshare 0404 atlas SE y SE is running Result Set (Consumer) URI email. Contact gppse 02 sysad@rl. ac. uk SELECT Service. URI Service. email. Contact FROM Service S, Service. Status SS WHERE (S. URI= SS. URI and SS. up=‘n’) 22

Доступ к данным ИС Enabling Grids for E-scienc. E • Есть две утилиты для доступа к данным ИС. lcg-infosites lcg-info • В большинстве случаев их достаточно для пользователя, что позволяет избежать использования сложных запросов. 23

Enabling Grids for E-scienc. E lcg-infosites • Получение информации о Грид ресурсах. lcg-infosites --vo <vo name> options -v <verbose level> --vo название Виртуальной Организации -v уровень детализации вывода Опции: ce Число процессоров, количество выполняемых заданий, количество заданий в очередях, имена CE. Все данные группируются по ВО. se Имена SE, вместе с типом Storage System, объём используемой и доступной памяти close. SE Имена CE, где для поддерживается данная ВО, вместе с ближайшим SE lfc Имя lfc Каталога для пользователей ВО tag Названия “меток” для установленного ПО, вместе с именем соответствующего CE all Объединение опций ce и se 24

lcg-info Enabling Grids for E-scienc. E Эта команда используется для получения характеристик CE или SE, которые удовлетворяют некоторым условиям и выводят значения заданного множества атрибутов. Синтаксис определения условия: attr 1 op 1 value. N, . . . attr. N op. N value. N где attr. N имя атрибута op =, >= or <=, и несколько условий могут быть объединены через И. Разделитель – запятая, пробелы не допускаются. lcg-info --list-ce [--vo <vo>] [--sed] [--query <query>] [--attrs <list>] lcg-info --list-se [--vo <vo>] [--sed] [--query <query>] [--attrs <list>] lcg-info --list-attrs 25

Опции lcg-info Enabling Grids for E-scienc. E --list-attrs Список всех атрибутов, которые могут быть в запросе и в списке для вывода --list-сe Список всех СE, удовлетворяющих условию или все СE, если условие не определено --list-se Список всех SE, удовлетворяющих условию или все SE, если условие не определено --query Условие, которому должны удовлетворять CE(SE) --sed Вывод в sed-ориентированном формате --attrs Список атрибутов, которые будут выводиться для выбранных CE(SE) --vo Ограничить вывод теми CE(SE), где поддерживаются соответствующая ВО. Обязателен, если в условии определены ВО-зависимые атрибуты 26

Примеры Enabling Grids for E-scienc. E • Список всех CE, у которых общее количество процессоров >=10 и установлена ОС Scientific Linux. Дополнительно вывести количество выполняемых заданий и количество свободных процессоров $ lcg-info --list-ce --query 'Total. CPUs>=10, OS=*SL*' --attrs 'Running. Jobs, Free. CPUs‘ • Список всех CE для ВО nw_ru, где установлен пакет MPI. Дополнительно вывести количество процессоров. $ lcg-info –vo nw_ru --list-ce --query ‘Tag=*MPICH*’ --attrs ‘Total. CPUs’ • Список всех SE для ВО nw_ru, где объем доступной памяти >=100000 Kb. Дополнительно вывести ближайший SE. $ lcg-info –vo nw_ru --list-se --query ‘Available. Space>=100000’ --attrs ‘Close. CE’ 27

Enabling Grids for E-scienc. E Запуск заданий 28

Использование заданий для запуска приложений Enabling Grids for E-scienc. E • Задание (job) – это средство для запуска приложений в Грид • Информация, которая должна быть определена, когда задание должно быть запущено в Грид – Характеристики задания – Требования задания и условия на вычислительные ресурсы § Включая требования на программное обеспечение • – Требования к данным Эта информация определяется при помощи Job Description Language (JDL) – Основан на CLASSified ADvertisement language (Class. Ad) из проекта Condor § Class. Ad – последовательность атрибутов, разделённых (; ) 29

Workload Management System Enabling Grids for E-scienc. E • Пользователь управляет заданиями через подсистему управления загрузкой (Workload Management System - WMS); • Основная задача WMS - планирование и управление распределенными ресурсами в системе Grid; • Что может пользователь? – Посылать задачи на выполнение; – Выполнять задачи на наиболее подходящих для этого ресурсах (WMS автоматически оптимизирует использование ресурсов); – Получать информацию о состоянии задач; – Получать результаты выполнения задач. 30

Запуск задания Enabling Grids for E-scienc. E Описание задания Network Server UI Файлы из Input Sandbox RB storage UI: позволяет пользователям получить доступ к функциональности WMS (CLI, GUI, C++ и Java APIs) Computing Element Workload Manager LFC Job Status submitted Inform. Service Job Contr. Condor. C WMS Характеристики. и статус CE Характеристики и статус SE Storage Element 31

Запуск задания Enabling Grids for E-scienc. E Job Status Описание задания Network Server UI Файлы из Input Sandbox LFC submitted Workload Manager Inform. Service glite-wms-job-submit. RB myjob. jdl storage Job Description Language (JDL) определяет характеристики и требования задания myjob. jdl Job Contr. Job. Type = “Normal”; Executable = "$(CMS)/exe/sum. exe"; Condor. C Input. Sandbox = {"/home/user/WP 1 test. C", "/home/file*”, "/home/user/DATA/*"}; Output. Sandbox = {“sim. err”, “test. out”, “sim. log"}; Requirements = other. Glue. Host. Operating. System. Name == “linux" && other. Glue. CEPolicy. Max. Wall. Clock. Time > 10000; Rank = other. Glue. CEState. Free. CPUs; WMS Характеристики. и статус CE Computing Element Характеристики и статус SE Storage Element 32

Запуск задания Enabling Grids for E-scienc. E UI NS: сетевой сервис, ответственный за прием LFC входных запросов Описание задания submitted Network Server Файлы из Input Sandbox RB Workload Manager Job Status Inform. Service waiting storage Job Contr. Condor. C WMS Computing Element Характеристики. и статус CE Характеристики и статус SE Storage Element 33

Запуск задания Enabling Grids for E-scienc. E UI Описание задания Job Status LFC submitted Network Server Файлы из Input Sandbox. RB storage Inform. Service Workload Manager WM: ответственен за Job Contr. выполнение действий для удовлетворения Condor. C WMS запроса Computing Element waiting Характеристики. и статус CE Характеристики и статус SE Storage Element 34

Запуск задания Enabling Grids for E-scienc. E UI Job Status LFC Network Server RB storage Workload Manager Match. Maker/ Broker submitted Inform. Service Где должно выполняться это задание ? Job Contr. Condor. C WMS Computing Element waiting Характеристики. и статус CE Характеристики и статус SE Storage Element 35

Запуск задания Enabling Grids for E-scienc. E LFC UI Network Server RB storage Workload Manager Job Contr. Condor. C WMS Computing Element Match. Maker/ Broker Job Status submitted Inform. Service waiting Matchmaker: отвечает за поиск “лучшего” CE, где будет выполняться задание Характеристики. и статус CE Характеристики и статус SE Storage Element 36

Запуск задания Enabling Grids for E-scienc. E Где (на каком SE), необходимые данные? UI Network Server RB storage Match. Maker/ Broker LFC submitted Inform. Service waiting Workload Manager Какой статус у Грид-ресурсов Job Contr. Condor. C Характеристики. и статус CE Computing Element Job Status Характеристики и статус SE Storage Element 37

Запуск задания Enabling Grids for E-scienc. E LFC UI Network Server RB storage Workload Manager Match. Maker/ Broker Job Status submitted Inform. Service waiting Выбор CE Job Contr. Condor. C Характеристики. и статус CE Computing Element Характеристики и статус SE Storage Element 38

Запуск задания Enabling Grids for E-scienc. E LFC UI submitted Network Server RB storage Workload Manager Job Status Inform. Service waiting Job Adapter Job Contr. Condor. G JA: ответственен за Характеристики окончательную “доводку” и статус SE и статус CE задания перед процедурой запуска (напр. создание wrapper Computing Storage скрипта, и т. п. ) Element 39

Запуск задания Enabling Grids for E-scienc. E LFC UI submitted Network Server RB storage Job Status Inform. Service Workload Manager waiting ready Job Contr. Condor. C JC: ответственен за операции управления заданием (через Computing Condor. C) Element Характеристики. и статус CE Характеристики и статус SE Storage Element 40

Запуск задания Enabling Grids for E-scienc. E LFC UI submitted Network Server RB storage CE получает запрос и посылает задание на выполнение LRMS Файлы из Input Sandbox Computing Element Inform. Service Workload Manager waiting ready Job Contr. Condor. C Задание Job Status scheduled Характеристики. и статус CE Характеристики и статус SE Storage Element 41

Запуск задания Enabling Grids for E-scienc. E LFC UI submitted Network Server RB storage Inform. Service Workload Manager Job Contr. Condor. C Job Status waiting ready LRMS управляет выполнением задания scheduled running Computing Element Доступ к данным “через Грид” Storage Element 42

Запуск задания Enabling Grids for E-scienc. E LFC UI submitted Network Server RB storage Файлы из Output Sandbox Job Status Inform. Service Workload Manager waiting ready Job Contr. Condor. C scheduled running Computing Element Storage Element done 43

Запуск задания Enabling Grids for E-scienc. E LFC UI submitted Network Server RB storage Job Status Inform. Service Workload Manager waiting ready glite-wms-get-output <job-id> Job Contr. scheduled Condor. C running Computing Element Storage Element done 44

Запуск задания Enabling Grids for E-scienc. E UI Файлы из Output Sandbox RB storage LFC Job Status submitted Network Server Inform. Service Workload Manager waiting ready Job Contr. Condor. C scheduled running Computing Element Storage Element done cleared 45

Выполнение задания Enabling Grids for E-scienc. E SUBMITTED - задание послано пользователем, но пока не обработано Network Server WAITING - задание принято Network Server, но ещё не обработано Workload Manager READY - заданию назначен Computing Element, но оно туда ещё не передано SCHEDULED - задание ожидает в очереди на Computing Element RUNNING - задание выполняется DONE - задание завершилось ABORTED - задание снято WMS (т. к. слишком долгое, срок действия сертификата истёк, и т. п. ) CANCELLED - задание снято пользователем CLEARED - Output Sandbox передан на User Interface 46