Грид технологии Лекция 7 Архитектура Globus Toolkit Радченко

Грид технологии Лекция 7 Архитектура Globus Toolkit Радченко Глеб Игоревич, каф. СП, ЮУр. ГУ http: //dom. susu. ru/grid. htm

Содержание 2 1. Обеспечение безопасности в GT 4 2. Компоненты управления данными 3. Управление выполнением задач 4. Информационные службы

1 Обеспечение безопасности в GT 4

Globus Toolkit v 4 www. globus. org Data Replication Credential Mgmt Grid Telecontrol Protocol Delegation Data Access & Integration Community Scheduling Framework Web. MDS Python Runtime Community Authorization Reliable File Transfer Workspace Management Trigger C Runtime Authentication Authorization Grid. FTP Grid Resource Allocation & Management Index Java Runtime Security 4 Replica Location Data Mgmt Execution Mgmt Info Services Common Runtime

Безопасность GT 5 Контроль доступа к разделенным ресурсам Обеспечение управления доступом, например разделение политик доступа для рабочих групп Поддержка многопользовательских объединений Объединение служб посредством взаимно-доверяемых Поддержка динамического определения доверяемых областей пользователями и ВО Персональная (или ВО) коллекция ресурсов, которые работают вместе на базе доверия пользователя (ВО).

Безопасность GT 4 Authz Callout: SAML, XACML SSL/WS-Security c сертификатами Службы (работают на доступа стороне пользователя) Доступ Вычислительный центр CAs или VOMs выпускают сертификаты SAML или X. 509 Пользователи Права Local policy on VO identity or attribute authority 6 Права My. Proxy ВО Права KCA

Безопасность GT 4 7 Аутентификация на основе открытого ключа Расширяемая инфраструктура авторизации на основе стандартов Web-служб Идентификатор авторизации SAML Интегрированный механизм обработки политик язык XACML и т. п. Службы управления сертификатами My. Proxy Служба Групповой Авторизации Отдельная служба делегирования

8 Использование стандартов безопасности GT 4 Поддерживается но медленный Поддерживается но не безопасный Самый быстрый по умолчанию

Интеграция GT и XACML 9 e. Xtensible Access Control Markup Language — расширяемый язык разметки контроля доступа стандарт OASIS, открытая реализация XACML: сложный язык работы с политиками GT предоставляет среду исполнения XACML Включена в каждом клиенте и сервере GT … которая может быть прозрачно вызвана из среды исполнения или пользовательского приложения.

10 Инфраструктура авторизации GT

Другие службы безопасности 11 My. Proxy Упрощенное управление сертификатами Интеграция с Web-порталами (Tomcat) Поддержка единого входа KCA & kx. 509 Интеграция с доменами Kerberos Simple. CA Генерация сертификатов Online

2 Компоненты управления данными

Globus Toolkit v 4 www. globus. org Data Replication Credential Mgmt Grid Telecontrol Protocol Delegation Data Access & Integration Community Scheduling Framework Web. MDS Python Runtime Community Authorization Reliable File Transfer Workspace Management Trigger C Runtime Authentication Authorization Grid. FTP Grid Resource Allocation & Management Index Java Runtime Security 13 Replica Location Data Mgmt Execution Mgmt Info Services Common Runtime

GT 4 Data Management 14 Хранение/перемещение больших объемов данных с/на узлы Определение местонахождения необходимой информации Replica Location Service (RLS) Реплики данных для увеличения производительности Grid. FTP, Reliable File Transfer (RFT) Отдельно, и интегрировано с GRAM Distributed Replication Service (DRS) Обеспечение доступа к различным источникам данных Файловые системы параллельные файловые системы, иерархические системы хранения: Grid. FTP Базы данных: OGSA DAI

Grid. FTP в GT 4 15 Поддержка IPv 6 Расширенный ввод/вывод (XIO) для различных транспортных протоколов Разделение на полосы (Striping) скорости передачи данных порядка мульти-Gb/sec 27 Gbit/s на 30 Gbit/s канале Подключаемый Front-end: канал, контролируемый WS Back-end: HPSS, кластерная файловая система Передача: UDP, Net. BLT transport

16 Reliable File Transfer: надежный протокол передачи l Передача: запустил и забыл l Интерфейс Web-служб l Интегрированная система RFT Client SOAP Messages Notifications (Optional) RFT Service восстановления Grid. FTP Server Master DSI Protocol Interpreter Grid. FTP Server Data Channel Protocol Interpreter IPC Link IPC Receiver Slave DSI Master DSI Data Channel Slave DSI 16 IPC Receiver

Replica Location Service 17 Позволяет определить положение файлов посредством карты имен: логических в физические Распределенный индекс имен Управление ~40 миллионами файлов на ~10 сайтах Index Local Update Bloom DB send filter (secs) (bits) 10 K <1 2 1 M 1 M 2 24 10 M 5 M 7 175 50 M

OGSA-DAI 18 Предоставляет сервисно-ориентированный доступ к структурированным ресурсам данных как часть системы Globus Определяет интерфейсы доступа к различным типам хранилищ данных (начиная с реляционных и XML)

OGSA-DAI: инфраструктура для разработки приложений 19 Поддерживает доступ к данным Поддерживает передачу данных SOAP над HTTP FTP; Grid. FTP E-mail Inter-service Поддерживает трансформацию данных Реляционные: My. SQL, Oracle, DB 2, SQL Server, Postgres XML: Xindice, e. Xist Файлы – CSV, Bin. X, EMBL, OMIM, SWISSPROT, … XSLT ZIP; GZIP Поддерживает безопасность X. 509 certificate based security

Инфраструктура OGSA-DAI Application Client Toolkit 20 OGSA-DAI service Engine SQLQuery read. File XPath XSLT GZip Grid. FTP Действия JDBC XMLDB File Ресурсы данных SQL My. SQL DB 2 Server XIndice SWISS 20 PROT Базы данных

Пример расширения 21 OGSA-DAI service Engine SQLQuery Multiple JDBC SQL GDS SQL JDBC My. SQL SQL JDBC

OGSA-DAI: другие свойства 22 Инфраструктура для создания клиентов Библиотека Client Toolkit library Инфраструктура для разработки функциональности Возможность расширения существующих или создания собственных действий Возможность объединения действий Высоко-расширяемая Возможность «затачивать» продукт Разработка собственных служб, клиентских приложений и собственной функциональности (в зависимости от данных)

3 Управление выполнением задач

Data Replication Credential Mgmt Grid Telecontrol Protocol Delegation Data Access & Integration Community Scheduling Framework Web. MDS Python Runtime Community Authorization Reliable File Transfer Workspace Management Trigger C Runtime Authentication Authorization Grid. FTP Grid Resource Allocation & Management Index Java Runtime Security 24 Replica Location Data Mgmt Execution Mgmt Info Services Common Runtime

25 Управление исполнением (GRAM) Общий интерфейс для планировщиков на основе WS Unix, Condor, LSF, PBS, SGE, … Обобщенно: интерфейс для управления процессами Формирование среды исполнения Загрузка данных Мониторинг и управление жизненным циклом Завершение работы, очистка

Архитектура GT 4 WS GRAM Service host(s) and compute element(s) 26 Job tions func Delegate GT 4 Java Container GRAM services Transfer Delegation request RFT File Transfer SEG Compute element Local job control Deleg ate sudo Client Job events GRAM adapter Grid. FTP control Local scheduler User job FTP data Grid. FTP Remote storage element(s)

Архитектура GT 4 WS GRAM Service host(s) and compute element(s) 27 Job tions func Delegate GT 4 Java Container GRAM services Transfer Delegation request RFT File Transfer SEG Compute element Local job control Deleg ate sudo Client Job events GRAM adapter Grid. FTP control Local scheduler User job FTP data Сертификат может быть передан приложению Grid. FTP Remote storage element(s)

Архитектура GT 4 WS GRAM Service host(s) and compute element(s) 28 Job tions func Delegate GT 4 Java Container GRAM services Transfer Delegation request RFT File Transfer SEG Compute element Local job control Deleg ate sudo Client Job events GRAM adapter Grid. FTP control Local scheduler User job FTP data Сертификат может быть передан для авторизации в RFT Grid. FTP Remote storage element(s)

Архитектура GT 4 WS GRAM Service host(s) and compute element(s) 29 Job tions func Delegate GT 4 Java Container GRAM services Transfer Delegation request RFT File Transfer SEG Compute element Local job control Deleg ate sudo Client Job events GRAM adapter Grid. FTP control Local scheduler User job FTP data Сертификат может быть использован для аутентификации В Grid. FTP Remote storage element(s)

30 Производительность WS GRAM Время постановки базового задания GRAM: < 1 секунды WS GRAM: 2 секунды Pre-WS Максимальное количество заданий GRAM: 300 заданий WS GRAM: 32, 000 заданий (максимум папок в директории) Pre-WS

31 Workspace Service: Служба рабочего пространства Политика Согласование доступа Инициация задачи Клиент Мониторинг задачи Контроль задачи Задача Окружение Интерфейс Поставщик ресурса

Задачи могут быть вложенные 32 Клиент Политика Клиент Среда Интерфейс Поставщик ресурсов 32

Например 33 Установить службу Установить контейнер Установить виртуальную машину Установить гипервизор/OS Обеспечить аппаратные ресурсы JVM VM VM Гипервизор/OS Физическая машина Инициация, управление и мониторинг на всех уровнях

34 Динамическое развертывание служб Сообщество А • Групповые механизмы планирования • Распределение данных • Групповой менеджмент • Научные службы • . . . … Сообщество Z Требования: • Управление группами • Устойчивость • Гарантированные ресурсы • Изолированность (принцип «невмешательства

35 Затраты на использование виртуальных машин Job in booted VM GRAM job in paused VM GRAM job

4 Информационные службы

Data Replication Credential Mgmt Grid Telecontrol Protocol Delegation Data Access & Integration Community Scheduling Framework Web. MDS Python Runtime Community Authorization Reliable File Transfer Workspace Management Trigger C Runtime Authentication Authorization Grid. FTP Grid Resource Allocation & Management Index Java Runtime Security 37 Replica Location Data Mgmt Execution Mgmt Info Services Common Runtime

Мониторинг и обнаружение 38 Должны поддерживаться стандартные механизмы мониторинга и обнаружения служб WSRF/WSN предоставляют такие механизмы Общая инфраструктура для сбора информации: кешируемые Xpath запросы MDS-Trigger: выполнение действия по условию MDS-Index: Глубокая интеграция с контейнерами и службами Globus: каждая служба GT 4 может быть обнаружена GRAM, RFT, Grid. FTP, CAS, …

39 Мониторинг и обнаружение Клиенты служб GT 4 (Web. MDS) GT 4 Container WS-Service. Group MDSIndex Регистрация и доступ WSRF/WSN GT 4 Container MDSIndex Автомат. регистрация в контейнере GRAM User adapter GT 4 Cont. Особые протоколы для не-WS сущностей MDSIndex Grid. FTP RFT

40 Производительность сервера индекса По мере роста индекса MDS 4, замедляется время обработки запроса, хотя и менее чем линейно Время ответа увеличивается в связи с увеличивающимся объемом передаваемых данных Ответ перестраивается под каждый запрос

Поставщики информации 41 Поставщики информации (information providers) GT 4 собирают информацию с определенной системы и предоставляют в виде свойств ресурса WSRF Количество поставщиков информации постоянно растет Ganglia, Clu. Mon, Nagios SGE, LSF, Open. PBS, PBSPro, Torque Множество попыток разработки новых поставщиков Например мониторинг сетей, систем хранения, сенсоров

Выводы GT 4 42 Your Ваш Python клиент Client (Python) Совместимые с WS-I сообщения SOAP СЕРВЕР Службы Java на Apache Axis плюс библиотеки и обработчики GT Your Ваш C клиент Client (С) Your Ваш Python клиент Client (Python) py. Globus WS Core C WS Core Хостинг на Python, библиотеки GT Службы на C, использующие библиотеки GT Pre-WS MDS Ваша служба (С) Pre-WS GRAM Ваша служба (Python) RLS X. 509 сертификаты = общая аутентификация GRAM RFT Delegation Index Trigger Archiver CAS OGSA-DAI GTCP Your Ваша Java служба Service (Java) Your Ваш Java клиент Client (Java) My. Proxy Your Ваш C клиент Client (С) Simple. CA Your Ваш Java клиент Client (Java) Grid. FTP КЛИЕНТ

Ссылки и литература 43 Я. Фостер, К. Кессельман, Д. М. Ник, С. Тьюке “ФИЗИОЛОГИЯ ГРИД”. Открытая архитектура гридслужб для интеграции распределённых систем. [http: //www. gridclub. ru/library/publication. 2004 -1129. 8307957187/publ_file/] Borja Sotomayor. The Globus Toolkit 4 Programmer’s Tutorial. November 2005. http: //gdp. globus. org/gt 4 tutorial/download/progtutorial-pdf_0. 2. 1. tar. gz] Globus Toolkit 4. 2. 1 Release Manuals [http: //wwwunix. globus. org/toolkit/docs/4. 2. 1/]

Презентации 44

Спасибо за внимание! Ваши вопросы? Страница курса: http: //dom. susu. ru/grid. htm Радченко Глеб Игоревич, каф. СП, ЮУр. ГУ