NA 3 Induction Courses Е Новодворский ПИЯФ Гатчина

NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Что такое Grid? 1

Первое упоминание о ГРИД 1997 Национальный Научный Фонд США (NSF) инициировал новую программу развития информационных технологий Partnerships for Advanced Computational Infrastructure (PACI) Впервые возникла концепция Грид-инфраструктуры, как некая аналогия электроэнергетической инфраструктуры есть сетевая компонента и множество узлов компьютерных ресурсов (электростанций) NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 2

Что такое Grid? Отдельный компьютер (РС) Прикладное ПО Операционная система РС Ресурсы РС Диски, процессор, память … NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 3

Что такое Grid? Отдельный компьютер Прикладное ПО Операционная система Ресурсы РС Локальная сеть Прикладное ПО Промежуточное ПО для соединения с другими узлами (компьютеры, серверы, …) Операционная система каждого узла Ресурсы узла NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 4

Что такое Grid? Отдельный компьютер Прикладное ПО Локальная сеть Прикладное ПО Промежуточное ПО для соединения с другими ресурсами Операционная система каждого узла Ресурсы узла Операционная система Ресурсы РС Следующий шаг - Грид Прикладное ПО Промежуточное ПО для соединения с другими локальными сетями… Промежуточное ПО для соединения с другими узлами (компьютеры, серверы, …) Операционная система каждого узла Ресурсы узла 5

Предпосылки Что такое Grid? Сравнение отдельных характеристик Кластер Управление ресурсами аспределени е ресурсов Аппаратные компоненты Средства коммуникаци и Конфигураци я Для чего служит Централизован ное Однотипные компьютерные модули Локальная сеть Сервер Решение отдельных задач различной сложности Распределенны е вычисления Распределенн ое Централизованн ое Компьютерные ресурсы организации Локальная, корпоративная или региональная сеть Специализированный комплекс компьютеров, одноуровневая компьютерная инфраструктура… Обслуживание корпоративной деятельности, запросов анонимных клиентов NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ГРИД Распределенное Децентрализованное с учетом приоритета локального управления Компьютерные ресурсы Грид Интернет, региональная или корпоративная сеть Многоуровневая компьютерная инфраструктура Обслуживание деятельности пользователей Грид 6

Что такое Grid? (Ian Forster: “What is Grid”, 2002 г. ) «Грид – это система, которая: координирует использование ресурсов при отсутствии централизованного управления этими ресурсами использует стандартные, открытые, универсальные протоколы и интерфейсы обеспечивает высококачественное обслуживание» NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 7

Что такое Grid? В прагматическом понимании Грид – это концепции и технологии интеграции расположенных в разных местах телекоммуникационной сети (т. е. распределенных) компьютерных систем для обеспечения более эффективного использования ресурсов и решения прикладных задач принципиально нового уровня сложности. NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 8

Что такое Grid? С точки зрения распределенной обработки данных Грид – это q концепции, q технологии, q методы и средства, позволяющие распределенн т. е различающиеся виртуальная динамически интегрировать ые üплатформами исполнитель гетерогенные üсетевыми ная среда ресурсы протоколами и предоставляющие услуги üадминистрированием … для использования этой среды NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 9

Предпосылки Что такое Grid? Идеальная Грид-инфраструктура должна обеспечивать доступ к ресурсам так, чтобы различия между üплатформами üсетевыми протоколами üадминистративными границами стали совершенно прозрачными NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 10

Зачем? Необходимость решения сложных научных, производственных, инженерных и бизнес-задач Наука все больше делается через распределенные глобальные коллаборации с использованием internet Желание расширить границы научного открытия вычислительным анализом и моделированием (e-Science) ГРИД предоставляет доступ к: –Очень большим наборам данных –Огромным (тера…) вычислительным ресурсам –Высокопроизводительной визуализации –Высокоскоростным сетям NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 11

Почему это можно сделать Производительность микропроцессоров неизменно увеличивается Можно купить многогигафлопную систему менее чем за € 800 Стремительное развитие и доступность сетевой транспортной среды и технологий высокоскоростной передачи данных В Европе сеть GEANT связывает 32 страны со скоростью до 10 Gbps (и выше) В UK прошли от 100 Mbps -> 10 Gbps. С 2000 г 1 Gbps обычно доступны для настольных систем Наличие во многих организациях вычислительных ресурсов – суперкомпьютеров или кластеров персональных компьютеров Традиционные технологии интернет хорошо развиты NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 12

Уже существует масса Грид-систем… Необходимость решения сложных задач e-Science Наличие вычислителных ресурсов Увеличение производительности микропроцессоров доступность сетевой транспортной среды Технологии Интернет NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 13

Уже существует масса Грид-систем… Некоторые Грид проекты • UK – OGSA-DAI, Reality. Grid, Geo. Dise, Comb-e-Chem, Discovery. Net, DAME, Astro. Grid, Grid. PP, My. Grid, GOLD, e. Diamond, Integrative Biology, … • NASA Information Power Grid • Data. Grid (CERN, . . . ) • DOE Science Grid • NSF National Virtual Observatory • Euro. Grid (Unicore) • NSF Gri. Phy. N • DOE Particle Physics Data Grid • Data. Tag (CERN, …) • NSF Tera. Grid • Netherlands – VLAM, Polder. Grid • DOE ASCI Grid • Germany – UNICORE, Grid proposal • DOE Earth Systems Grid Astrophysical Virtual Observatory • France – Grid funding approved • DARPA Co. ABS Grid • GRIP (Globus/Unicore) • Italy – INFN Grid • NEESGrid • GRIA (Industrial applications) • DOH BIRN -Switzerland - Network/Grid proposal • Grid. Lab (Cactus Toolkit) • NSF i. VDGL • Hungary – Demo. Grid, Grid proposal • Norway, Sweden – Nordu. Grid Norway • Cross. Grid (Infrastructure Components) • EGSO (Solar Physics) NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 14

Уже существует масса Грид-систем… Грид в России q Телекоммуникационный центр "Наука и общество" q Биологи: Институт молекулярной биологии РАН Институт биологии гена РАН Институт биомедицинской химии РАМН q Физики: Институт теоретической и экспериментальной физики НИИ ядерной физики МГУ Институт Космических исследований РАН Объединённый институт ядерных исследований (Дубна) Институт физики высоких энергий (Протвино) Петербургский Институт Ядерной Физики (Гатчина) q Химики: Институт химической физики РАН Институт органической химии РАН q Медики: Институт иммунологии МЗ Институт вирусологии РАМН Институт биохимии РАМН Институт вакцин и сывороток РАМН Научный центр хирургии РАМН q Международный институт теории прогнозов NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 15

Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложение ГРИД - системы работают со следующими типами ресурсов: • Вычислительные ресурсы - компьютеры, кластеры Основная характеристика – производительность • Ресурсы хранения данных диски и дисковые массивы, ленты, системы массового хранения Основная характеристика – объем • Сетевые ресурсы связующее звено между распределенными ресурсами ГРИД Основная характеристика – скорость передачи данных • Программное обеспечение • Информационные ресурсы особый вид ресурсов памяти, служат для хранения и предоставления метаданных и информации о других ресурсах ГРИД NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 16

О распределении ресурсов в Грид Ресурсы Виртуальные организации Middleware Безопасность Приложение Основные задачи Грид – системы • эффективное распределение ресурсов • координация ресурсов Для решения этих задач используется планировщик (брокер ресурсов) ресурсов • определяет наиболее подходящие ресурсы для каждой конкретной задачи • резервирует их для ее выполнения Во время выполнения задачи она может запросить у планировщика дополнительные ресурсы или освободить избыточные. После завершения задачи все отведенные для нее вычислительные ресурсы освобождаются, а ресурсы памяти могут быть использованы для хранения результатов работы. NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 17

О распределении ресурсов в Грид Ресурсы Виртуальные организации Middleware Безопасность Приложение Важное свойство Грид – системы пользователю не нужно знать о физическом расположении ресурсов, отведенных его задаче Для пользователя создается иллюзия работы в едином информационном пространстве с огромными вычислительными мощностями и объемом памяти NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 18

О распределении ресурсов в Грид Ресурсы Виртуальные организации Middleware Безопасность Приложение Очень важная проблема Грид – системы обеспечение надежного функционирования и восстановления при сбоях Контроль над ошибками возлагается на систему мониторинга, которая следит за состоянии отдельных ресурсов. Если ошибка произошла по вине: задачи задача останавливается, а диагностика направляется ресурсаее владельцу планировщик перераспределит ресурсы и перезапустит задачу NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 19

О распределении ресурсов в Грид Ресурсы Виртуальные организации Middleware Безопасность Приложение Сбой ресурсов – не единственная причина отказа в Грид – системах Перегруженный ресурс может стать причиной отказа значительного количества других ресурсов Планировщик, используя систему мониторинга, предотвращает перегрузки и простои ресурсов «Единственная точка сбоя» отказ любого ресурса не должен приводить к сбою в работе всей системы При отказе любого ресурса планировщик произведет перераспределение ресурсов перезапустит задачу NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) и 20

Виртуальные организации Ресурсы Виртуальн ые организаци и Middleware Безопасность Приложение Инфраструктура ГРИД основана на • предоставлении ресурсов в общее пользование • использовании публично доступных ресурсов в Виртуальные Организации кооперируются как потребители, так и владельцы ресурсов Мотивы кооперации - разные В существующих Грид - системах ВО – коллаборация специалистов из некоторой прикладной области, которые объединяются для достижения общей цели NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 21

Виртуальные организации Ресурсы Виртуальн ые организаци и Middleware Безопасность Приложение ГРИД-система – это среда коллективного компьютинга, в которой: каждый ресурс имеет своего владельца, доступ к ресурсам открыт в разделяемом по времени и по пространству режиме множеству входящих в ВО пользователей Можно определить ГРИД-систему как пространственно распределенную операционную среду с гибким, безопасным и скоординированным разделением ресурсов для выполнения приложений в рамках Виртуальной Организации NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 23

Терминология Ресурсы Виртуальны е организации Виртуальная Организация Middleware Безопасность Приложение располагает определенным количеством ресурсов, которые предоставлены зарегистрированными в ВО владельцами знает кто что делает, и кому не будет позволено делать это снова… контролирует доступ к описанным ресурсам устанавливает самостоятельно правила работы для своих участников может образовываться динамически и ограниченное время иметь существования обычно включает географически распределенных пользователей NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 24

Виртуальные организации – другой аспект брокер ресурсов ü принимает задание от пользователя ü согласует требования к ресурсам, содержащиеся в описании задания, с имеющимися в наличии свободными ресурсами и ü направляет задание на подходящий сайт. NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Ресурсы 25

Виртуальные организации – другой аспект VOMS Брокер Ресурсов Ресурс ы VOMS ВО n ВО 2 ВО 1 NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 26

Виртуальные организации – резюме Виртуальная организация представляет собой новую форму проблемно – ориентированной кооперации предприятий, научных центров, образовательных учреждений, а так же отдельных пользователей, пользователей осуществляемую на основе совместного использования принадлежащих им интеллектуальных, программных, информационных и аппаратных ресурсов NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) 27

Важные свойства ГРИД – инфраструктур § Распределенность на множестве административных доменов и автономизация 2. Гетерогенность 3. Масштабируемость 4. Динамичность или адаптивность NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

ГРИД – направление отрасли информационных технологий, поддерживающее следующие приложения 1. Высокопроизводительный компьютинг 2. Компьютинг с высокой пропускной способностью 3. Компьютинг по запросу (on-demand) 4. Компьютинг больших массивов данных (data-intensive) 5. Компьютинг поддержки сотрудничества (виртуальных организаций) NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

1 1. 2. 3. 4. 5. Высокопроизводительный компьютинг Компьютинг с высокой пропускной способностью Компьютинг по запросу (on-demand) Компьютинг больших массивов данных (data-intensive) Компьютинг поддержки сотрудничества (виртуальных организаций) Высокопроизводительный компьютинг агрегатирование компьютерных ресурсов для решения очень больших задач, которые не могут быть выполнены на какой-то одной компьютерной установке. Примеры: интерактивное моделирование военных действий, моделирование сложных физических процессов астрофизика, газовая динамика, прогнозирование погоды … NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

1. 2. 3. 4. 5. Высокопроизводительный компьютинг Компьютинг с высокой пропускной способностью Компьютинг по запросу (on-demand) Компьютинг больших массивов данных (data-intensive) Компьютинг поддержки сотрудничества (виртуальных организаций) 2 Компьютинг с высокой пропускной способностью утилизация свободного процессорного времени в пуле доступных компьютеров для обслуживания большого потока слабосвязанных или независимых задач. Примеры: использование множества распределенных рабочих станций для решения сложных задач криптографии, проектирования и анализа. . NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

3 1. 2. 3. 4. 5. Высокопроизводительный компьютинг Компьютинг с высокой пропускной способностью Компьютинг по запросу (on-demand) Компьютинг больших массивов данных (data-intensive) Компьютинг поддержки сотрудничества (виртуальных организаций) Компьютинг по запросу (on-demand) обеспечение возможности быстрого и краткосрочного доступа к ресурсам, которые не могут быть все размещены локально по техническим или экономическим условиям, т. е. обеспечение разделения дефицитных ресурсов: • • Примеры: Компьютеры Программное обеспечение Репозитарии данных Датчики… выделение ресурсов, планирование, управление программным проектом, обеспечение безопасности, расчетно - платежные процедуры. . . NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

4 1. 2. 3. 4. 5. Высокопроизводительный компьютинг Компьютинг с высокой пропускной способностью Компьютинг по запросу (on-demand) Компьютинг больших массивов данных (data-intensive) Компьютинг поддержки сотрудничества (виртуальных организаций) Компьютинг больших массивов данных (data-intensive) обеспечение процесса синтеза новой информации из данных, накапливаемых в географически распределенных репозитариях, электронных библиотеках, базах данных. . . NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

5 1. 2. 3. 4. 5. Высокопроизводительный компьютинг Компьютинг с высокой пропускной способностью Компьютинг по запросу (on-demand) Компьютинг больших массивов данных (data-intensive) Компьютинг поддержки сотрудничества (виртуальных организаций) Поддержка кооперативной деятельности реальных участников виртуальных организаций, предоставляющие свои ресурсы для выполнения совместных проектов NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Важные свойства ГРИД – 1 1. 2. 2. 3. Распределенность Гетерогенность Масштабируемость Динамичность Распределенность на множестве административных доменов и автономизация Ресурсы географически распределены и принадлежат различным организациям, их подразделениям или даже отдельным пользователям, и поэтому: ü Не допускается какое-либо вмешательство в техническую политику административного сайта или автономии ü Нельзя подвергать риску уже используемую службу безопасности пользователей или удаленных сайтов ü Нельзя заменять уже используемые операционные системы, сетевые протоколы, или службы ü Необходимо обеспечить возможность удаленным сайтам легко подключаться или отключаться от инфраструктуры ü Необходимо обеспечить надежность и устойчивость к отказам в узлах виртуальной организации NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Важные свойства ГРИД – 2 1. 2. 3. 4. Распределенность Гетерогенность Масштабируемость Динамичность или Гетерогенность ü Нельзя устанавливать ограничений на парадигмы программирования, языки, инструментарии или библиотеки, выбираемые пользователем ü Необходимо обеспечивать интероперабельность гетерогенных компонент ü Необходимо использовать стандарты и существующие технологии, и давать средства взаимодействия с наследуемыми приложениями NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Важные свойства ГРИД – 3 1. 2. 3. 4. Распределенность Гетерогенность Масштабируемость Динамичность Масштабируемость ГРИД – система должна сохранять работоспособность при значительном увеличении или уменьшении ее состава (рост ГРИД порождает проблему снижения производительности, поэтому приложения, требующие большого числа географически распределеных ресурсов, должны проектироваться с учетом латентности инфраструктуры) NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Важные свойства ГРИД – 4 1. 2. 3. 4. Распределенность Гетерогенность Масштабируемость Динамичность или адаптивность Управление ресурсами и приложениями должно быть организовано с учетом того факта, что в грид-инфраструктуре отказ скорее правило, чем исключение. Необходимо обеспечить надежность и устойчивость к отказам в узлах виртуальной организации NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Предпосылки Архитектура грид: q Определяет системные компоненты, цели и функции этих компонент q Отражает способы взаимодействия компонент друг с другом. q Представляет собой архитектуру взаимодействующих протоколов сервисов интерфейсов, определяющих базовые механизмы, посредством которых пользователи устанавливают соединения с Грид-системой, совместно используют вычислительные ресурсы для решения разного рода задач. NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Предпосылки Архитектура протоколов грид: q Задает требования для основных компонент q Не предоставляет строгий набор спецификаций для них q Оставляет возможность их развития в рамках принятой концепции NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Предпосылки Уровни архитектуры протоколов Гр Прикладной Коллективный Ресурсный Связывающий Базовый NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Прикладной Транспортный Сетевой Канальный У р о в ни пр о т о к о л о в И нт е р не т У р о в ни пр о т о к о л о в Г Р И Д и их соответствие уровням архитектуры протоколов Интернет

Предпосылки Базовый уровень- Fabric Layer Прикладной Коллективный Ресурсный Связывающий Базовый Описывает службы, непосредственно работающие с ресурсами. Ресурсы ГРИД Вычислительные ресурсы Ресурсы памяти Сетевые ресурсы NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Информационные ресурсы

Предпосылки Уровень связи – Connectivity Layer Прикладной Коллективный Ресурсный Связывающий Базовый Определяет коммуникационные протоколы и протоколы аутентификации q Коммуникационные протоколы обеспечивают обмен данными между компонентами базового уровнями q Протоколы аутентификации предоставляют криптографические механизмы для идентификации и проверки подлинности пользователей и ресурсов NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Предпосылки Ресурсный уровень – Resource Layer Прикладной Коллективный Ресурсный Связывающий Построен над протоколами коммуникации и аутентификации уровня связи архитектуры ГРИД Базовый Реализует протоколы, обеспечивающие: q Согласование политик безопасности использования ресурса q Процедуру инициации ресурса q Мониторинг состояния ресурса q Контроль над ресурсом q Учет использования ресурса NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Предпосылки Ресурсный уровень – Resource Layer Прикладной Коллективный Ресурсный Связывающий Базовый Различают два основных класса протоколов этого уровня: Информационные протоколы Получают информацию о структуре и состоянии ресурса - Конфигурация - Текущая загрузка - Политика использования… Протоколы управления согласование доступа к разделяемым ресурсам NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Предпосылки Коллективный уровень – Collective Layer Прикладной Коллективный Отвечает за глобальную интеграцию различных наборов ресурсов Ресурсный (в отличие от ресурсного уровня, сфокусированного на работе с отдельными ресурсами). Связывающий Базовый На этом уровне различают общие протоколы: протоколы обнаружения и выделения ресурсов системы мониторинга и авторизации сообществ… специфические протоколы для различных приложений ГРИД: протокол архивации распределенных данных протоколы управления задачами сохранения… NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Предпосылки Коллективный уровень – Collective Layer Прикладной Коллективный Компоненты этого уровня предлагают большое Ресурсный Связывающий разнообразие методов совместного использования ресурсов. Базовый Сервисы каталогов позволяют ВО обнаруживать свободные ресурсы, выполнять запросы по именам и типам ресурсов Сервисы совместного выделения, планирования и распределения ресурсов обеспечивают выделение ресурсов для определенной цели, планирование выполняемых на ресурсах задач Сервисы мониторинга и диагностики отслеживают аварии, атаки и перегрузку Сервисы дублирования (репликации) данных координируют использование ресурсов памяти в рамках ВО Сервисы управления рабочей загрузкой применяются для описания и управления многошаговыми, асинхронными, многокомпонентными заданиями Службы авторизации сообществ способствуют улучшению правил доступа к разделяемым ресурсам Службы учета и оплаты обеспечивают сбор информации об использовании ресурсов Сервисы координации поддерживают обмен информацией в сообществе NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Предпосылки Прикладной уровень – Application Layer Прикладной Коллективный Ресурсный Связывающий Базовый Описывает пользовательские приложения, работающие в среде виртуальной организации Приложения функционируют, используя сервисы (службы), определенные на нижележащих уровнях. На каждом уровне имеются: определенные протоколы, обеспечивающие доступ к необходимым службам прикладные программные интерфейсы (Application Programming Interface – API), соответствующие данным протоколам NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Предпосылки Идеальная Грид-инфраструктура должна: Обеспечивать доступ к ресурсам так, чтобы различия между ü платформами ü сетевыми протоколами ü административными границами стали совершенно прозрачными По существу промежуточное программное обеспечение ГРИД (middleware) превращает гетерогенную базу грид-инфраструктуры в единую гомогенную. NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложение Мобильный доступ G R I D Рабочие станции M I D D L E W A R E Суперкомпьютера, PC-кластеры Хранилища данных, эксперименты, … Визуализация Internet, сети NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Middleware Ресурсы Виртуальные организации Middleware Безопасность Приложение Обеспечивает общие услуги Grid ü ü ü Информация Управление Заданиями Управление Данными Безопасность Регистрация Мониторинг NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложение Инфраструктура безопасности ГРИД (GRID Security Infrastructure – GSI) обеспечивает безопасную работу в незащищенных сетях общего доступа (Интернет). GSI предоставляет такие сервисы, как q Аутентификация и авторизация Аутентификация: Кто я? - “эквивалент” ID card …. Авторизация: Что я могу делать? Есть у меня доступ к запрашиваемым ресурсам? - Запреты, обязанности … q Конфиденциальность передачи информации q Единый вход в ГРИД-систему пользователю нужно лишь один раз пройти процедуру аутентификации, а далее система сама позаботится о том, чтобы аутентифицировать его на всех ресурсах, которыми он собирается воспользоваться GSI основана на надежной и широко используемой инфраструктуре криптографии с открытым ключём (Public Key Infrastructure – PKI) В качестве идентификаторов пользователей и ресурсов в GSI используются цифровые сертификаты Х. 509. NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложение Использование персональных сертификатов составляет основу системы безопасности Грид. Сертификат - это открытый ключ пары ключей шифрования "открытый ключ - закрытый ключ“ (закрытый ключ доступен только Вам), вместе с некоторой персональной информацией, такой как Ваше имя, адрес электронной почты и т. д. с цифровой сертификатов задействованы 3 стороны: В процедуре выдачи / получения подписью сертификационного центра (CA). 1. Центр сертификации (Certificate Authority – CA) 1. 2. Специальная организация с полномочиями выдавать цифровые сертификаты. Отношения между СА и клиентами регулируются специальным документом. 2. Подписчик Человек или ресурс, который пользуется сертификационными услугами СА. СА включает в сертификат данные, предоставляемые подписчиком (имя, организация…) и ставит на нем свою цифровую подпись 3. Пользователь Человек или ресурс, полагающийся на информацию из сертификата при получении его от подписчика. NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложение Для входа в ГРИД-систему пользователь должен: 1. Быть легальным пользователем вычислительных ресурсов в своей организации 2. Иметь персональный цифровой сертификат, подписанный СА 3. Быть зарегестрированным хотя бы в одной виртуальной организации NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Аутентификация и авторизация Ресурсы Виртуальные организации Middleware Безопасность UI JDL Пользователь Приложение CA 1 Аутентификация учёт использования ресурсов 2 3 авторизация ВО Ресурсы NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложения В ГРИД компьютинге "приложение" в основном имеет отношение к "слою" компонентов ГРИД. Приложение – это имя, используемое для обозначения программного обеспечения, которое выполняет вычислительную работу, управляет данными (доступ, загрузка, чтение. . . ). Прикладной уровень для каждого класса задач имеет свои особенности и взаимодействует с другими уровнями с использованием стандартных или собственных средств и сервисов (например, на основе наборов SDKs и интерфейсов APIs) NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Терминология Ресурсы Виртуальные организации Middleware Безопасность Приложения Типы приложений • • Интенсивные вычисления Интерактивная симуляция моделирование климата • Крупномасштабная симуляция формирование галактики, гравитационные волны, военные действия • Инженерия моделирование, структурный анализ • • Вычисления с большими объемами данных Анализ экспериментальных данных физика высоких энергий • Изображения, сенсорный анализ астрономия, климат • Онлайновые инструменты микроскопы, рентгентовские приборы • Удаленная визуализация климатические станции, биология NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Примеры Ресурсы Виртуальные организации Middleware Безопасность Приложения – Физика высоких энергий симуляция, реконструкция, анализ, … – Медицина / Здравоохранение отображение, диагностика и лечение – Биоинформатика геном человека, … – Нанотехнологии разработка новых материалов на молекулярном уровнe, … – Инженерия авиационная безопасность, … – Природные ресурсы и Окружающая среда прогноз погоды, … – Искусство – Материаловедение NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Физика высоких энергий - Эксперименты на LHC CERN Ресурсы Виртуальные организации Middleware Безопасность Приложения LHCb CMS ~6 -8 Петабайт / год ~108 событий/год ~103 пользователей ATLAS NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) ALICE

Биомедицина Ресурсы Виртуальные организации Middleware Безопасность Приложения – – – Филогенетика Статистическа генетика Паразитология Маммология … NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Искусство Ресурсы Виртуальные организации Middleware Безопасность Приложения Сканер Thomson Музей виртуального искусства El Pais (MUVA) http: //www 3. diarioelpais. com/muva/ NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Терминология Пользовательский интерфейс (UI) Элемент хранения (SE) Служба информации (IS) Вычислительный элемент (CE) выполняет фактические вычисления, на нем установлено программное обеспечение для выполнения заданий конечных пользователей. обеспечивает единообразный доступ к любым накопителям данных. Может управлять дисковыми массивами, массовой памятью и т. п. Скрывает детали и обеспечивает единообразный доступ к данным. Каталог реплик (RC, RLS) Поддерживает базу данных о местах хранения оригинальных файлов и всех их копий. Брокер ресурсов (RB) принимает задание от пользователя согласует требования к ресурсам, содержащиеся в описании задания, с имеющимися в наличии свободными ресурсами и направляет задание на подходящий сайт. NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Резюме

Что характеризует Grid систему? Гетерогенные ресурсы Собственность организаций и индивидуумов Различные требования безопасности Потенциальная недоступность ресурсов NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина) Соединение гетерогенных многоуровневых сетей Различные политики управления ресурсами Географическая распределенность

Взгляд на GRID Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения. Объединенные сетью центры обработки данных и соответствующее программное обеспечение ”middleware” как элемент, связывающий ресурсы Научные инструменты и эксперименты поставляют огромные массивы данных NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Сегодня Grid широко применяется · Ускоритель CERN · UK Science Grid · Национальный маммографический проект в Великобритании · Молекулярная биологии для моделирования структуры белка, анализа последовательностей ДНК …. · Бизнес — нефтяная отрасль, геологоразведка · В банковском деле · В автомобильной промышленности Grid позволяет ускорить и удешевить расчет виртуальных крэш-тестов · Airbus и Boeing используют технологию для постоянного контроля состояния двигателей и других агрегатов и узлов самолета - показания датчиков, непрерывно собирающих информацию, через спутник передаются на землю, где анализируются в сетях Grid · В телекоммуникационной отрасли потенциальной областью использования Grid являются онлайновые игровые системы, такие, как Butterfly. net · IBM активно использует технологию Grid для внутренних нужд (моделирование при создании микропроцессоров следующих поколений, таких, как Power 5 и Power 6” NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Полезные ссылки • • http: //www. gridclub. ru/ - Интернет-портал по грид- технологиям http: //grid. jinr. ru/ - грид-портал ОИЯИ http: //www. eu-egee. org - проект EGEE-II http: //www. egee-rdig. ru/ - RDIG консорциум http: //rocmon. jinr. ru: 8080/accounting/ - мониторинг RDIG http: //egee. sinp. msu. ru/gateway/index. php - НИИЯФ МГУ http: //egee. pnpi. nw. ru/ - ПИЯФ РАН NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)

Спасибо за внимание! NA 3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)