О технологии Грид и ее использовании Ю Ф

О технологии Грид и ее использовании Ю. Ф. Рябов

Содержание • Предпосылки создания и концепции технологии Грид • Проект EGEE • Национальные Грид инициативы • Российский Грид • Опорная сеть СПб. НЦ (РОКСОН) • Информация для контактов

Эволюция интернета Совместно используемые ресурсы - Grid Совместно используемая информация - World Wide Web Совместно используемые сети Сети соединяющие локальные ресурсы

Что такое Grid? “GRID” - некоторая аналогия с электрическими сетями (power grid), предоставляющими всеобщий доступ к электрической мощности.

Предпосылки создания Грид обусловлены • Стремительным развитием сетевой транспортной среды и технологий высокоскоростной передачи данных. • Наличием во многих организациях вычислительных ресурсов (часто кластеров) • Необходимостью решения сложных научных, инженерных и бизнес-задач

Компьютерные сети • Производительность – Вычислительные скорости удваиваются каждые 18 месяцев – Скорости сетей удваиваются каждые 9 месяцев – Разница на целый порядок за 5 лет • 1986 - 2000 – компьютеры: x 500 – сети: x 340 000 • 2001 - 2010 – компьютеры: x 60 – сети: x 4000

Цели создания Грид-инфраструктуры Среди основных целей создания Грид на данный момент можно выделить: - организация эффективного использования ресурсов - решение крупных задач, требующих огромных процессорных ресурсов, памяти; - вычисления с привлечением больших объемов географически распределенных данных, например, в метеорологии, астрономии, физике высоких энергий, медицине, химии и т. д. - коллективные вычисления, в которых одновременно принимают участие пользователи из различных организаций. .

Концепция Грид • Гибкое, защищённое, координированное пользование вычислительными ресурсами между различными динамичными группами пользователей и организаций. • Сделать возможным для различных групп пользователей (‘виртуальных организаций’) совместное использование географически удалённых ресурсов при совместной работе, подразумевая отсутствие централизованного расположения вычислительных ресурсов, централизированного управления ресурсными центрами Виртуальная организация- объединение(коллаборация) специалистов из некоторой прикладной области, которые объединяются для достижения общей цели

О технологии Грид § Распределенная программно-аппаратная компьютерная среда с принципиально новой организацией вычислений и управления потоками заданий и данных. § Компьютерная инфраструктура, предназначенная для объединения вычислительных мощностей различных организаций. На основе технологии Грид § Предполагается формирование региональных, национальных и интернациональных вычислительных компьютерных инфраструктур, предназначенных для решения крупных научно-технических задач. § В идеальном случае пользователя не будет интересовать, где находятся используемые им ресурсы.

О технологии Грид ü виртуализация ресурсов — концепция разделения и совместного использования логических и физических устройств в сети. ü среда, в которой объединены находящиеся в разных местах глобальной телекомунникационной сети вычислительные ресурсы и которая предназначена для выполнения распределенных приложений, использующих эти ресурсы ü технология распределенных вычислений в Интернете ü впервые серьезно ставится вопрос о гарантированном качестве обслуживания. ü новое поколение Интернета.

До Grid Пользователи из многих центров нуждаются в распределённых ресурсах. Различные протоколы и способы доступа – FTP, telnet, кровь, пот и слёзы… и очень слабая поддержка совместной работы в коллаборациях Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных

Вместе с Grid Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения. Объединенные сетью центры обработки данных и соответствующее программное обеспечение (”middleware”) - как элемент, “склеивающий” ресурсы Научные эксперименты, хранилища данных, результаты компьютерной обработки поставляют огромные массивы данных

ППО Грид (middleware) Мобильный доступ G R I D Рабочие станции M I D D L E W A R E Суперкомпьютеры, PC-кластеры Хранилища данных, эксперименты, … Визуализация Internet, сети

Службы Грид (g. Lite) Интерфейс Пользователя Доступ в Грид Информация и мониторинг Авторизация Аутентификация Безопасность Служба регистрации сервисов Информационная служба и мониторинг Каталог метаданных Каталог файлов и реплик Вычислительный элемент Элемент хранения Передача данных Выбор ресурса и загрузка заданий Управление данными Управление заданиями

Выбор ресурса брокер ресурсов ü принимает задание от пользователя ü согласует требования к ресурсам, содержащиеся в описании задания, с имеющимися в наличии свободными ресурсами и ü направляет задание на подходящий сайт. Ресурсы 25

Типы грид-систем с позиций решаемых задач • Вычислительный Грид для махимальной скорости вычислений за счет распределения задач между различными центрами (Computational Grid); • Грид для интенсивной обработки огромных массивов данных (Data Grid); • Семантический Грид для оперирования данными из различных баз данных (Semantic Grid);

Разномасштабные Гриды Национальные центры данных, МВЦ, экспериментальные установки Интситутские данные; кластеры Шире сотрудничество, больше ресурсов Международные проекты, . . Международный грид (EGEE) Региональный грид (напр. Baltic. Grid) Национальный грид Грид “кампуса”

EGEE проект EGEE-Enable Grid for E-scienc. E = Развертывание Грид-инфраструктуры для науки

Основные цели и задачи проекта EGEE • Обеспечить создание высокопроизводительной продукционной GRID инфраструктуры, ее поддержку и развитие • Предоставлять круглосуточный доступ к вычислительным ресурсам независимо от их географического положения • Объединить национальные, региональные и тематические грид-разработки в единую цельную грид-инфраструктуру для поддержки научных исследований • Привлекать пользователей из различных сфер деятельности (медицина, экономика, культура, … ) и обеспечить им высокий уровень обучения и поддержки

Участники и ресурсы EGEE • 237 центров в 45 странах • ~36 000 CPU • ~ 5 PB дисковой памяти, + tape • распределённое управление • >200 ВО из различных областей науки 98 k зад. /день

Мониторинг узлов EGEE

Приложения в EGEE • для экспериментов на ускорителе БАК (ATLAS, CMS, ALICE, LHCb)-LCG • биомедицина и биоинформатика ü GATE - медицинская томография и планирование процедур радиотерапии üg. PTM 3 D - Грид-ориентированные методы сбора, обработки и анализа трёхмерных радиологических изображений человеческих органов, üMammogrid - проект, посвящённый созданию всеевропейской базы данных маммограмм ü GPS@ : портал по биоинформатике, посвящённый различным средствам для анализа белков ü CDSS - клиническая система поддержки принятия решений ü моделирование взаимодействия потенциальных лекарств с белками-мишенями (проект WISDOM )

Необходимость ГРИД для БАК • Объём получаемых данных LHC соответствует 20 миллионам записанных CD дисков в год. Где их хранить? • Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности 100000 самых современных процессоров. Где их взять? • Ресурсы ЦЕРН уже сейчас составляют более 3000 2 -х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!! Воздушный шар (30 Км) Стопка CD дисков с данными БАК за 1 год (~ 20 Км) Конкорд (15 Км) Монблан (4. 8 Км)

Топология сети для обработки данных с БАК

Проект WISDOM • Приложение Drug Discovery, позволяющее вычислять вероятность прямого контакта между потенциальным лекарством и белком-мишенью • Первый в истории биомедицины сеанс массовой обработки данных • Исследовано 46 миллионов посадочных лиганд • Получено более 1 Тб данных • Были использованы ~1000 компьютеров из 15 стран, что составляет приблизительно 80 машино/лет • Средний фактор ускорения - 600

Другие области, использующие инфраструктуру EGEE • Науки о Земле: ü наблюдения за поверхностью Земли со спутников, ü гидрология – проникновение морской воды в прибрежный водоносный слой, ü климатология – прогнозирование наводнений, ü физика Земли - численное моделирование землетрясений. • Геофизика (промышленное приложение Geocluster) • Астрофизика (проекты MAGIC, Planck, ANTARES, NEMO) • Термоядерный синтез (проект ITER) • Вычислительная химия (проекты CHARON, Comp. Chem) • Археология • Финансовые приложения (проект EGRID) • ………………………………………. . (Всего свыше 200 виртуальных организаций)

Проекты с EGEE Проекты, представленные на конференции EGEE’ 07 EGEE-III

Взаимодействие проекта EGEE с Грид проектами по бизнесу • EGEE Business Associates Program

Национальные ГРИД инициативы • • • • • • • Англия UK National Grid Service http: //www. ngs. ac. uk Австрия Austrian Grid Initiative http: //www. austriangrid. at Бельгия BEgrid http: //www. begrid. be/ Болгария Bulgarian Grid Consortium, BGGC, http: //www. grid. bas. bg/consortium. htm Хорватия CRO-GRID http: //www. srce. hr/crogrid/ Чехия METACentrum http: //meta. cesnet. cz Эстония Estonian Grid, working under Estonian Educational and Research Network (EENet) http: //grid. eenet. ee Финляндия CSC – Scientific Computing Ltd. , http: // www. csc. fi Франция EGEE-France. Germany. D-Grid, https: //www. d-grid. de/index. php? id=1&L=1 Греция Hellas. Grid, HG, http: // www. hellasgrid. gr Ирландия Grid-Ireland http: //www. grid. ie/ Израиль Israel Academic Grid (IAG) http: //iag. iucc. ac. il Италия Italian Grid Infrastructure, IGI, http: //www. italiangrid. org Литва Lithuanian Grid Lit. Grid http: //www. litgrid. lt Голландия Netherlands National Science Grid, internally known as BIGGRID project Норвегия Norwegian Grid (Nor. Grid), http: // www. norgrid. no Польша PL-Grid, http: //plgrid. cyfronet. pl (public part in preparation) Португалия Iniciativa Nacional Grid – INGRID http: //www. gridcomputing. pt/ Румыния Ro. Grid URL: http: // www. rogrid. ro (old version) Россия Russian Data Intensive Grid (RDIG): http: // www. egee-rdig. ru (? ? ? ) Сербия Serbia. Academic and Educational Grid Initiative of Serbia AEGIS http: //aegis. phy. bg. ac. yu Украина Ukrainian Grid, UGrid http: //grid. ntu-kpi. kiev. ua/ Швеция Swedish Grid, Swe. Grid, http: //www. swegrid. se/ and http: //www. snic. vr. se/ Турция TR-Grid National Grid Initiative, TR-Grid NGI http: //www. grid. org. tr Германия(D-initiative)

D-GRID Initiative(Germany) D-Grid 1(2005 -2008) D-Grid 2(2007 -2010) Проекты в рамках D-grid Consortium: – DGI-интеграционный проект; – Aero. Grid-аэрокосмическая инженерия; – Bau. VOGrid-строительная индустрия; – Biz 2 Grid- для учреждений; – Fin. Grid- финансы; – Partner. Grid-для промышленности(>40 фирм); -- Medi. GRID -для медицины ……………………… (Всего > 20 проектов).

RDIG(РДИГ -Российский ГРИД для интенсивных операций с данными) Цели: - создание национальной ГРИД-инфраструктуры в интересах научного сообщества с участием организаций из различных областей науки, образования и промышленности - предпринимать усилия по пропаганде ГРИД-технологий и обеспечивать возможность обучения и подготовки специалистов для использования ГРИД-сервисов в новых исследовательских областях и экономике - обеспечения полномасштабного участия России в создании глобальной компьютерной ГРИД-инфраструктуры - консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia).

Участники РДИГ Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia). Сейчас в РДИГ (http: //www. egee-rdig. ru) входят 15 институтов (в 2003 году - 8)

Распределение CPU time по регионам

Распределение процессорного времени по российским организациям(сайтам)

Распределенный инженерный R&D центр ДМЗ-Камов Предпосылки: • Необходимость проведения больших и сложных проектных работ для создания летательных аппаратов нового поколения или глубокой модернизации существующих. • Недостаток необходимого количества инженеров-конструкторов в любом из существующих ОКБ для проведения всего комплекса. • Территориальная разбросанность ОКБ. (из доклада на совещании в Дубне)

Распределенный инженерный R&D центр ДМЗ-Камов Постановка задачи: • Возможность распределения из одного центра работ по исполнителям. • Возможность постоянного контроля над ходом выполняемых работ. • Возможность распределенной работы с современными CAD/CAM/CAE-системами. • Единая база данных. • Доступность данных в любой момент времени. • Защищенность от несанкционированного доступа. • Уникальность и сохранность данных и стадий их разработки (протоколирование процесса разработки, архивация промежуточных данных). • Минимальные капиталовложения. • Возможность рекрутинга через привлечение в виртуальные коллективы студентов и аспирантов. (из доклада на совещании в Дубне)

О внедрении технологии грид в промышленном масштабе -Обучение основам технологии (ознакомление руководства, изучение и тренинг для пользователей); -Создание ГРИД инфраструктуры как распределенного центра коллективного пользования) - Подготовка приложений для использования технологии в конкретных областях науки, промышленности, бизнеса

Карта сети

РОКСОН в цифрах 1. Подключено: - академических организаций -40, - организаций образования, культуры, ГНЦ- 22. 2. Протяженность ВОК составляет: - общая- >80 км - собственность СПб. НЦ РАН – ~50 км - аренда - ~30 км. 3. Количество опорных узлов – 7. 4. Скорости магистральных каналов – 1000 MBps. 5. Скорости подключения конечных пользователей - 100 MBps

Академический Грид в Санкт-Петербурге Пользователи ГРИД Интернет 1000 Mbps Пользователи ГРИД Опорная сеть СПБНЦ 1000 Mbps ПИЯФ РАН МСЦ РАН 1000 Mbps СПИИРАН

Обучение • Введение в Грид технологию • Практические занятия с пользователями • Обучение администраторов вычислительных ресурсов организаций Место проведения: в организациях (по запросу)

Контакты • Рябов Юрий Федорович ryabov@pnpi. nw. ru тел. 88137146076 • Новодворский Евгений Григорьевич nevg@pnpi. nw. ru • Олешко Сергей Борисович oleshko@pnpi. nw. ru

Полезные ссылки • http: //www. gridclub. ru/ - GRIDCLUB. RU : : Интернет-портал по грид-технологиям • http: //grid. jinr. ru/ - грид-портал ОИЯИ • http: //www. eu-egee. org - проект EGEE-II • http: //www. egee-rdig. ru/ - RDIG консорциум • http: //rocmon. jinr. ru: 8080/accounting/ - мониторинг RDIG • http: //egee. sinp. msu. ru - НИИЯФ МГУ • http: //egee. pnpi. nw. ru/ - ПИЯФ РАН

Добро пожаловать работать в ГРИД! Спасибо за внимание