Что такое GRID Мицын Сергей инженер-программист Лаборатории Информационных

Что такое GRID? Мицын Сергей, инженер-программист Лаборатории Информационных Технологий ОИЯИ 2012

Вычисления в науке и бизнесе

Тенденции в фундаментальной физике Открытие в 1930 -х • ~2 учёных из одной страны • ручка и бумага Открытие в 1970 -х • ~200 учёных из ~10 стран • Мэйнфреймы Открытие завтра • ~2000 учёных из ~100 стран • Гриды Научная школа 3

60 -70 -е гг. - мейнфреймы (Mainframe) Мейнрейм Пользовательские терминалы

Прогресс в IT-индустрии Передача данных (оптоволокно) Увеличение в 2 раза за месяцев Производительность процессоров Годы Объём хранилищ данных

Кластеры Вычислительный кластер Персональные компьютеры

Рост скорости Интернетсоединений на примере ОИЯИ 1992 – 64 Кбит/с спутниковый канал связи с узлом сети HEPNET в Италии 1994 – 64 Кбит/с спутниковый канал связи с узлом сети DFN в Германии 1995 – 128 Кбит/с наземный канал связи с узлом INTERNET в Москве 1997 – 2 Мбит/с оптический канал связи ОИЯИ-ЦКС «Дубна» -Шаболовка -М 9. Узел сети RBNet в Дубне 2001 – реализация проекта ATM канала связи Дубна-Москва емкостью 622 Мбит/с (155 Мбит/с для ОИЯИ) 2005 – реализация проекта канала связи Дубна-Москва на основе технологии SDH емкостью 2. 48 Гбит/с (1 Гбит/с для ОИЯИ) 2007 - 2008 – проработка проекта канала связи Москва-Дубна на базе технологии DWDM - от 10 Гбит/с

Большой Адронный Коллайдер и самая «большая» задача физики Научная школа 1. 25 GB/sec (ions)

Столкновение частиц

БАК Эксперименты будут производить 10 -15 Петабайт данных ежегодно (20 миллионов CD) Для анализа данных требуется компьютерная мощность, эквивалентная 100 000 современных самых мощных процессоров Моделирование событий

ГРИД Вычислительные кластеры различных учреждений: университеты, частные компании Пользователи Ресурсы хранения данных

Уран+Уран, 4 Гэ. В

Моделирование 1 событие: ◦ ~8 минут на 12 -типроцессорном Xeon X 5650 2. 67 GHz… …повторить 100000 раз… ◦ … 2 месяца непрерывных вычислений? Решение: кластер! ◦ Построение собственного или аренда чужого? Научная школа

От традиционных высокопроизводительных вычислений К Гриду 14

Пять главных идей Разделение ресурсов: Глобальное разделение ресурсов – суть грида. Безопасный доступ: доверие между пользователями и провайдерами ресурсов – необходимо, особенно когда они не знают друга. Разделение ресурсов противоречит политикам безопасности. Использование ресурсов: необходимо эффективное, сбалансированние использование ресурсов. Расстояния: расстояние не должно играть никакой роли: у любого должен быть доступ к компьютерным ресурсам из любого места. Открытые стандарты: необходимо взаимодействия между различными гридами, достигаемое открытыми стандартами разработки, которые позволяют каждому человеку участвовать в разработке. Стандартизация также позволит индустрии инвестировать в коммерческие гриды.

Задачи науки имеют петамасштаб 1 ZFlops 100 EFlops 100 PFlops 100 TFlops 100 GFlops 100 MFlops 1993 Суммарная производительность top 500 #1 Анализ аэродинамики: задач: 1 Petaflops Примеры реальных 10 Petaflops Лазерная моделирование самолёта в любых усл • Полное оптика: 20 Petaflops Молекулярная динамика в биологиии • «Зелёные» самолёты Проектирование аэродинамики: 1 Exaflops • Медицина, основанная на генетике Вычислительная космология: 10 Exaflops • Изучение турбулентность: 100 Exaflops Физическаявозникновения вселенной • Синтетическое химия: 1 Zettaflops Вычислительная горючее • Точное предсказание погоды 1999 2005 2011 2017 2023 2029

Достижение экза-масштаба к 2018 году ~2018 2008 ~1997 a ~1987 ый в чи op l a. F g ый в Gi er T xa E a et P й то с У и йч о т Ус p lo F p o Fl «Проход каждого этапа знаменовался важными прорывами в науке и технике» Источник: IDC “In Pursuit of Petascale Computing: Initiatives Around the World, ” 2007

Перспективные области применения ГРИД Физика высоких энергий (БАК, CERN); Биомедицина - Health. Grid (GEMSS, Mammo. Grid, Pharma Grid, Bio. Grid, Infogenmed); Молекулярная биологии для моделирования структуры белка, анализа последовательностей ДНК; Бизнес — нефтяная отрасль, геологоразведка; В банковском деле; В автомобильной промышленности Grid позволяет ускорить и удешевить расчет виртуальных крештестов; Airbus и Boeing используют технологию для постоянного контроля состояния двигателей и других агрегатов и узлов самолета показания датчиков, непрерывно собирающих информацию, через спутник передаются на землю, где анализируются в сетях Grid; IBM активно использует технологию Grid для внутренних нужд (моделирование при создании микропроцессоров следующих поколений, таких, как Power 5 и Power 6”). Радиоастрономия

The Worldwide LHC Computing Grid (WLCG)

350 сайтов 55 стран 150, 000 CPUs 60 Петабайт (дисковые хранилища) >15, 000 пользователей >300 организаций 1 млн. задач/день Астрономия и астрофизика Безопасность населения Вычислительная химия Вычислительные науки/Программирование Физика конденсированного состояния Науки о Земле Синтез Физика высоких энергий Науки о жизни 20

Статистика использования процессорного времени по странам (январь 2010 - апрель 2011) 21 21

Развитие грид-окружения в ОИЯИ 2064 ядра: ◦ 60 x 2 проц. , 2 яд. Xeon 5150 2. 66 Ghz ◦ 30 x 2 проц. , 4 яд. Xeon E 5430 2. 66 Ghz ◦ 10 x 2 проц. , 4 яд. Xeon X 5450 3. 00 Ghz ◦ 10 x 2 проц. , 4 яд. Xeon X 5410 2. 33 Ghz ◦ 54 x 2 проц. , 4 яд. Xeon E 5420 2. 5 Ghz ◦ 60 x 2 проц. , 4 яд. Xeon E 5430 2. 66 Ghz ◦ 40 x 2 проц. , 6 яд. Xeon X 5650 2. 66 Ghz ◦ 4 x 2 проц. , 4 яд. Xeon X 5540 2. 536 Ghz Все компьютеры подключены к 1 Gb ethernet, некоторые соединены через Infiniband. Научная школа 22

ГРИД в ОИЯИ http: //grid. jinr. ru/ Научная школа

Облачные вычисления Интернет

Облачные вычисления (2) Saa. S: программное обеспечение как услуга: ◦ Предоставляет минимум возможностей для модификации пользователем; ◦ Доступ – через web; ◦ От почты до баз данных. Iaa. S: Инфраструктура как услуга: ◦ Предоставление вычислительных ресурсов и ресурсов хранения через интернет. ◦ Низкоуровневая спецификация, поддержка стандартных архитектур аппаратного обеспечения (x 86, Open. CL, …) ◦ Виртуализация ресурсов.

Облачные вычисления (3) Paa. S: платформа как услуга: ◦ Набор программного обеспечения и инструментария разработчика на инфраструктуре поставщика услуг; обычно - Python, Java, . NET ◦ Google app engine

Облачные вычисления (4) Преимущества: ◦ Дешевизна - оплата за реально использованные ресурсы; ◦ Гибкость – возможность получить столько ресурсов, сколько нужно; ◦ Доступ через интернет с любого компьютера; Недостатки – продолжение преимуществ: ◦ Безопасность; ◦ Доступность зависит от наличия интернета; ◦ В некоторых случаях цена может быть выше собственных ресурсов.

Спасибо за внимание