Аппаратно-программная конфигурация ЦИВК Аппаратные ресурсы Программное обеспечение Организация

Аппаратно-программная конфигурация ЦИВК Аппаратные ресурсы. Программное обеспечение. Организация работы пользователей. Грид в ЦИВК, принципы работы. http: //lit. jinr. ru

Структурная схема ЦИВК Сетевые соединения

Сетевое окружение 1 Gbit Ethernet - опорная сеть. Маршрутизатор и коммутаторы 1 Gb. E. Не более 3 -х коммутаций между любыми 2 -мя машинами ЦИВК. 4 -8 линий между 1 -ым и 2 -ым уровнями (802. 3 ad – link aggregation). 10 Gb. E до опорной сети ОИЯИ (план).

Вычислительные ресурсы счетная ферма 60 машин: Xeon 5150, 8 GB RAM, 64 -х битная архитектура - x 86_64. 2 x ЦПУ по 2 ядра = 4 ЦПУ на машину. 2 GB RAM на ядро (ЦПУ). 100 GB scratch на машину. 2730 SI 2000 на ядро. Всего: 240 ЦПУ; ~650 k. SI 2 k.

Счетная ферма - расширение (март 2008) 20 машин: Xeon 5345, 16 GB RAM, x 86_64. 2 x ЦПУ по 4 ядра = 8 ЦПУ на машину = 160 ЦПУ. 2 GB RAM на ядро. 200 GB scratch на машину. 2700 SI 2000 на ядро = 432 k. SI 2 k. Всего: 400 ЦПУ; > 1000 k. SI 2 k.

Дисковые ресурсы Общий (физический) объем: > 120 TB. Аппаратный RAID 5 (3 ware/AMCC). Программный RAID 1 (AFS и т. п. ). Direct Attached SATA (счетные, интерактивные машины и т. п. ). Доступный объем: 1. 3 TB - AFS; 82 TB d. Cache.

Остальные ресурсы 4 машины для интерактивной работы: 2 - Intel Core 2 Duo; 2 - AMD Athlon. Серверы AFS и NFS. Серверы d. Cache. Серверы общего назначения. Серверы WLCG сайта (грид).

Остальные ресурсы (продолжение) Архитектура серверов: от Intel Celeron и Pentium 3 до Atlon 64 X 2 и Core 2 Duo. Всего серверов 64. Архитектура и ЦПУ: uname -ip подробнее – cat /proc/cpuinfo. Объем RAM: free

Программное обеспечение Основная ОС - Scientific Linux SL 4. 5 (SL 4) – клон RHEL 4, на всех счетных машинах (cat /etc/redhat-release). Основная архитектура – x 86_64, 64 -х битная (uname -i). Установлены все пакеты совместимости для выполнения 32 -х битных программ. Система пакетной обработки (batch): Torque + Maui.

Программное обеспечение (продолжение) Рекомендуется для разработки ПО использовать SL 4 x 86_64 на lxpub 01/02. Для совместимости: SL 4 i 386 на lxpub 03; SL 3 i 386 на lxpub 04. Разработка ПО для архитектуры i 386 возможна, но не тривиальна. SL 3 будет только до конца 2008. Предполагается полный переход на 64 х битную архитектуру.

Программное обеспечение Средства разработки ПО Компиляторы, компоновщик и отладчик из SL 4 версии 3. 4. 6: gcc; g++; f 77; ld; gdb(gcc -v). Дополнительно из SL 4: gcc 4; g++4; gfortran. Дополнительно от Intel: icc; icpc; ifort; idb (icc -V). Средства разработки Intel дают ~15% повышения производительности ПО.

Программное обеспечение Средства разработки ПО (продолжение) CERNlib 2006, архитектура x 86_64 (gcc 4). ROOT 5. 14. 00 e, архитектура x 86_64. Open. MPI 1. 2. 5, архитектура x 86_64 (компиляторы Intel). JINRlib (g 77, gfortran и ifort).

Программное обеспечение Средства разработки ПО (продолжение) Практически все -devel- RPM из SL 4: glibc; libstd++ и т. д, архитектура x 86_64 (некоторые - i 386) (file /lib 64/libc-2. 3. 4. so; file /libc-2. 3. 4. so). Perl, Python, Tcl, Tk (только x 86_64). Средства разработки для графических оболочек: xorg; kde; gnome.

Программное обеспечение Средства поддержки - графика Рекомендуется использовать kde. Графические оболочки: xorg; kde; gnone. Терминал: xterm; konsole. WWW/FTP: firefox; konqueror; gftp. Редакторы: gvim; emacs; nedit. Mail: kmail; thunderbird.

Программное обеспечение Средства поддержки – графика (прод) Документы: ooffice; acroread; ggv; kpdf; kghostview. Калькулятор: qalc; kcalc. Разработка: kdevelop; bluefish (www). Текст: Tex/La. Tex. Изображения: gimp; xfig; kuickshow.

Программное обеспечение Средства поддержки - текст Рекомендуется использовать putty (ssh) для входа из Windows. WWW/FTP: links; lynx; wget; lftp; pftp. Редакторы: vim; pico. Mail: alpine (pine); mutt.

Структурная схема ЦИВК Потоки данных и задач

Организация работы пользователей Подробное описание – на сайте: http: //lit. jinr. ru. Интерактивная работа: lxpub 01 -: lxpub 04 – User Interface. Разработка и отладка ПО, не счет. Работа с графикой. Подготовка документации. Mail, WWW и т. п. Интерактивный вход на остальные машины запрещен.

Организация работы пользователей (продолжение) Все счетные задачи работают через batch систему (qsub, qstat, qpeek, qdel). Приоритеты и порядок запуска – планировщик Maui (“умный” алгоритм). Желательно указывать для batch: время CPU; RAM; размер scratch. Как правило: одна задача – 1 CPU.

Организация работы пользователей (продолжение) Максимальное количество задач пользователя = 170. Максимальные параметры задач: CPU=400 часов; RAM=2 GB; scratch=25 GB. Параллельные задачи – особый случай. Примеры задач для batch - на сайте LIT: http: //lit. jinr. ru

Регистрация и ресурсы пользователей Регистрируются в базе kerberos 5. Домашние директории в AFS. Хранение данных в d. Cache. Возможно выделение дополнительного места в AFS под большое ПО для группы/пользователя. На UI есть scratch: /scr/u/. . . На счетных машинах задача должна работать в scratch: cd $TMPDIR

Структурная схема ЦИВК Потоки данных и задач

WLCG грид в ЦИВК имеет общие ресурсы с сайтом WLCG – JINR-LCG 2: счетные машины и дисковые массивы в d. Cache. Единый сервер запуска задач в batch. Интерактивные машины работают как User Interface для WLCG. 16 машин обслуживают инфраструктуру сайта JINR-LCG 2. Работают 9 Виртуальных Организаций VO.

WLCG грид в ЦИВК пользователям грид Преимущества грид (потенциальные): неограниченные компьютерные ресурсы всего мира. Необходимо: получить сертификат и стать членом Виртуальной Организации. Задачи должны удовлетворять достаточно жестким требованиям: использовать стандартные для грид протоколы.

WLCG грид в ЦИВК использование WLCG работает c ПО промежуточного уровня g. Lite, версия 3. 1. Запуск и проверка заданий: . /opt/ui/etc/profile. d/grid-env. sh (только на lxpub 01/02) voms -proxy-init -voms dteam glite-wms -job-submit -a -o t 1. jdl glite-wms -job-status -i t 1 glite-wms-job -output -i t 1

Заключение Материалы с дополнениниями и примерами будут опубликованы на http: //lit. jinr. ru “Вычисл. & Инф. Ресурсы” -> “ЦИВК”. В 20 -ых числах февраля все вычислительные и дисковые ресурсы будут не доступны в связи с модернизацией сетевой структуры ЦИВК.