Кластерное решение для оптимизации сборки данных Салманова Фарида Нгуен Тан Нго Гр. 53504/11
1. Концепция кластерных систем 2. Функциональная 3. ПО классификация кластеров для управления кластеров 4. Этапы создания высокопроизводительного вычислительного кластера на Linux
1) Концепция кластерных систем Впервые в классификации вычислительных систем термин "кластер" определила компания Digital Equipment Corporation (DEC). По определению DEC, кластер - это группа вычислительных машин, которые связаны между собою и функционируют как один узел обработки информации. Кластерная система
Общие требования к кластерным системам: Высокая готовность Высокое быстродействие Масштабирование Общий доступ к ресурсам Удобство обслуживания Отличительные признаки кластера: Объединение вычислительных узлов по стандартной технологии Ethernet. Идентичность вычислительных узлов. Объединение в единую вычислительную систему на уровне операционной системы. Стандартное программное обеспечение.
Классификация кластеров v Кластеры высокой доступности (High Availability) v Кластеры распределения нагрузки (Network Load Balancing, NLB) v Вычислительные кластеры v Системы распределенных вычислений (grid)
3)ПО для управления кластеров В нашем проекте рассмотрим программное обеспечение для распределенных решений таких как: Sun Grid Engine: SGE, раньше известное как CODINE (Computing in Distributed Networked Environments) или GRD (Global Resource Director) — программное обеспечение для распределённых вычислений (грид), разработанное Sun Microsystems SGE обычно используется на компьютерных фирмах или высокопроизводительных кластерах и отвечает за управление распределённой работой большого числа отдельных, параллельных или интерактивных пользовательских задач. Также SGE отвечает за выделение распределённых ресурсов таких как процессоры, память, дисковое пространство
Кластерная архитектурa SGE: Типичный кластер на основе Grid Engine состоит из управляющего узла и одного или более исполняющих узлов. Могут быть сконфигурированы несколько дополнительных управляющих узлов (shadow masters), которые могут взять на себя управление в случае сбоя основного узла Продукты, основанные на Grid Engine: Sun Constellation System Sun Visualization System Sun Compute Cluster. Vision. OS Distribution Rocks Cluster Distribution EGEE Univa UD's Uni. Cluster Express Bio. Team’s i. Nquiry
В Нашей работе рассмотрим один из продуктов основанный на Grid Engine, Rocks Cluster Distribution-вариант Linux-дистрибутива ROCKS Cluster v v разрабатываемый командой Калифорнийского университета v Один из вариантов специализированного Linux-дистрибутива, ориентированного на создание высокопроизводительного кластера. Rocks определяется как пакет развертывания, управления и поддержки кластера Преимуществ : v Простота построения и управления кластером. v Возможность построения кластера как с использованием полнокомплектных компьютеров, так и с использованием бездисковых станций.
Архитектура Rocks-кластера диктует следующую схему подключения узлов к сети
4) Этапы создания высокопроизводительного вычислительного кластера на Linux Шаг 1. Аппаратное обеспечение Шаг 2. Сеть Топология сети вычислительного кластера
Шаг 3. Сгруппировать компьютеры v Нужно выбрать один компьютер в качестве главного узла кластера v При подключении вычислительных узлов, система Rocks нумерует их в виде compute-X-Y, где X – номер стойки, а Y – номер машины внутри данной стойки Шаг 4. Скачать пакеты Rocks Шаг 5. Загрузить главный узел и выбрать источник установки Шаг 6. Подтвердить выбор
Шаг 7. Настроить кластер
Шаг 9. Настроить публичную сеть Настройка публичной сети главного узла Шлюз главного узла и настройки DNS
Шаг 10. Задать пароль root и временную зону Пароль пользователя root Шаг 11. Разбить диск на разделы Разбиение диска
Шаг 12. Войти в систему Шаг 13. Установить вычислительный узел Имеется команд insert-either Шаг 16. Быстрая проверка работоспособности
5) Вывод Когда рабочая станция не справляется, одним из возможных решений является создание кластера. Правильно настроенный кластер обеспечивает необходимую вычислительную мощность. Хотя возможно настроить кластер вручную, но гораздо удобнее воспользоваться специализированным пакетом, который поможет быстро развернуть и настроить кластерную систему.
Спасибо за внимание
Скачать презентацию Кластерное решение для оптимизации сборки данных Салманова Фарида
Кластерные решения для оптимизации сборки.pptx