Infini. Band ИТ 1001
Infini. Band — высокоскоростная коммутируемая последовательная шина, применяющаяся как для внутренних (внутрисистемных), так и для межсистемных соединений. История Технология Infiniband берет свое начало в 1999 году, когда были объединены два конкурирующих проекта под авторством крупнейших производителей коммуникационного оборудования того времени: Compaq, IBM, Hewlett-Packard, Intel, Microsoft и Sun. Описания Infiniband специфицированы, поддержкой и развитием спецификаций занимается Infini. Band Trade Association (консорциум заинтересованных производителей, включающий в себя IBM, Hewlett-Packard, Intel, Oracle и другие компании). Технология Infini. Band стандартизирована ANSI/TIA/EIA.
Архитектура Топология
Модель OSI - модель Infini. Band 1. Physical level: определяет битовый уровень для формирования символов и определяет символы, используемые для формирования frame (например, для начала и конца пакета), символы данных и заполнители между пакетами (Idles). IB использует последовательный битовый поток для передачи данных. 2. Уровень Link описывает формат пакетов и протоколы для операций с этими пакетами. 3. Уровень Network описывает протокол для адресации пакетов между подсетями. 4. Уровень Transport обеспечивает доставку пакетов в соответствующие пары очередей (Queue Pair, QP), собирает/разбирает на пакеты сообщения, управляет правами доступа. 5. Протоколы верхних уровней описывают интерфейсы между приложениями (application programs) и аппаратной частью (hardware), обеспечивают поддержку таких протоколов, как TCP/IP, определяют методологию для функций управления.
Physical level На физическом уровне Infini. Band (IB) предлагает масштабируемое по пропускной способности решение; масштабирование основано на применении разного числа пар проводов: IB 1 x — две пары проводов (по одной паре для посылки и получения данных); IB 4 x — четыре пары, IB 12 x — 12. При этом одной паре отвечает полная (сигнальная) пиковая пропускная способность 2, 5 Гбит/с, IB 4 х — 10 Гбит/с, 12 х — 30 Гбит/с. Пользователям более интересна пиковая пропускная способность передачи данных, которая на 20% ниже полной — 2/8/24 Гбит/с для IB 1 х/4 х/12 Х соответственно. При полнодуплексной (двунаправленной) передаче эту характеристику надо увеличить еще вдвое. Определены три режима работы Infiniband — SDR (Single Data Rate), DDR (Double Data Rate) и QDR (Quadruple Data Rate). Указанные значения пропускной способности относятся к SDR; для DDR они удваиваются, а для QDR — возрастают вчетверо. Пропускная способность Infini. Band, data 1 X 4 X 12 X SDR DDR QDR FDR EDR 2 Гбит/с 4 Гбит/с 8 Гбит/с 14 Гбит/с 25 Гбит/с 8 Гбит/с 16 Гбит/с 32 Гбит/с 56 Гбит/с 100 Гбит/с 24 Гбит/с 48 Гбит/с 96 Гбит/с 168 Гбит/с 300 Гбит/с SDR – Single Data Rate; DDR – Double Data Rate; QDR – Quad Data Rate; FDR – Fourteen Data Rate; EDR – Enhanced Data Rate.
PMD, PMA, PCS. PMD. Шина Infini. Band является последовательной, может использовать как волоконную, так и медную среду передачи. Для подсоединения аппаратуры Infini. Band используются: • Медь: SDR на 20 м, DDR на 10 м, QDR на 7 м • Волокно: SDR на 300 м, DDR на 150 м, 100/300 m QDR • Витая пара: CAT 6(не сертифицирована). Компоненты промышленного стандарта: • Медные кабели • Оптические кабели • Backplane соединители PCS. Алгоритм кодирования данных производится по схеме 8 В/10 B для скоростей до QDR включительно и по схеме 64 B/66 B для FDR(Fourteen Data Rate) и EDR(Enhanced Data Rate). Метод физического кодирования NRZI(для оптоволокна) и PAM 5(для медного кабеля). PMA. Медные линии Infini. Band обычно оконцовывают коннекторами СХ 4 и QSFP.
Канальный уровень (Link) в Infi. Band Канальный уровень Infini. Band, как и в Ethernet, разделён на подуровни LLC и MAC. Формат кадра LLC идентичен формату кадра 1000 Base Ethernet. Протокол канального уровня Infini. Band является более мощным, чем типичные протоколы типа Ethernet или ATM. Flow Control. Одной из функций, обеспечиваемых канальным уровнем Infini. Band, является управление потоками (flow control) на основе «кредитов» (передача не начнётся, пока в приёмном буфере не будет достаточно места), это предотвращает переполнение буфера приёмника и позволяет передавать данные без потерь, в отличие от TCP/IP, использующего flow control с потерями. Каждая линия Infini. Band делится максимум на 16 потоков и минимум на 2 потока. Один из потоков всегда выделяется на управление связной архитектурой. Потоки получают приоритеты Qo. S, а поток управления получает наивысший приоритет (виртуальный поток 15; потоки 0– 14 используются для передачи данных) и соответствующий уровень Qo. S. Эти особенности канального уровня Infini. Band упрощают работу более высокого уровня – транспортного.
Фабрика Набор IB-устройств, соединенных кабелями, называется IB-фабрикой. Примером IB-фабрики является кластер, в узлах которого используются IBадаптеры. IB-фабрика может включать коммутаторы, канальные адаптеры, маршрутизаторы, повторители, а также специальную инфраструктуру управления, включающую, программные средства — так называемые менеджеры подсетей (subnet manager, SM), осуществляющие общее централизованное управление подсетью. Канальные адаптеры бывают двух типов — сетевые адаптеры HCA (Host CA) для процессорных хостов, и TCA (Target CA) для устройств ввода/вывода. IB-фабрика разделяется на подсети. Подсеть может объединяться с другими подсетями через маршрутизаторы и сама может содержать маршрутизаторы. Каналов между IB-устройствами также может быть много. HCA-адаптеры поддерживают новую технологию Virtual Protocol Interconnect, путем «автопереговоров» определяя, к коммутатору Infiniband или Ethernet они подключены.
Fibre channel Fibre Channel (FC) – технологический стандарт, позволяющий осуществлять высокоскоростную передачу данных (до 16 Гбит/с). Эта технология является преобладающей технологией сетей хранения данных (SAN) , где FC используется как стандартный способ подключения к системам хранения данных уровня предприятия. FC стандартизирована комитетом T 11 INCITS ANSI Среда передачи: преимущественно оптоволокно Виды технологии: 1 GFC, 2 GFC, 4 GFC, 8 GFC, 10 GFC, 16 GFC в зависимости от скорости Кодирование: NRZI 8 b/10 b (для 1/2/4/8 GFC) или 64 b/66 b (для 10/16 GFC) Топологии FC: Точка-точка (point-to-point) (FC-P 2 P) Управляемая петля (arbitrated loop) (FC-AL) Фабрика коммутаторов (switch fabric) (FC-SW)
Уровни модели Fibre Channel состоит из пяти уровней: FC-0 (Физический). Описывает среду передачи, трансиверы, коннекторы и типы используемых кабелей. FC-1 (Кодирование). Описывает процесс 8 b/10 b кодирования. Для 10 GFC используется кодирование 64 b/66 b, вследствие этого 10 GFC несовместим с 1/2/4/8 GFC. FC-2 (Кадрирование и сигнализация). Описывает сигнальные протоколы. На этом уровне происходит определение слов, разбиение потока данных на кадры. Определяет правила передачи данных между двумя портами, классы служб. FC-3 (Общих для узла служб). Определяет базовые и расширенные службы для транспортного уровня, а также такие особенности, как: расщепление потока данных (striping). FC-4 (Отображения протоколов). Предоставляет возможность инкапсуляции других протоколов (SCSI, ATM, IP, HIPPI , AV, VI, IBM SBCCS и многих других. )
Switched fabric
Network level В каждом коммутаторе имеются таблицы (Unicast Linear Forwarding Tables), где указано, через какой порт следует отправлять пакеты для каждого адреса LID (local ID). Если идентификация портов осуществляется с помощью LID, то идентификация канального адаптера осуществляется посредством GUID (Globally Unique Identifier), присваиваемого адаптеру компаниейпроизводителем. В основе архитектуры IB лежит способность создавать очереди команд, которые выполняются IB-устройствами. Рабочие очереди всегда создаются парами (queue pair, QP): для операций посылки и операций получения. IB предоставляет сервисы, ориентированные на соединения и на датаграммы. Оба варианта сервисов в IB бывают двух типов: - надежный (reliable, R) - ненадежный (unreliable, U). Так, UD означает ненадежный сервис датаграмм; RD — надежный сервис датаграмм; RC — надежный сервис с соединением.
Управление (ОС) Linux — основная операционная система для IB. Кроме программного обеспечения производителей IB-аппаратуры, имеется общий проект Open. IB, предполагающий, в частности, создание модулей ядра Linux, поддерживающих различные протоколы IB. Важнейшими компонентами управления являются: • Менеджер подсети – Управляющие функции для подсети, сети IB и управление отдельными компонентами через HTML и Java консоли. Включает управление усовершенствованными функциями, такими как виртуальные шлюзы QLogic Fibre и Ethernet • Набор инструментов Fast. Fabric – Включенные инструменты обеспечивают простую инсталляцию, настройку и проверку ресурсов кластерной сети и виртуальных шлюзов ввода/ вывода • Fabric Viewer – QLogic Fabric Viewer это основанный на JAVA, отдельный графический нтерфейс пользователя (GUI), обеспечивающий доступ к возможностям менеджера подсети IBADM — пакет программ для мониторинга, поддержки и конфигурирования IBаппаратуры, обеспечивающий унифицированный способ управления (как In. Band, так и Out-of-Band) всеми IB-устройствами от Mellanox.
Протоколы – переделать вид сла - RDMA (Remote Direct Memory Access) -группа протоколов удалённого прямого доступа к памяти. - u. DAPL (User Direct Access Programming Library) — библиотека API для абстрактного транспорта прямого доступа. - u. DAPL (и другие API — в частности k. DAPL — kernel DAPL) разрабатывается и поддерживается организацией DAT Collaborative. - IPo. IB (IP over Infiniband) — группа протоколов, описывающих передачу IPпакетов поверх Infiniband: - RFC 4390 Dynamic Host Configuration Protocol (DHCP) over Infini. Band - RFC 4392 IP 4391 Transmission of IP over Infini. Band (IPo. IB) Architecture - SRP (SCSI RDMA Protocol) — протокол обмена данными между SCSIустройствами с использованием RDMA. Определён в стандарте ANSI INCITS 365— 2002. - DDP (Direct Data Placement): RFC 4296 —— архитектура для реализации прямого размещения данных (DDP) и удаленного прямого доступа к памяти (RDMA) в Internet-сетях. - SDP (Socket Direct Protocol) — протокол установления виртуальных соединений и обмена данными между сокетами поверх Infiniband.
Производители. Канальные адаптеры Infini. Band для хостов (Host Channel Adapter, HCA) предлагают сегодня: - IBM; - Qlogic; - Mellanox. Коммутаторы Infiniband предлагают: - Cisco; - Voltaire; - Qlogic; - Agilent; - Flextronics. Аппаратуру IB поставляют еще несколько компаний, в том числе Infinicon (ныне Silver. Storm). Собственные микросхемы Infini. Blue разработала и IBM.
