Infini. Band ИТ 1001
Infiniband — высокоскоростная коммутируемая последовательная шина, применяющаяся как для внутренних (внутрисистемных), так и для межсистемных соединений. История Технология Infiniband берет свое начало в 1999 году, когда были объединены два конкурирующих проекта под авторством крупнейших производителей коммуникационного оборудования того времени: Compaq, IBM, Hewlett-Packard, Intel, Microsoft и Sun. Описания Infiniband специфицированы, поддержкой и развитием спецификаций занимается Infini. Band Trade Association (консорциум заинтересованных производителей, включающий в себя IBM, Hewlett-Packard, Intel, Oracle и другие компании). Здесь надо дописать ANSI – как?
Архитектура Топология Адаптеры Infiniband делятся на две категории: - Host Channel Adapters (HCA) -Target Channel Adapters (TCA). НСА устанавливаются в сервера и рабочие станции, ТСА – в устройства хранения; соответственно, на долю HCA приходится управление и передача данных, TCA исполняют команды и также передают данные. Каждый адаптер имеет один или несколько портов.
Модель OSI - модель Infini. Band 1. Physical level: определяет битовый уровень для формирования символов и определяет символы, используемые для формирования frame (например, для начала и конца пакета), символы данных и заполнители между пакетами (Idles). IB использует последовательный битовый поток для передачи данных. 2. Уровень Link описывает формат пакетов и протоколы для операций с этими пакетами. 3. Уровень Network описывает протокол для адресации пакетов между подсетями. 4. Уровень Transport обеспечивает доставку пакетов в соответствующие пары очередей (Queue Pair, QP), собирает/разбирает на пакеты сообщения, управляет правами доступа. 5. Протоколы верхних уровней описывают интерфейсы между приложениями (application programs) и аппаратной частью (hardware), обеспечивают поддержку таких протоколов, как TCP/IP, определяют методологию для функций управления.
Physical level На физическом уровне Infiniband (IB) предлагает масштабируемое по пропускной способности решение; масштабирование основано на применении разного числа пар проводов: IB 1 x — две пары проводов (по одной паре для посылки и получения данных); IB 4 x — четыре пары, IB 12 x — 12. При этом одной паре отвечает полная (сигнальная) пиковая пропускная способность 2, 5 Гбит/с, IB 4 х — 10 Гбит/с, 12 х — 30 Гбит/с. Пользователям более интересна пиковая пропускная способность передачи данных, которая на 20% ниже полной — 2/8/24 Гбит/с для IB 1 х/4 х/12 Х соответственно. При полнодуплексной (двунаправленной) передаче эту характеристику надо увеличить еще вдвое. Определены три режима работы Infiniband — SDR (Single Data Rate), DDR (Double Data Rate) и QDR (Quadruple Data Rate). Указанные значения пропускной способности относятся к SDR; для DDR они удваиваются, а для QDR — возрастают вчетверо. Таблицу Переделать Только для «data» SDR – Single Data Rate; DDR – Double Data Rate; QDR – Quad Data Rate; FDR – Fourteen Data Rate; EDR – Enhanced Data Rate.
PMD, PMA, PCS. PMD. Шина Infiniband является последовательной, может использовать как волоконную, так и медную среду передачи. Для подсоединения аппаратуры Infiniband используются: • PCB: несколько дюймов • Медь: SDR на 20 м, DDR на 10 м, QDR на 7 м • Волокно: SDR на 300 м, DDR на 150 м, 100/300 m QDR • Витая пара: CAT 6, в будущем. Компоненты промышленного стандарта: • Медные кабели • Оптические кабели • Backplane соединители PCS. Алгоритм кодирования данных производится по схеме 8 В/10 B для скоростей до QDR включительно и по схеме 64 B/66 B для FDR(Fourteen Data Rate) и EDR(Enhanced Data Rate). Метод физического кодирования NRZI(для оптоволокна) и PAM 5(для медного кабеля). PMA. Медные линии Infiband обычно оконцовывают коннекторами СХ 4 и QSFP.
Канальный уровень (Link) в Infi. Band Канальный уровень Infini. Band, как и в Ethernet, разделён на подуровни LLC и MAC. Протокол канального уровня Infini. Band является более мощным, чем типичные протоколы типа Ethernet или ATM. Одной из функций, обеспечиваемых канальным уровнем Infini. Band, является управление потоками (flow control) на основе «кредитов» (передача не начнётся, пока в приёмном буфере не будет достаточно места), это предотвращает переполнение буфера приёмника и позволяет передавать данные без потерь, в отличие от TCP/IP, использующего flow control с потерями. Каждая линия Infini. Band делится максимум на 16 потоков и минимум на 2 потока. Один из потоков всегда выделяется на управление связной архитектурой. Потоки получают приоритеты Qo. S, а поток управления получает наивысший приоритет (виртуальный поток 15; потоки 0– 14 используются для передачи данных) и соответствующий уровень Qo. S. Эти особенности канального уровня Infini. Band упрощают работу более высокого уровня – транспортного.
Фабрика Набор IB-устройств, соединенных кабелями, называется IB-фабрикой. (Примером IB-фабрики является кластер, в узлах которого используются IBадаптеры. ) Кроме коммутаторов и канальных адаптеров, IB-фабрика может включать маршрутизаторы, повторители, а также специальную инфраструктуру управления, включающую, программные средства — так называемые менеджеры подсетей (subnet manager, SM), осуществляющие общее централизованное управление подсетью. Канальные адаптеры бывают двух типов — сетевые адаптеры HCA (Host CA) для процессорных хостов, и TCA (Target CA) для устройств ввода/вывода. IB-фабрика разделяется на подсети. Подсеть может объединяться с другими подсетями через маршрутизаторы и сама может содержать маршрутизаторы. Каналов между IB-устройствами также может быть много. HCA-адаптеры поддерживают новую технологию Virtual Protocol Interconnect, путем «автопереговоров» определяя, к коммутатору Infiniband или Ethernet они подключены. Способность работать напрямую как собственно с Infiniband, так и с Ethernet-инфраструктурой обеспечивает возможности «коннективности» как с этими средами, так и с Fibre Channel, в частности, с системами хранения для всех трех этих сред.
Network level В каждом коммутаторе имеются таблицы (Unicast Linear Forwarding Tables), где указано, через какой порт следует отправлять пакеты для каждого адреса LID (local ID). Если идентификация портов осуществляется с помощью LID, то идентификация канального адаптера осуществляется посредством GUID (Globally Unique Identifier), присваиваемого адаптеру компаниейпроизводителем. В основе архитектуры IB лежит способность создавать очереди команд, которые выполняются IB-устройствами. Рабочие очереди всегда создаются парами (queue pair, QP): одна — для операций посылки, другая — для операций получения. IB предоставляет как сервисы, ориентированные на соединения и на датаграммы. Оба варианта сервисов в IB бывают двух типов — надежный (reliable, R) и ненадежный (unreliable, U). Так, UD означает ненадежный сервис датаграмм; RD — надежный сервис датаграмм; RC — надежный сервис с соединением.
Управление (ОС) Linux — основная операционная система для IB. Кроме программного обеспечения производителей IB-аппаратуры, имеется общий проект Open. IB, предполагающий, в частности, создание модулей ядра Linux, поддерживающих различные протоколы IB. Компания Cisco Systems, Inc. ® предложила рынку общую технологию для систем Ethernet и Infiniband, единую систему управления, а также новую платформу коммутации Infini. Band и новую версию операционной системы. В своей совокупности эти решения создают единую унифицированную высокопроизводительную систему коммутации, которая не зависит от протоколов и повышает управляемость, надежность и безопасность сетей (операционная система (version 2. 7) поддерживает интегрированные функции управления и безопасности). Обеспечивается поддержка открытых стандартов, таких как Open Fabrics и Open MPI. IBADM — пакет программ для мониторинга, поддержки и конфигурирования IBаппаратуры, обеспечивающий унифицированный способ управления (как In. Band, так и Out-of-Band) всеми IB-устройствами от Mellanox.
Протоколы – переделать вид сла - RDMA (Remote Direct Memory Access) -группа протоколов удалённого прямого доступа к памяти. - u. DAPL (User Direct Access Programming Library) — библиотека API для абстрактного транспорта прямого доступа. - u. DAPL (и другие API — в частности k. DAPL — kernel DAPL) разрабатывается и поддерживается организацией DAT Collaborative. - IPo. IB (IP over Infiniband) — группа протоколов, описывающих передачу IPпакетов поверх Infiniband: - RFC 4390 Dynamic Host Configuration Protocol (DHCP) over Infini. Band - RFC 4392 IP 4391 Transmission of IP over Infini. Band (IPo. IB) Architecture - SRP (SCSI RDMA Protocol) — протокол обмена данными между SCSIустройствами с использованием RDMA. Определён в стандарте ANSI INCITS 365— 2002. - DDP (Direct Data Placement): RFC 4296 —— архитектура для реализации прямого размещения данных (DDP) и удаленного прямого доступа к памяти (RDMA) в Internet-сетях. - SDP (Socket Direct Protocol) — протокол установления виртуальных соединений и обмена данными между сокетами поверх Infiniband.
Производители. Канальные адаптеры Infiniband для хостов (Host Channel Adapter, HCA) предлагают сегодня IBM, QLogic и Mellanox. Коммутаторы Infiniband предлагают Cisco, Voltaire, QLogic, Agilent и Flextronics. Аппаратуру IB поставляют еще несколько компаний, в том числе Infinicon (ныне Silver. Storm). Собственные микросхемы Infini. Blue разработала и IBM.
Скачать презентацию Infini Band ИТ 1001 Infiniband высокоскоростная
InfiniBand - Copy.ppt