Консорциум UALink, в состав которой входят AMD, AWS, Astera Labs, Cisco, Google, HPE, Intel, Meta✴ и Microsoft, опубликовала первые спецификации на разрабатываемую в рамках альянса более доступную альтернативу проприетарным решениям NVIDIA. Интерконнект UALink призван заменить в первую очередь NVLink и во многом опирается на AMD Infinity Fabric, хотя пока что по скоростям составляет конкуренцию скорее Ethernet и InfiniBand.

Консорциум Ultra Accelerator Link был сформирован в конце прошлого года с целью создания высокоскоростного интерконнекта с низкими задержками, базирующегося на открытых технологиях. Речь здесь не только о приверженности открытым стандартам, но и о солидном потенциальном куске рынка — только за прошедший финансовый год сетевое подразделение NVIDIA выручило $13 млрд.

Источник здесь и далее: UALink

Появление более доступной и открытой альтернативы теоретически должно пошатнуть позиции последней в этом секторе, а также позволить разработчикам HPC-систем и ИИ-кластеров избежать жёсткой привязки к одному вендору. В том числе речь идёт о возможности организации сети UALink, включающей в себя GPU и ускорители разных поставщиков. Упор в первой версии стандарта сделан на общий доступ к памяти ускорителей с высокой скоростью, низкими задержками и простыми атомарными операциями

Впервые опубликованные спецификации описывают стандарт UALink 200G 1.0. В основе лежит коммутируемая сеть с пропускной способностью 200 Гбит/с на каждую линию, во многом наследующая AMD Infinity Fabric, но дополненная разработками других участников альянса. Максимальное количество линий на один ускоритель может достигать четырёх, что позволяет поднять пропускную способность до 800 Гбит/с. Поддерживается бифуркация.

Размер кластера в данной версии стандарта UALink ограничен 1024 узлами, не считая коммутаторов. При этом гарантируются линейные скорости на уровне соответствующих версий Ethernet, но c энергопотреблением от трети до половины от аналогичного показателя последних, при времени отклика на уровне коммутируемых вариантов PCI Express. Задержка от порта к порту должна составить менее 100 нс, на уровне коммутаторов UASwitch — 100–150 нс. Для сравнения: NVLink 5/6 позволяет объединить до 576 ускорителей в одном домене со скоростью до 0,9–1,8 Тбайт/с на ускоритель.

Также предусмотрена совместная работа с Ethernet в составе GPU-кластера, где хост-процессоры общаются между собой посредством традиционной сети (в том числе Ultra Ethernet), а ускорители могут использовать либо прямое, либо коммутируемое подключение UALink.

Передача данных осуществляется словами длиной 680 байт: 640-байт флит-пакеты + 40 байт накладных расходов на упреждающую коррекцию ошибок (FEC) и кодирование 256B/257B. Реализованы механизмы доступа к удалённой памяти, но когерентность на аппаратном уровне не поддерживается, также имеются различия на подуровне PCS (Physical coding sublayer). На физическом уровне используется стандарт IEEE 802.3dj: 200GBASE-KR1/CR1, 400GBASE-KR2/CR2 и 800GBASE-KR4/CR4. Имеющиеся ретаймеры для Ethernet также совместимы с UALink.

Спецификации UALink 200G 1.0 доступны на сайте проекта. Глава консорциума UALink, Кёртис Боумен (Kurtis Bowman) настроен оптимистично и говорит примерно о 18 месяцах до появления первых аппаратных решений, что на полгода быстрее типичных сценариев воплощения спецификаций «в железо». Тем временем, альянс уже начал работу над второй версией UALink, использующей стек технологий 400G.

Консорциум NVM Express обновил спецификации, добавив возможность работы с вычислительными хранилищами NVMe Computational Storage Feature. Речь идёт о возможности использования устройств хранения, которые могут самостоятельно обрабатывать хранящуюся на них информацию по команде извне. Это позволит снизить совокупную стоимость владения IT-системами и повысить их общую производительность.

Спецификация включает два новых набора команд: Computational Programs и Subsystem Local Memory Command Sets. Первый отвечает за исполнение программ на устройстве хранения, в том числе их загрузку, поиск уже загруженных программ и их запуск. Набор обеспечивает модульный подход к программам, управляемым хостом. Второй предоставляет доступ к памяти в подсистеме NVM и позволяет работать с данными, обрабатываемыми программами на устройстве хранения.

Источник изображения: NVM Express

Вычислительное хранилище сокращает необходимость в перемещении данных между накопителями и процессором/ускорителем. Определённые операции могут производиться непосредственно на устройстве хранения, что повышает время отклика приложений, критичных к задержке. Это могут быть базы данных, модели ИИ и системы доставки контента.

В целом, функция NVMe Computational Storage Feature обеспечивает стандартизированную, не зависящую от поставщика оборудования архитектуру для хранения и обработки данных на накопителях NVMe. Решение ориентировано прежде всего на операторов дата-центров и гиперскейлеров.

Консорциум PICMG (PC Industrial Computer Manufacturers Group) опубликовал спецификацию COM-HPC 1.2 для встраиваемых модулей формата COM-HPC Mini с размерами 95 × 70 мм. Такие решения могут использоваться для создания дронов, автономных мобильных роботов, edge-устройств и пр.

Модули COM-HPC Mini могут оснащаться различными процессорами — с архитектурой х86 или Arm. В качестве примера приводится изделие с чипом Intel Core i7-1370PRE поколения Raptor Lake-P (6P + 8E; 20 потоков инструкций; до 4,8 ГГц; 28 Вт).

Источник изображения: PICMG

Спецификацией предусмотрено использование 400-контактной колодки, которая позволяет задействовать следующие интерфейсы:  2 × SATA, 1 × eDP, 2 × DDI, 2 × 10GbE, 8 × SuperSpeed (USB4/ThunderBolt, USB 3.2, DDI), 8 × USB 2.0, 16 × PCIe (PCIe 4.0 или PCIe 5.0). Кроме того, упомянута поддержка Boot SPI, eSPI, UART, CAN и пр. Память в соответствии со спецификацией должна быть впаяна непосредственно на плату для обеспечения надёжности.

Напряжение питания может варьироваться в диапазоне от 8 до 20 В, мощность — до 107 Вт. Разработчики смогут выпускать модули с диапазоном рабочих температур от 0 до +60 °C для коммерческого применения и от -40 до +85 °C для промышленного использования. Толщина изделий COM-HPC Mini с учётом радиатора охлаждения составляет до 15 мм. 

Стандарт COM-HPC также описывает типоразмеры модулей с габаритами от 95 × 120 мм (размер A) до 160 × 120 мм (размер C) и более крупные серверные типы D и E (160 × 160 и 200 × 160 мм соответственно).

Ассоциация IBTA (InfiniBand Trade Association), ответственная за развитие данного стандарта, опубликовала новые спецификации, утверждающие характеристики стандарта InfiniBand XDR.

Хотя Ethernet активно вытесняет другие сетевые стандарты благодаря быстрому росту скоростей и активному освоению всё новых технологий вроде RDMA, InfiniBand (IB) зачастую продолжает оставаться предпочтительным выбором для HPC-систем благодаря низкому уровню задержек, особенно критичному в случае крупномасштабной сети. Согласно данным Naddod, задержи у InfiniBand составляют не более 150–200 нс, в то время как для Ethernet этот показатель обычно составляет 500 нс и более.

Проблему с отставанием в пропускной способности должны решить новые спецификации, опубликованные IBTA в виде томов Volume 1 Release 1.7 (ядро архитектуры InfiniBand) и Volume 2 release 1.5 (аспекты физической реализации). Наиболее важным в новых спецификациях является первичное введение и описание стандарта XDR, предусматривающего скорость передачи данных 200 Гбит/с на каждую линию. Это автоматически даёт 800 Гбит/с на стандартный IB-порт из четырёх линий, а для связи между коммутаторами может быть использован канал на восемь линий, что даёт 1600 Гбит/с.

Текущие планы IBTA по развитиию InfiniBand. Источник: InfiniBand Trade Association

Также тома содержат финальные спецификации физического уровня для InfiniBand NDR (100 Гбит/с на линию, 400 Гбит/с на порт). В данный момент полные тексты спецификаций доступны только для зарегистрированных пользователей на сайте IBTA. С кратким обзором Volume 1 Release 1.7 можно ознакомиться здесь.

Помимо этого, в обновлениях описывается улучшенная поддержка крупных многопортовых коммутаторов (radix switches), а также механизмы, улучшающие обработку сетевых заторов (congestion control). Как отмечает IBTA, InfiniBand XDR должен стать новым золотым стандартом в среде ИИ и HPC благодаря оптимальному сочетанию высокой пропускной способности с низким уровнем задержек и энергоэффективностью. Дальнейшие планы IBTA включают освоение ещё более скоростных стандартов GDR и LDR к 2026 и 2030 гг. соответственно.