Интерконнекту Omni-Path прочили в своё время светлое будущее, но в 2019 году компания Intel отказалась от своего детища и свернула поставки OPA-решений. Однако эстафету подхватила Cornelis Networks, так что технология не умерла — совсем недавно The Next Platform были опубликованы планы по дальнейшему развитию Omni-Path.

В 2012 году Intel выкупила наработки по TruScale InfiniBand у QLogic, позднее дополнив их приобретением у Cray интерконнектов Gemini XT и Aries XC. Задачей было создание единого интерконнекта, могущего заменить PCIe, FC и Ethernet, а в основу была положена технология Performance Scale Messaging (PSM). PSM считалась более эффективной и пригодной в сравнении с verbs InfiniBand, однако самой технологии более 20 лет. В итоге Cornelis Networks отказалась от PSM и теперь развивает новый программный стек на базе libfabric.

Источник изображений здесь и далее: Cornelis Networks (viaThe Next Platform)

Уже первое поколение Omni-Path Express (OPX), работающее со скоростью 100 Гбит/с могло работать под управлением нового стека бок о бок с PSM2, а для актуальных 400G-продуктов Omni-Path Express CN5000 вариант OFI станет единственным. Скорее всего, в этом поколении будет также убрано всё, что работает на основе кода OFA Verbs. Останутся только части, выделенные на слайде выше красным. Как отмечает Cornelis Networks, главным отличием OPX от InfiniBand станет использование стека на базе полностью открытого кода с апстримом драйвера OFI в ядро Linux.

Планы Cornelis Networks по развитию Omni-Path

Планы компании простираются достаточно далеко: на 2024 год запланировано пятое поколение Omni-Path, включающее в себя не только адаптеры, но и необходимую инфраструктуру — 48-портовые коммутаторы и 576-портовые директоры. Предел масштабирования возрастёт практически на порядок, с 36,8 тыс. подключений для Omni-Path 100 до 330 тыс. Латентность при этом составит менее 1 мкс при потоке до 1,2 млрд сообщений в секунду. Появится поддержка топологий Dragonfly и Megafly, оптимизированных для применения в крупных HPC-системах, и динамическая адаптивная маршрутизация на базе данных телеметрии.

Характеристики и внутреннее устройство коммутаторов пятого поколения CN5000 компания публикует уже сейчас. Обычный периферийный коммутатор займёт высоту 1U, но при этом будет поддерживать как воздушное, так и жидкостное охлаждение, а модульный коммутатор класса director будет занимать 17U и получит внутренний интерконнект с топологией 2-tier Fat Tree. В нём будет предусмотрена горячая замена модулей и опция жидкостного охлаждения.

Базовый адаптер CN5000 выглядит как обычная плата расширения с интерфейсом PCIe 5.0 x16. Будут доступны варианты с одним и двумя портами 400G. Что интересно, опция жидкостного охлаждения предусмотрена и здесь. В 2026 году должно появиться шестое поколение решений Omni-Path CN6000 со скоростью 800 Гбит/с, включающее в себя не только базовые адаптеры и коммутаторы, но и первый в мире DPU для OPA, построенный на базе архитектуры RISC-V и поддерживающий CXL. Благодаря DPU будут реализованы более продвинутые опции разгрузки хост-системы и ускорения конкретных приложений.

Наконец, в 2028 году в седьмом поколении CN7000 скоростной потолок поднимется с 800 до 1600 Гбит/с. Будет внедрена перспективная для крупномасштабных сетей поддержка топологии HyperX. Также ожидается появление чиплетов с интерфейсом UCIe и интегрированной фотоникой, что позволит интегрировать Omni-Path в решения сторонних производителей.

Одной из главных целей Cornelis Networks, напомним, заявлено создание системы интерконнекта для суперкомпьютеров нового поколения экзафлопного класса. Разработка финансируется в рамках инициативы Exascale Computing Initiative (ECI). А первым суперкомпьютером, использующим Omni-Path пятого поколения (400G), станет техасский Stampede3.

Производители сетевого оборудования продолжают активно осваивать скоростной диапазон 800 Гбит/с. Компания Marvell, как передаёт ServeTheHome, анонсировала оптические модули COLORZ 800 на базе нового 5-нм сигнального процессора Orion. Эти модули помогут объединить крупные, но разнесённые друг от друга ЦОД сетью класса 800G. Они подойдут как операторам, так и облакам.

В основу новых модулей Marvell COLORZ 800 легли наработки, полученные компанией от приобретения активов Inphi Corporation в 2021 году, и главный результат этих наработок — новый сигнальный процессор (DSP) Marvell Orion. Он изначально рассчитан на работу в сетях класса 800G с интерфейсами OSFP-ZR/ZR+. Модули этого стандарта базируются на открытом стеке технологий OpenZR+.

Источник изображений здесь и далее: Marvell (via ServeTheHome)

Также в серии COLORZ 800 возросла мощность приёмопередатчиков, что позволило нарастить максимальную дистанцию установления связи до 2000 км. О скорости 800 Гбит/с на таком расстоянии речи, конечно же, не идёт — она составит 400 Гбит/с, а 600 Гбит/с можно будет достигнуть на дальности до 1200 км. Для устойчивого соединения 800 Гбит/с эта цифра скромнее и составляет 500 км.

Как правило, для соединения крупных ЦОД используют не столь компактные и экономичные решения, но высокоинтегрированная платформа COLORZ 800 меняет правила игры. Компания будет предлагать новые модули в форм-факторах QSFP-DD и OSFP, однако платформа Orion также будет доступна и другим производителям оптических модулей. Первые поставки ожидаются в IV квартале.

По сути, новинка умещает целый комплекс аппаратуры в форм-факторе обычного подключаемого (pluggable) оптического модуля, что, по словам Marvell, позволяет сократить стоимость линка между ЦОД на 75 %. При этом COLORZ 800 вдвое быстрее даже на предельных дистанциях и на 30 % лучше в показателях стоимости передачи и энергопотребления на бит в сравнении с оборудованием предыдущего поколения.

AMD, Arista, Broadcom, Cisco, Eviden (Atos), HPE, Intel, Meta✴ и Microsoft в рамках Linux Foundation сформировали новый консорциум Ultra Ethernet Consortium, который намерен создать на базе Ethernet новый масштабируемый и эффективный с точки зрения стоимости коммуникационный стек, ориентированный на высокопроизводительные вычисления (HPC) и ИИ. Иными словами, речь идёт о создании спецификаций интерконнекта нового поколения на базе Ethernet для современных кластеров, облаков и иных платформ.

UEC сформировал четыре рабочих группы, ответственных за физический, канальный и транспортный уровни, а также за уровень ПО. Целью же является создание современного сетевого стека, который учитывает потребности HPC- и ИИ-нагрузок, включая новые методы борьбы с заторами в сети, высокий уровень утилизации канала (в том числе 800G/1.6T), многопутевую и гарантированную доставку, сквозную телеметрию, консистентность и низкий уровень задержек, автоматизацию, безопасность и защищённость, масштабируемость, стабильность, надёжность, снижение TCO и так далее.

Источник: Ultra Ethernet Consortium

Фактически отдельные вендоры уже наделили рядом перечисленных свойств свои продукты, однако унификация и объединение усилий, как считается, должны пойти на пользу всем. Всем, кроме, по-видимому, NVIDIA, которой в списке основателей UEC нет (как и Marvell, к слову). NVIDIA после поглощения Mellanox фактически стала монополистом на рынке InfiniBand, который она активно продвигает, не забывая, впрочем, и о своём проприетарном интерконнекте NVLink, который в последней своей версии выбрался за пределы узла. Справедливости ради — про Ethernet компании тоже не забывает.

В обзоре UEC аккуратно критикуется и InfiniBand, и его адаптация в виде RoCE. Авторы указывают на правильность и успешность идеи RDMA, но жалуются на не слишком высокую практичность и удобство современных реализаций. И именно поэтому они первым делом предлагают внедрить новый транспортный протокол Ultra Ethernet Transport (UET), который и позволит реализовать интерконнект будущего, а заодно ещё раз доказать эффективность и гибкость технологии Ethernet, которой в этом году исполнилось 50 лет. Впрочем, это только один из кирпичиков UEC. Примечательно, что первые продукты на базе новых спецификаций обещали показать уже в 2024 году.

Компания Cisco успешно выпустила новые ASIC для сетевых коммутаторов с производительностью 51,2 Тбит/с. Как заявляют разработчики, коммутаторы на базе чипа серии G200 способны объединить в единый комплекс 32 тыс. ускорителей. Новое решение входит в портфолио Cisco Silicon One и изначально нацелено на рынок гиперскейлеров и создателей ИИ-кластеров.

В новом чипе в два раза увеличено количество блоков SerDes с производительностью 112 Гбит/с (с 256 до 512), что и позволило довести общую коммутационную производительность до 51,2 Тбит/с. Доступны конфигурации 64×800GbE, 128×400GbE или 256×200GbE, всё зависит от желаемой плотности размещения и скорости портов. Это, в частности, позволяет избавиться от избыточных уровней в топологии сети.

Источник изображений: Cisco

Cisco отмечает, что новинка вдвое энергоэффективнее и имеет вдвое меньшую задержку в сравнении с G100. Кроме того, чипы предлагают расширенную телеметрию, поддержку языка P4 для обработки трафика на лету, а также возможность использования современных интерфейсов, в том числе интегрированную оптику или медные кабели длиной до 4 м, чего более чем достаточно для организации связи на уровне стойки.

Как и Broadcom Tomahawk-5 или Jericho3-AI, Marvell Teralynx 10 и NVIDIA Spectrum-X, новый чип Cisco содержит возможности, востребованные в среде ИИ-систем, такие как продвинутые средства преодоления заторов в сети (congestion), технологии packet spraying и резервирование линков с возможностью мгновенного восстановления разорванного соединения. Новые чипы серии G200 уже поставляются, но компания пока не назвала даты появления на рынке коммутаторов Cisco на базе нового «кремния».

Компания NVIDIA в ходе выставки Computex 2023 анонсировала передовую Ethernet-платформу Spectrum-X для облачных провайдеров: система поможет в масштабировании сервисов генеративного ИИ. Решение уже доступно гиперскейлерам и операторам крупных дата-центров. Платформа предусматривает использование коммутаторов на базе ASIC NVIDIA Spectrum-4 (51,2 Тбит/с) и 400GbE DPU NVIDIA BlueField-3.

Отмечается, что BlueField-3 сочетает в себе большие вычислительные ресурсы, высокоскоростное сетевое соединение и обширные возможности программирования, что даёт возможность создавать программно-определяемые решения с аппаратным ускорением для самых требовательных задач. В результате, платформа Spectrum-X позволяет добиться 1,7-кратного увеличения производительности ИИ-нагрузок и повышения энергоэффективности по сравнению с другими решениями.

Источник изображений: NVIDIA

Для Spectrum-X заявлена возможность использования до 256 портов 200GbE (или 64 × 800GbE, или 128 × 400GbE) на базе одного коммутатора или до 16 000 портов в случае архитектуры Spine-Leaf. В набор сопутствующего ПО входят SDK-комплекты для SDKCumulus Linux, SONiC и NetQ, а также фреймворк NVIDIA DOCA. С применением решений NVIDIA Mellanox LinkX возможно формирование сквозной 400GbE-фабрики, оптимизированной для облачных ИИ-сервисов.

Платформа Spectrum-X, в частности, будет применена в составе суперкомпьютера Israel-1, который NVIDIA строит в своём израильском дата-центре. Комплекс объединит серверы Dell PowerEdge XE9680 на основе NVIDIA HGX H100 (восемь GPU), изделия BlueField-3 DPU и коммутаторы Spectrum-4.

Компания Broadcom, один из ведущих поставщиков «кремния» для сетевых решений, анонсировала новый сетевой процессор Jerico3-AI, который ориентирован на ИИ-системы. Более того, Broadcom считает подход NVIDIA к «интеллектуальным сетевым решениям» с использованием InfiniBand неверным и даже вредным для кластерных ИИ-систем.

Ethernet-коммутаторы компании можно разделить три ветви: наиболее высокопроизводительные чипы Tomahawk, ориентированная на дополнительные возможности ветвь Trident и, наконец, серия Jericho, отличающаяся наибольшей гибкостью в программировании и располагающая более ёмкими буферами. Чип Jericho3-AI BCM88890 — новинка в последней категории, относящаяся к классу 28,8 Тбит/с. Новый коммутатор имеет 144 линка SerDes (106Gbps, PAM4) и может работать в конфигурации 18×800GbE, 36×400GbE или 72×200GbE.

Источник здесь и далее: Broadcom (via ServeTheHome)

В своей презентации Broadcom раскритиковала традиционный подход NVIDIA и других крупных игроков на сетевом рынке, заявив о том, что прямое наращивание пропускной способности и снижение латентности кластерной сети якобы является тупиковой ветвью развития. Вместо этого фабрика на базе Jericho3-AI, по словам компании, позволяет сделать так, чтобы процесс обучения нейросети как можно меньше времени тратил не сетевые операции.

Новый коммутатор обеспечивает идеальную балансировку загрузки, гарантирующую отсутствие заторов, и автоматическое переключение отказавшего соединения на резервное менее, чем за 10-нс, а также позволяет создавать большие «плоские» сети (до 32 тыс. портов 800GbE), характерные для ИИ-кластеров. Каждый ускоритель может получить 800G-подключение, а суммарная производительность фабрики на базе новых коммутаторов может достигать 26 Пбит/с.

Broadcom утверждает, что сеть Ethernet на базе Jericho3-AI превосходит аналогичную по классу сеть NVIDIA InfiniBand в тестах с использованием NCCL. При этом новый коммутатор не содержит никаких вычислительных мощностей общего назначения — он проще, а за счёт использования стандарта Ethernet сети на его основе универсальны, что также снижает стоимость владения инфраструктурой.

Высокая степень интегрированности обеспечит и большую экономичность, а значит, решения на базе нового коммутатора Broadcom окажутся и более дружелюбны к экологии. Новые чипы уже доступны избранным клиентам Broadcom.

Не столь давно производители микроэлектроники праздновали выпуск первых чипов для коммутаторов с пропускной способностью 25,6 Тбит/с. Но в эпоху массового распространения 400GbE и начала внедрения 800GbE этого может оказаться недостаточно. Ряд ведущих производителей микрочипов объявил о выпуске нового поколения сетевых ASIC с пиковой способностью коммутации 51,2 Тбит/с. К их числу теперь относится Marvell с чипом Teralynx 10 и оптической платформой Nova.

Источник изображений здесь и далее: Marvell

Чип Teralynx 10 изначально спроектирован, как основа для инфраструктуры класса 800GbE. Чип содержит 512 блоков SerDes со скоростью передачи данных 112 Гбит/с и может быть сконфигурирован как 32 × 1,6 Тбит/с или 64 ×  800 Гбит/с. Впрочем, поддерживаются и менее скоростные конфигурации портов. В новом чипе имеется отдельный встроенный Arm-сопроцессор, а также блок безопасного удалённого управления с интерфейсами PCIe 3.0 x4 и 10GbE.

Блок-схема Teralynx 10

Новая платформа Teralynx ведёт своё происхождение от разработок компании Innovium, приобретённой Marvell в августе 2021 года и даже в новой, высокопроизводительной итерации сохраняет совместимость на уровне ПО. Так, полностью поддерживаются продвинутые функции телеметрии и предиктивной аналитики Teralynx Flashlight.

Также компания анонсировала первое в индустрии поколение гибридной платформы Nova, предназначенной для сетей класса 1,6 Тбит/с (16 × 100G ↔ 8 × 200G). Новые DSP (PAM4) предлагают именно такие оптические трансиверы в форм-факторе OSFP-XD, а 5-нм техпроцесс и использование интегрированной фотоники позволили снизить энергопотребление DSP до менее 28 Вт. Поставки новых чипов должны начаться уже во II квартале.

Выставка MWC 2023 не могла не привлечь внимания компании Huawei, как одного из крупнейших производителей телекоммуникационного оборудования. На этом мероприятии компания демонстрирует целый ряд новых продуктов и решений. В их число вошли новые флагманские коммутаторы, а также первые, по словам компании, в отрасли корпоративные точки доступа стандарта Wi-Fi 7.

Самым, пожалуй, интересным, можно назвать именно последний анонс — далеко не везде освоен даже Wi-Fi 6, а Huawei уже может предложить готовое, законченное решение следующего поколения. Речь идет о точке доступа корпоративного класса AirEngine 8771-X1T. Новинка поддерживает хост-подключение на скорости 10 Гбит/с, причём имеется даже порт SFP+ с возможностью PoE++ — разумеется, только при использовании гибридного кабеля, сочетающего оптику для данных и медь для питания. Есть и классический порт 10GBASE-T; максимальная длина для PoE составляет 300 м.

Точка способна работать в трёх частотных диапазонах: 2,4 ГГц, 5 ГГц и 6 ГГц. Причём третий радиомодуль способен на лету переключаться между диапазонами 5 и 6 ГГц. Антенный блок AirEngine 8771-X1T уникален, он носит название Dynamic-Zoom Smart Antenna. Данный блок специально оптимизирован для всенаправленной работы в высокоплотных сценариях со множеством клиентов, что важно для «умной промышленности».

Ещё одна новинка — коммутатор уровня ядра CloudEngine S16700 для кампусных сетей. Производительность пересылки пакетов в этом поколении достигла 14,4 Тбит/с на слот, в старшей модели совокупный показатель достигает 1935 Тбит/с и 230400 Mpps. Поддержка стандарта 400GbE позволяет говорить о 10-летнем жизненном цикле новинок.

Источник изображения: Huawei

Привезла на выставку компания и CloudEngine 16800-X, который она сама называет принципиально новым коммутатором, способным объединять и обслуживать сети разных классов и назначения, от HPC до СХД. При этом гарантируется высокая производительность во всех сценариях, а латентность не превышает 3,5 мкс, и это самый низкий показатель в индустрии. Платформа готова к развёртыванию 800G-сетей и тоже рассчитана на жизненный цикл не менее 10 лет.

Разработчики и производители сетевого оборудования продолжают осваивать новые скоростные горизонты. Вслед за Nokia японская компания Fujitsu анонсировала выпуск новой оптической сетевой платформы 1FINITY Ultra Optical System. Новинка отличается повышенной надёжностью и позволяет передавать до 1,2 Тбит/с на каждую длину волны. Будущая модернизация позволит довести эту цифру до 1,6 Тбит/с.

Источник изображений здесь и далее: Fujitsu

Начало поставок новой платформы компания наметила на первую половину текущего года, целевой аудиторией являются провайдеры коммуникационных и облачных услуг. Первыми получат оборудование 1FINITY Ultra японские клиенты Fujitsu, затем североамериканские и европейские. В основе платформы — новое поколение DSP и транспондеров, выполненное с использованием 5-нм техпроцесса. Переход с 7 на 5 нм позволил поднять производительность одной связки DSP+CDM со 100 до 135 Гбод, а удельное энергопотребление сократилось на 39 %.

Технология Fujitsu C+L ROADM позволит задействовать несколько длин волн в одном решении, причём из-за улучшенного соотношения сигнал/шум у оптических усилителей Fujitsu максимальная дистанция для соединения со скоростью 800 Гбит/с вырастет на 40 %. Для скорости 400 Гбит/с предел расстояния без необходимости регенерации сигнала составит 6000 км.

В составе платформы уже объявлены транспондеры 1FINITY T900/T950 и линейные системы 1FINITY L900. Интересно, что охлаждение у новых платформ Fujitsu жидкостное. По производительности оно вдвое лучше воздушного. Компания обещает, что использование СЖО продлит жизненный цикл оборудования при сокращении затрат на обслуживание. Официальная презентация новинки состоится на конференциях MWC в Барселоне и OFC в Сан-Диего.