В Великобритании введён в эксплуатацию суперкомпьютер Isambard 3, предназначенный для ресурсоёмких приложений ИИ и задач НРС. Реализация проекта обошлась приблизительно в £10 млн, или примерно $12,7 млн. Машина пришла на смену комплексу Isambard 2, который отправился на покой в сентябре нынешнего года.

Система Isambard 3 создана в рамках сотрудничества между исследовательским консорциумом GW4 Alliance, в который входят университеты Бата, Бристоля, Кардиффа и Эксетера, а также компаниями HPE, NVIDIA и Arm. Суперкомпьютер назван в честь британского инженера Изамбарда Кингдома Брюнеля, внесшего значимый вклад в Промышленную революцию.

Полностью технические характеристики Isambard 3 не раскрываются. Известно, что в основу машины положены 384 суперпроцессорами NVIDIA Grace со 144 ядрами (2 × 72) Arm Neoverse V2 (Demeter), общее количество которых превышает 55 тыс. Задействована высокопроизводительная СХД HPE, которая обеспечивает расширенные IO-возможности с интеллектуальным распределением данных по нескольким уровням. Благодаря этому достигается эффективная обработка задач с интенсивным использованием информации, таких как обучение моделей ИИ.

Известно также, что в составе комплекса применяется фирменный интерконнект HPE Slingshot, а в качестве внутреннего интерконнекта служит технология NVLink-C2C, которая в семь раз быстрее PCIe 5.0. Каждый узел суперкомпьютера содержит один суперчип Grace и сетевой адаптер Cassini с пропускной способностью до 200 Гбит/с. Объём системной памяти составляет 2 × 120 Гбайт (240 Гбайт).

Источник изображения: GW4

Отмечается, что Isambard 3 демонстрирует в шесть раз более высокую производительность и в шесть раз лучшую энергоэффективность по сравнению с Isambard 2. Пиковое быстродействие FP64 у Isambard 3 достигает 2,7 Пфлопс при энергопотреблении менее 270 кВт. Применять новый суперкомпьютер планируется для таких задач, как проектирование оптимальной конфигурации ветряных электростанций на суше и воде, моделирование термоядерных реакторов, исследования в сфере здравоохранения и пр.

Суперкомпьютер расположен в автономном дата-центре с системой самоохлаждения HPE Performance Optimized Data Center (POD) в Национальном центре композитов в Научном парке Бристоля и Бата. Там же ведётся монтаж ИИ-комплекса Isambard-AI стоимостью £225 млн ($286 млн), который должен стать самым быстрым и мощным суперкомпьютером в Великобритании. Проект Isambard-AI реализуется в несколько этапов. Первая фаза предполагает монтаж 42 узлов, каждый из которых несёт на борту четыре суперчипа NVIDIA GH200 Grace Hopper и 4 × 120 Гбайт памяти для CPU (доступно 460 Гбайт — по 115 Гбайт на CPU), а также 4 × 96 Гбайт памяти для GPU (H100). В ходе второй фазы будут добавлены 1320 узлов, насчитывающих в сумме 5280 суперчипов NVIDIA GH200 Grace Hopper.

Кроме того, в состав Isambard 3 входит экспериментальный x86-модуль MACS (Multi-Architecture Comparison System), включающий сразу восемь разновидностей узлов на базе процессоров AMD EPYC и Intel Xeon нескольких поколений, часть из них также имеет ускорители AMD Instinct MI100 и NVIDIA H100/A100. Все они объединены 200G-интерконнектом HPE Slingshot.

Облачная платформа AWS объявила о доступности инстансов EC2 P5en, рассчитанных на такие нагрузки, как глубокое обучение, генеративный ИИ, обработка данных в реальном времени и приложения HPC. В основу новых экземпляров положены аппаратные компоненты Intel и NVIDIA.

В частности, задействованы кастомизированные процессоры Xeon Sapphire Rapids. У них все ядра могут одновременно работать на турбо-частоте 3,2 ГГц, а максимальная частота отдельных ядер достигает 3,8 ГГц. Кроме того, применяются ИИ-ускорители NVIDIA H200 и адаптеры AWS Elastic Fabric Adapter (EFA) v3 с пропускной способностью до 3,2 Тбит/с.

Конфигурация инстансов EC2 P5en включает 192 vCPU, 2048 ГиБ памяти, восемь ускорителей H200 и восемь SSD вместимостью 3,84 Тбайт каждый. Пропускная способность EBS составляет 100 Гбит/с. Отмечается, что экземпляры P5en демонстрируют увеличение производительности локального хранилища до двух раз и пропускной способности EBS до 25 % по сравнению с инстансами P5 на базе NVIDIA H100.

Источник изображения: NVIDIA

На сегодняшний день инстансы EC2 P5en доступны в американских регионах AWS US East (Огайо) и US West (Орегон), а также в Азиатско-Тихоокеанском регионе в Токио. Предлагаются различные тарифные опции, включая оплату по мере использования.

Ранее были представлены инстансы EC2 P5e с процессорами AMD EPYC Milan, 2 ТиБ памяти, восемью ускорителями NVIDIA H200 и восемью NVMe SSD на 3,84 Тбайт каждый. У этих экземпляров пропускная способность EBS равна 80 Гбит/с.

Nebius, бывшая материнская компания «Яндекса», объявила о проведении частного размещения акций, в рамках которого она привлекла $700 млн, пишет Bloomberg. По словам гендиректора Nebius Аркадия Воложа, в финансировании приняли участие десятки известных инвесторов, включая существующего партнёра, производителя чипов NVIDIA, венчурную фирму из Кремниевой долины Accel и компанию по управлению инвестициями Orbis Investment.

В рамках частного размещения Nebius выпустит 33,3 млн акций по цене $21 за единицу, что включает премию в 3 % к средней цене акции с момента возобновления торгов 21 октября на Nasdaq. Nebius также заявила, что не будет проводить обратный выкуп акций, который был одобрен после закрытия сделки по разделению активов с «Яндексом» до возобновления торгов на Nasdaq. По словам Воложа, финансирование в размере $700 млн даст Nebius дополнительные возможности для более быстрого и масштабного создания кластеров ускорителей, облачных платформ и других инструментов для разработчиков ИИ.

Источник изображений: Nebius

Nebius планирует инвестировать в расширение инфраструктуры ИИ в Европе $1 млрд к середине 2025 года, но Волож заявил, что в конечном итоге сумма инвестиций может быть и больше. Nebius арендует ЦОД в Канзас-Сити (штат Миссури), и может расширить деятельность в США, где базируется более половины клиентов компании. Ранее компания запустила первый ИИ-кластер во Франции на базе NVIDIA H200, а также объявила о планах втрое увеличить ёмкость дата-центра в Финляндии.

Волож выразил надежду, что Nebius получит ранний доступ к столь ожидаемым чипам Blackwell от NVIDIA, но инвестиции не гарантируют этого. «Сделка не касается GPU, — сообщил он. — Но она, конечно, демонстрирует наши тесные отношения, которые, как мы надеемся, повлияют на нашу деятельность». Волож также ожидает, что ещё больше инвестиций удастся привлечь в 2025 году. В рамках сделки партнёр Accel Мэтт Вейганд (Matt Weigand) войдёт в совет директоров Nebius. Изначально он будет иметь статус наблюдателя, пока не будет официально избран на ежегодном собрании акционеров компании в 2025 году.

На фоне этих новостей акции Nebius подскочили в понедельник на предварительных торгах примерно на 16 % до $25,50 с $21,99 в пятницу. В связи с укреплением финансового положения Nebius улучшила свой финансовый прогноз, ожидая достичь к концу 2025 года годовой ставки доходности (annualized run rate, ARR) от $750 млн до $1 млрд. Предыдущий прогноз составлял от $500 млн до $1 млрд.

Юлихский исследовательский центр (FZJ) в Германии объявил о достижении важного рубежа в рамках проекта JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research) по созданию европейского экзафлопсного суперкомпьютера. Введён в эксплуатацию JETI — второй модуль этого НРС-комплекса.

Напомним, контракт на создание JUPITER заключён между Европейским совместным предприятием по развитию высокопроизводительных вычислений (EuroHPC JU) и консорциумом, в который входят Eviden (подразделение Atos) и ParTec. Суперкомпьютер JUPITER создаётся на базе модульного дата-центра, за строительство которого отвечает Eviden.

Система JUPITER получит, в частности, энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea1 с HBM. Кроме того, в состав машины входят узлы с NVIDIA Quad GH200, а общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс. Узлы объединены интерконнектом NVIDIA Mellanox InfiniBand.

Запущенный модуль JETI (JUPITER Exascale Transition Instrument) обладает FP64-производительностью 83,14 Пфлопс, тогда как пиковый теоретический показатель достигает 95 Пфлопс. С такими результатами эта машина попала на 18-ю строку нынешнего рейтинга мощнейших суперкомпьютеров мира TOP500. В составе JETI задействованы в общей сложности 391 680 ядер. Энергопотребление модуля равно 1,31 МВт. Отмечается, что JETI обеспечивает примерно одну двенадцатую от общей расчётной производительности машины JUPITER. Попутно JETI занял шестое место в рейтинге энергоэффективных систем Green500.

Источник изображения: Eviden

Ожидается, что после завершения строительства суммарное быстродействие JUPITER на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность превысит 1 Эфлопс. Затраты на создание комплекса оцениваются в €273 млн, включая доставку, установку и обслуживание НРС-системы.

Компания Iceotope анонсировала сервер KUL AI, предназначенный для поддержания самых требовательных рабочих нагрузок ИИ. Новинка базируется на аппаратной платформе Gigabyte G293, интегрированной с высокоэффективной гибридной СЖО Iceotope Precision Liquid Cooling, сочетающей прямое жидкостное охлаждение с погружным охлаждением в одном шасси.

Известно, что в сервере применяются процессоры Intel Xeon. Установлены восемь ускорителей. Устройство имеет аккредитацию NVIDIA Certified-Solutions. Оно оптимизировано по конструкции для жидкостного охлаждения на основе диэлектрических теплоносителей. Утверждается, что благодаря системе Iceotope Precision Liquid Cooling сервер KUL AI обеспечивает бесперебойную и надёжную работу при поддержании оптимальной температуры. При этом достигается защита критически важных компонентов и сводится к минимуму частота отказов даже во время интенсивных и продолжительных ИИ-нагрузок.

Устройство имеет размеры 121 × 53 × 13,5 см и весит 99 кг. В набор интерфейсов в зависимости от варианта исполнения входят до четырёх сетевых портов 10Gb RJ-45 и QSFP28 или SFP28, порты USB 3.2 Type-A, аналоговый разъём D-Sub и коннектор 1Gb RJ-45. Говорится о практически бесшумной работе и герметичном исполнении. По заявлениям разработчика, новинка идеально подходит для чувствительных к задержкам периферийных вычислений, включая среды с экстремальными условиями эксплуатации.

Источник изображения: Iceotope

«KUL AI позволяет организациям развёртывать ИИ везде, где это необходимо, открывая новые возможности в плане операционной эффективности и инноваций даже в самых сложных IT-средах», — заявляет Iceotope.

Сервис-провайдер «РТК-ЦОД» (дочерняя компания «Ростелекома», предоставляющая услуги дата-центров и облачные услуги) объявил о запуске обновлённого сервиса BareMetal 2.0 с GPU-ускорителями.

Как сообщает «РТК-ЦОД», сервис BareMetal 2.0 обеспечивает максимально эффективное использование вычислительных ресурсов, в том числе, с помощью интеграции физических серверов в единую сеть с виртуальной облачной инфраструктурой. Это дает возможность выстраивать гибридные IaaS-решения для повышения производительности и масштабируемости. По словам компании, обновлённый сервис идеально подходит для задач, требующих максимальной производительности: от анализа данных и машинного обучения до научных исследований и обработки графики.

Согласно пресс-релизу, работу BareMetal 2.0 обеспечивают выделенные серверы без виртуализации, предоставляемые в составе «Публичного облака». Доступные конфигурации включают процессоры с частотой 2,6 и 3,0 ГГц, поддержку до 48 ядер и объём оперативной памяти до 1024 Гбайт с возможностью использования высокоскоростных сетевых SSD для хранения данных. В обновлённом сервисе для работы с графикой, 3D-моделированием, рендерингом, интенсивными вычислительными задачами можно выбрать сервер с ускорителями NVIDIA L4 (24 Гбайт), RTX A6000 (48 Гбайт) или A100 (80 Гбайт).

Источник изображения: «РТК-ЦОД»

Клиентам доступен выделенный менеджер и команда архитекторов, которые помогут адаптировать решение под индивидуальные задачи. BareMetal 2.0 и другие облачные сервисы РТК-ЦОД можно самостоятельно настроить через единый портал, а также использовать инструменты для удалённого управления.

Согласно оценкам аналитиков DIGITIMES Research, глобальные поставки серверов в III квартале 2024 года выросли на 4,3 % по сравнению с предыдущим кварталом, превзойдя предыдущие прогнозы, но из-за высоких показателей базового периода поставки в IV квартале, как ожидается, последовательно снизятся.

Крупнейшие провайдеры облачных услуг (CSP) США продолжили наращивать закупки серверов общего назначения следующего поколения в III квартале. Большинство CSP также увеличили закупки высокопроизводительных ИИ-серверов по сравнению с предыдущим кварталом, отметили в DIGITIMES Research. Вместе с тем поставки в количественном выражении не оправдали ожиданий, поскольку клиенты сделали упор на закупки ИИ-серверов, отличающихся гораздо более высокой ценой.

DIGITIMES Research прогнозирует снижение в IV квартале мировых поставок серверов на 5,2 % по сравнению с III кварталом из-за высокой базы в связи с активными закупками серверов облачными провайдерами из США и ожидаемого начала поставок суперускорителей NVIDIA GB200 NVL72, что должно привести к замедлению темпов поставок серверов общего назначения. Серверные бренды и китайские CSP также снизят динамику поставок в IV квартале, и обе группы, как ожидается, столкнутся с более значительным последовательным снижением поставок по сравнению с конкурентами в сфере облачных услуг из США.

Источник изображения: Microsoft

DIGITIMES Research отметила, что общий рынок серверов продолжил восстановление в III квартале 2024 года, при этом CSP из США, такие, как Meta✴, Microsoft и Amazon, ускорили внедрение новых платформ, что привело к росту их совокупных поставок на 13 % по сравнению с предыдущим кварталом.

Вместе с тем американские серверные бренды — за исключением Dell — столкнулись со спадом поставок в III квартале, что привело к общему снижению поставок на 1,1 % за прошедшие три месяца. Спад в первую очередь связан с более консервативным в сравнении с гиперскейлерами подходом предприятий к инвестициям в ИТ, не связанным с ИИ, что привело к сокращению закупок серверов общего назначения.

Как ожидает DIGITIMES Research, в IV квартале 2024 года CSP из США в основном зафиксируют резкий последовательный спад поставок, за исключением Meta✴ и Microsoft, которые, как ожидается, продолжат начавшиеся в предыдущем квартале закупки новых серверов, что приведёт к небольшому росту поставок за квартал. Относительно устойчивые закупки Meta✴ и Microsoft позитивно отразятся на росте показателей их ключевых тайваньских партнёров по производству серверов, Wiwynn и Foxconn.

Состояние глобальной экономики в IV квартале останется неопределённым, что повлияет на инвестиции предприятий, сообщила DIGITIMES Research. Поскольку экономика Китая также замедляется, американские бренды и китайские CSP могут столкнуться в последние три месяца 2024 года с резким сокращением заказов.

Хотя ускорители NVIDIA считаются одними из самых энергоёмких в своём классе, суперкомпьютеры на основе чипов компании по-прежнему доминируют в мировом рейтинге энергоэффективности соответствующих машин — Green500. Тем не менее компания столкнулась с сильной конкуренцией со стороны AMD и не всегда готова состязаться даже с собственной продукцией, сообщает The Register.

На первый взгляд, лидерство проектов на базе NVIDIA неоспоримо. Восемь из десяти суперкомпьютеров, входящих в «Топ-10» энергоэффективных машин, построены на чипах NVIDIA, из них пять — на 1000-ваттных гибридных ускорителях GH200. В новейшем рейтинге Green500 на их основе построены первая и вторая из наиболее энергоэффективных систем — JEDI (EuroHPC) и ROMEO-2025 (Romeo HPC Center). В бенчмарке High-Performance Linpack они продемонстрировали производительность 72,7 Гфлопс/Вт и 70,9 Гфлопс/Вт соответственно (FP64).

Системы почти идентичны и построены на платформе BullSequana XH3000 компании Eviden (Atos). На решение GH200 также приходятся четвёртая, шестая и седьмая позиции рейтинга: Isambard-AI Phase 1 (68,8 Гфлопс/Вт), Jupiter Exascale Transition Instrument (67,9 Гфлопс/Вт) и Helios (66,9 Гфлопс/Вт). Системы с проверенными NVIDIA H100 занимают пятое, восьмое и девятое места — это Capella, Henri и HoreKa-Teal.

Источник изображения: Jakub Żerdzicki/unsplash.com

Тем не менее есть сомнения в том, что продукты NVIDIA и дальше будут безраздельно господствовать в рейтинге Green500. Уже на подходе решения Grace-Blackwell в виде GB200 (2,7 кВт) и GB200 NVL4 (5,4 кВт). Новые продукты далеко не всегда обеспечивают максимальную производительность на ватт энергии. При переходе от A100 (2020 год) к H100 (2022 год) FP64-производительность взлетела приблизительно в 3,5 раза, но в сравнении с 1,2-кВт платформой Blackwell даже 700-Вт H100 в режиме матричных FP64-вычислений фактически быстрее. Для FP64 улучшилась только работа с векторными операциями, где новинки оказались на 32 % производительнее.

Другими словами, хотя сегодня NVIDIA может похвастаться высоким положением в рейтинге Green500, решение на ускорителях MI300A компании AMD уже заняло третье место (Adastra 2). MI300A анонсировали чуть менее года назад, решение получило 24-ядерный CPU и шесть чиплетов CDNA-3 в едином APU-модуле, оснащённым до 128 Гбайт памяти HBM3, а также настраиваемый уровень TDP 550–760 Вт. Более того, такая система в 1,8 раза производительнее NVIDIA H100 (по крайней мере, на бумаге).

Суперкомпьютер Adastra 2 на базе HPE Cray EX255a обеспечивает производительность 69 Гфлопс/Вт. Десятое место также занимает машина на MI300A — RZAdams Ливерморской национальной лаборатории (62,8 Гфлопс/Вт). Таким образом, все системы, входящие в первую десятку рейтинга Green500, уже значительно превышают целевой показатель энергоэффективности в 50 Гфлопс/Вт, необходимый для достижений 1 Эфлопс (FP64) при энергопотреблении до 20 МВт.

Проблема в том, что малые системы значительно эффективнее: JEDI потребляет всего 67 кВт, а самая производительная машина на базе GH200 в рейтинге TOP500 — швейцарская Alps — обеспечивает 434 Пфлопс (FP64), потребляя 7,1 МВт — это лишь 14-я из наиболее энергоэффективных машин (61 Гфлопс/Вт). Та же проблема и с Adastra 2: компьютер потребляет даже меньше JEDI — 37 кВт. Если бы удалось сохранять уровень 69 Гфлопс/Вт в больших масштабах, потребовалось бы всего 25,2 МВт для достижения 1,742 Эфлопс, как у El Capitan. Но последнему требуется около 29,6 МВт для достижения таких рекордных показателей.

Компании AIC и ScaleFlux анонсировали систему F2026 Inference AI для ресурсоёмких приложений ИИ с интенсивным использованием данных. Решение выполнено в форм-факторе 2U. В оснащение входят два DPU NVIDIA BlueField-3, которые могут работать на скорости до 400 Гбит/с. Эти изделия способны ускорять различные сетевые функции, а также операции, связанные с передачей и обработкой больших массивов информации.

Во фронтальной части F2026 Inference AI расположены 26 отсеков для высокопроизводительных вычислительных SSD семейства ScaleFlux CSD5000 (U.2). Накопители с интерфейсом PCIe 5.0 (NVMe 2.0b) имеют вместимость 3,84, 7,68, 15,36, 30,72, 61,44 и 122,88 Тбайт, а с учётом компрессии эффективная ёмкость может достигать приблизительно 256 Тбайт. Реализована поддержка TCG Opal 2.02 и шифрования AES-256, NVMe Thin Provisioned Namespaces Virtualization (48PF/32VF), ZNS, FDP.

Платформа F2026 Inference AI представляет собой JBOF-массив, способный на сегодняшний день хранить 1,6 Пбайт информации (эффективный объём). В следующем году показатель будет доведён до 6,6 Пбайт. Утверждается, что сочетание BlueField-3 и энергоэффективной технологии хранения ScaleFlux помогает минимизировать энергопотребление, а также повысить долговечность и надёжность.

Результаты проведённого тестирования F2026 Inference AI демонстрируют пропускную способность при чтении до 59,49 Гбайт/с, при записи — более 74,52 Гбайт/с. Благодаря объединению средств хранения, сетевых функций и инструментов безопасности в одну систему достигается снижение эксплуатационных расходов, что позволяет оптимизировать совокупную стоимость владения (TCO).

Источник изображения: AIC

Новинка является лишь одной из вариаций решений на базе F2026. Платформа, в частности, поддерживает работу других DPU, включая Kalray 200 и Chelsio T7. Также упоминается вариант шасси на 32 накопителя EDSFF E3.S/E3.L.

Корпорация Oracle сообщила о доступности облачного суперкластера с ускорителями NVIDIA H200, предназначенного для ресурсоёмких ИИ-нагрузок, включая обучение больших языковых моделей (LLM). Арендовать мощности системы можно по цене от $10 в час в расчёте на GPU.

Кластер масштабируется до 65 536 ускорителей. В максимальной конфигурации теоретическое пиковое быстродействие достигает 260 Эфлопс на операциях FP8, что более чем в четыре раза превышает показатели систем предыдущего поколения. Утверждается, что на сегодняшний день это самый высокопроизводительный облачный ИИ-суперкомпьютер, доступный в облаке. Сейчас компания готовится к созданию облачного кластера из 131 тыс. NVIDIA B200.

Новые инстансы получили обозначение BM.GPU.H200.8. Каждая виртуальная машина типа Bare Metal (без гипервизора) содержит восемь изделий NVIDIA H200 (141 Гбайт памяти HBM3e), объединённых посредством NVIDIA NVLink. Задействованы два процессора Intel Xeon Platinum 8480+ поколения Sapphire Rapids (56C/112T; до 3,8 ГГц; 350 Вт). Объём системной памяти DDR5 составляет 3 Тбайт. В состав локального хранилища входят восемь NVMe SSD вместимостью 3,84 Тбайт каждый.

Источник изображения: NVIDIA

Кластер использует кастомную RoCE-сеть на базе NVIDIA ConnectX-7 с суммарной пропускной способностью 3200 Гбит/с (восемь каналов по 400 Гбит/с) на узел. Инстансы включают frontend-сеть с пропускной способностью 200 Гбит/с. По данным Oracle, каждый инстанс в суперкластере содержит на 76 % больше памяти HBM по сравнению с виртуальными машинами на основе NVIDIA H100, а пропускная способность памяти увеличена на 40 %. Таким образом, производительность инференса выросла в 1,9 раза.