Компания Accelsius, занимающаяся разработкой систем двухфазного жидкостного охлаждения, объявила об успешном испытании технологии NeuCool для отвода тепла от GPU мощностью до 4500 Вт. Решение призвано удовлетворить будущие потребности дата-центров в охлаждении высокопроизводительных ИИ-ускорителей следующего поколения. Месяц назад CoolIT представила свой водоблок для 4-кВт чипов.

NeuCool — это двухфазная система, использующая технологию прямого жидкостного охлаждения Direct-To-Chip (DTC). В рамках подготовки к появлению более мощных ускорителей специалисты Accelsius выполнили два температурных теста с применением системы, имитирующей GPU.

Источник изображений: Accelsius

В ходе одного из экспериментов моделировалась работа ускорителя с TDP в 4500 Вт. Для сравнения: у NVIDIA H100 данный показатель составляет до 700 Вт. Во время тестов, как утверждается, температура охлаждающей пластины оставалась стабильной и находилась в допустимых пределах — даже при таких беспрецедентных нагрузках. Иными словами, подчеркивает Accelsius, у NeuCool есть значительный потенциал охлаждения для поддержки нескольких будущих поколений GPU. Показанный результат на сегодняшний день является рекордным для СЖО типа DTC.

Во втором тесте Accelsius успешно продемонстрировала способность своего блока распределения охлаждающей жидкости (CDU) для двухфазных СЖО обслуживать стойку с ИИ-серверами суммарной мощностью 250 кВт (впрочем, для 600-кВт Rubin Ultra NVL576 это решение пока не подходит). В этом эксперименте применялись машины, оснащённые четырьмя ускорителями NVIDIA H100. Охлаждающие пластины находились в непосредственном контакте с ключевыми компонентами, в том числе с CPU и GPU. Были опробованы различные режимы — с температурой воды внешнего контура 20, 30 и 40 °C и с потоком 375 л/мин. Даже при максимальной нагрузке на стойку и при температуре на входе 40 °C температура GPU оставалась ниже предельных значений (около 87 °C).

Принадлежащая южнокорейской SK Hynix компания Solidigm представила технологию жидкостного охлаждения SSD. По словам разработчиков, благодаря этому можно будет создавать более компактные безвентиляторные серверы с ИИ-ускорителями и высокой плотностью хранения данных.

По данным Solidigm, типичный ИИ-сервер на базе ИИ-ускорителей обычно имеет около 30 Тбайт памяти в восьми слотах и рост ёмкости будет, вероятно, продолжаться. SSD обычно охлаждается воздухом, но с ростом плотности компоновки такой подход становится проблематичным, поскольку твердотельные накопители сами достаточно горячи, что повышает риск отключений, а традиционное сочетание радиаторов и вентиляторов мешают эффективному использованию пространства.

Источник изображений: Solidigm

Поэтому Solidigm представила накопитель D7 PS110 E1.S толщиной 9,5 мм, дополненный водоблоком. Точнее говоря, сами водоблоки находятся в дисковой корзине, что оставляет возможность «горячей» замены самих SSD и в то же время позволяет отводить до 30 Вт, причём охлаждаются обе стороны накопителя. В Solidigm утверждается, что её технология станет первым решением корпоративного уровня с «полным жидкостным охлаждением», хотя на рынке уже есть варианты с похожей функциональностью. Например, у российской РСК давно есть и All-Flash СХД с полностью жидкостным охлаждением, и SSD в вычислительных узлах оснащены водоблоками.

Технология Solidigm разработана совместно с неназванным партнёром и нацелена на «ИИ-серверы будущего». Точная дата премьеры пока не объявлена, но она состоится не раньше II половины текущего года. Пока Solidigm изучает точное влияние технологии охлаждения на общее энергопотребление. Переход к СЖО позволит избавиться от вентиляторов, которые сами по себе потребляют довольно много энергии. Кроме того, в этом случае не нужно будет обеспечивать относительно низкую температуру воздуха между стойками. При этом контур СЖО для SSD будет работать параллельно контуру СЖО для CPU и ускорителей, что потенциально может усложнить компоновку всей системы.

CoolIT Systems представила водоблок для однофазного прямого жидкостного охлаждения (DLC) чипов мощностью 4 кВт. Это вдвое выше, чем у других решений такого типа. Новинка смогла отвести более 97 % тепла от 4-кВт тестовой нагрузки (Thermal Test Vehicle, TTV) при расходе 6 л/мин. (LPM). Это эквивалентно 1,5 LPM на кВт, что совпадает с рекомендуемым потоком для чипов высокой мощности, говорит компания.

Тепловое сопротивление является ещё одним критическим фактором высокопроизводительного охлаждения — новый водоблок имеет сверхнизкое сопротивление Tr<0,009 К/Вт. При этом полное падение давления в контуре, включая фитинги и быстроразъёмные соединения, остаётся на уровне всего 8 фунтов на кв. дюйм (0,5625 кгс/см²). А фирменная технология Split-Flow позволяет почти на треть улучшить поток и отвод тепла по сравнению с традиционными водоблокам, обеспечивая целенаправленное охлаждение наиболее нагревающихся областей чипов, говорит компания.

Источник изображения: CoolIT Systems

Пока столь мощных чипов нет. Даже самые современные NVIDIA Blackwell имеют TDP до 1200 Вт, а AMD Instinct MI355X — до 1100 Вт. Однако для CoolIT важно показать, что у однофазных СЖО есть существенный задел на будущее. Конкуренцию таким систем пытаются составить погружные СЖО, а также двухфазные DLC, например, ZutaCore. Впрочем, есть и необычные однофазные DLC. Так, Chilldyne использует технологию циркуляции теплоносителя с отрицательным давлением, которая снижает риски протечки. А Iceotope предлагает гибридное решение, сочетающее водоблоки и иммерсионную СЖО.

Источник: CoolIT Systems

При этом DLC с водой в качестве теплоносителя остаются наиболее широко распространёнными СЖО. На них приходится более 60 % рынка жидкостного охлаждения ЦОД из-за высокой экономической и тепловой эффективности, сообщает StorageReview со ссылкой на исследование Market Research Future.

Европейский поставщик облачных услуг Exoscale, входящий в состав A1 Digital, в партнёрстве с австрийской компанией Diggers работает над созданием устойчивых дата-центров нового поколения, ориентированных на ресурсоёмкие задачи ИИ. Речь идёт о внедрении новой технологии прямого жидкостного охлаждения (DLC).

Архитектура, разработанная специалистами Diggers, предполагает размещение серверов в «холодных ящиках» — шкафах, в которые не попадает и не выходит воздух. Для отвода тепла от CPU и GPU служат специальные пластины с микроканалами, через которые циркулирует охлаждающая жидкость.

Источник изображений: A1 Digital

Для работы системы требуется подача только электричества и воды. Водоблоки выполнены из алюминия, что предотвращает коррозию. Микроканалы распределяют жидкость таким образом, чтобы увеличить теплопередачу. Каждый водоблок может отводить тепло от двух GPU, которые монтируются с противоположных сторон. Предложенная архитектура устраняет необходимость в холодном коридоре. Утверждается, что по сравнению с обычными системами охлаждения энергопотребление сокращается на 50 %. Показатель PUE составляет до 1,05.

«Мы достигаем практически таких же технических показателей, что и при использовании погружного охлаждения, но при этом не применяется минеральное масло и нет сложностей с обслуживанием. Всё легко меняется. Вы можете менять память и накопители», — говорит генеральный директор Diggers Мартин Шехтнер (Martin Schechtner).

Вода на выходе имеет температуру около 50 °C: она может использоваться либо для нужд самого дата-центра, либо направляться в местную отопительную сеть. Решение может быть интегрировано как в новые, так и в существующие ЦОД. Exoscale испытывает систему на своём объекте в Вене (Австрия).

EK Water Blocks (EKWB) анонсировала водоблоки EK-Pro CPU WB 7529 и 7529 Rack для систем жидкостного охлаждения будущих процессоров Intel Xeon в исполнении LGA 7529, в частности, Sierra Forest (платформа Birch Stream). Появление последних на коммерческом рынке ожидается в первой половине нынешнего года. Эти процессоры получат до 288 E-ядер, а поэтому им потребуется эффективное охлаждение. Впрочем, этот же сокет, как ожидается, будет использоваться и для других чипов Xeon.

Решение EK-Pro CPU WB 7529 Ni + Acetal ориентировано на рабочие станции и высокие серверные корпуса. Используются три стандартных фитинга G1/4″, которые расположены в верхней части. Версия EK-Pro CPU WB 7529 Rack Ni + Acetal, в свою очередь, подойдёт для серверов формата 1U. Данная версия водоблока оборудована четырьмя фитингами стандарта G1/8″, которые расположены в боковых частях.

Источник изображения: EKWB

Водоблок EK-Pro CPU WB 7529 получил основание, изготовленное из очищенной меди с никелевым покрытием. Верхняя часть выполнена из полиформальдегида (ацеталь), фрезерованного на станке с ЧПУ. Кронштейн изготовлен из нержавеющей стали. Новинки уже доступны для заказа, а фактические продажи начнутся в конце февраля. Стоимость обеих модификаций составляет около €180.

Компания ZutaCore на конференции SC23 сообщила о том, что её система прямого жидкостного охлаждения HyperCool Direct-On-Chip вошла в состав серверов Dell и Pegatron на платформе Intel Xeon Sapphire Rapids.

Двухфазная система HyperCool способна эффективно отводить тепло от самых мощных серверных процессоров — с показателем TDP 1500 Вт и более. Это комплексное решение с замкнутым контуром вместо воды использует специальную диэлектрическую жидкость, благодаря чему оборудование защищено от коррозии.

Платформа HyperCool обладает хорошей масштабируемостью и может быть развёрнута в новых или модернизированных дата-центрах — cтандартизированный интегрированный 6U-модуль способен отводить 100 кВт и выше. Система обеспечивает коэффициент PUE меньше 1,02. Конструкция HyperCool позволяет повторно использовать выделяемое тепло — например, для обогрева зданий. СЖО подходит для применения в ЦОД, ориентированных на решение задач ИИ и НРС. Система позволяет снизить общее энергопотребление и сократить выбросы вредных газов в атмосферу.

Источник изображения: ZutaCore

Отмечается, что недавно технология HyperCool была сертифицирована для высокопроизводительных серверов ASUS. Кроме того, в экосистему ZutaCore входят AMD, Boston Limited, Dell, Equinix, Intel, World Wide Technologies (WWT) и другие. Утверждается, что по сравнению с традиционными системами охлаждения решение HyperCool обеспечивает сокращение совокупной стоимости владения на 50 %.

Компания AlphaCool анонсировала водоблок ES H100 80GB HBM PCIe, предназначенный для использования в составе системы жидкостного охлаждения ускорителя NVIDIA H100. Новинка, получившая однослотовое исполнение, уже доступна для заказа по ориентировочной цене €300. Изделие полностью изготовлено из высококачественной хромированной меди.

Верхняя часть водоблока выполнена из углеродного волокна. Новинка специально спроектирована для серверов с ограниченным внутренним пространством. В частности, коннекторы расположены в задней части изделия, благодаря чему упрощается прокладка шлангов. Это позволяет интегрировать решение в водяной контур даже в самых тесных корпусах.

Источник изображений: AlphaCool

Задействованы фитинги стандарта G1/4". Габариты составляют 261,89 × 95,71 × 19,40 мм, а тыльная панель из алюминия чёрного цвета имеет размеры 261,89 × 95,71 × 4,00 мм. Максимальная рабочая температура — 60 °C. В комплект поставки входят термопрокладки толщиной 1 мм и термопаста Alphacool Apex с теплопроводностью 17 Вт/м·К.

Компании Intel и Submer сообщили о новом достижении в области разработки систем однофазного иммерсионного (погружения) жидкостного охлаждения: предложенная технология, как утверждается, позволяет эффективно отводить тепло от процессоров с показателем TDP до 1000 Вт.

Источник изображения: Submer

Речь идёт о решении под названием Forced Convection Heat Sink (FCHS) — радиатор с принудительной конвекцией. Говорится, что технология сочетает «эффективность принудительной конвекции с пассивным охлаждением», позволяя отводить тепло от высокопроизводительных CPU и GPU. Система включает массивный радиатор с двумя винтами в одной из торцевых частей. Это является основным отличием от традиционной концепции пассивного иммерсионного охлаждения, основанного на естественной конвекции.

Источник изображения: Submer

«Погружной радиатор, использующий принудительную конвекцию, является ключевой инновацией, позволяющей вывести однофазное погружное охлаждение за пределы существующих барьеров», — заявляет Мохан Джей Кумар (Mohan J Kumar), научный сотрудник Intel. Отмечается, что некоторые элементы новой системы охлаждения могут быть изготовлены методом 3D-печати. Intel и Submer продемонстрировали, что решение способно справляться с охлаждением неназванного процессора Xeon, TDP которого превышает 800 Вт.

На заре СЖО действительно существовали и предлагались совершенно разные конфигурации водоблоков, но постепенно восторжествовала единственная вариация — микроканальная. Совершенство достигнуто? Компания Fabric8Labs считает, что нет, и таким системам есть куда расти, но только при отказе от традиционных технологий изготовления водоблоков и радиаторов охлаждения. Свое видение будущего СЖО она продемонстрировала на конференции Hot Chips 2023.

Источник изображений здесь и далее: Fabric8Labs via ServeTheHome

Микроканальная конструкция довольно проста и реализуется классическими методами механической ообработки, которая способна обеспечить ширину каналов и толщину рёбер на уровне 100 мкм. У прямых каналов, впрочем, существует свой предел производительности теплоотвода, накладываемый самой физикой процесса.

Рост же тепловыделения современных процессоров отнюдь не собирается останавливаться: уже в порядке вещей теплопакеты в районе боле 300 Ватт, а для сложных ускорителей и того больше. Fabric8Labs считает, что за счёт применения более сложных канальных структур эффективность теплосъёма можно существенно повысить.

Формирование таких структур предполагается методом аддитивной печати. Классические методы такой печати в металлургии имеют довольно высокую себестоимость и требуют недёшевых компонентов, а сам техпроцесс имеет много стадий, достаточно энергоёмок и далеко не всегда позволяет получить достаточно гладкие поверхности.

Компания Fabric8Labs предлагает уникальную электрохимическую печать, не требующую применения дорогостоящих порошков, а вместо этого использующую дешёвые соли металлов. Техпроцесс в этом случае состоит всего из двух частей: направленного электроосаждения и промывки. По себестоимости такой метод существенно превосходит любые другие методы металлической 3D-печати.

Печать Fabric8Labs позволяет получать на выходе сложные гироидные структуры (TPMS), лучше омываемые теплоносителем. Как показывают проведённые компанией эксперименты, водоблоки с такой структурой могут быть на 35 % эффективнее классических микроканальных.

Также представляет интерес возможность печати нерегулярных структур, имеющих оптимальную производительность для разных чиплетов процессора с разными тепловыми характеристиками. При разработке таких структур возможно использование методов оптимизации с помощью генеративного ИИ.

Благодаря своей дешевизне и относительной простоте, методы, предлагаемые Fabric8Labs, выглядят весьма перспективно. В настоящее время технология находится в экспериментальной фазе, но компания рассматривает возможность строительства первой фабрики уже в 2024 году в Сан-Диего (США), а также открыта для сотрудничества с другими производителями систем охлаждения, если предлагаемая технология вызовет интерес крупных заказчиков.