На рынке появляется всё больше модульных решений для ЦОД, позволяющих ускорить их ввод в эксплуатацию. Так, Vertiv представила комплексное решение SmartRun, которое объединяет шину распределения питания, сеть трубопроводов жидкостного охлаждения, систему изоляции «горячего коридора» и сетевую инфраструктуру, сообщает The Register.

По словам Vertiv, SmartRun предлагает на 85 % более быстрое развёртывание благодаря быстровозводимой модульной конструкции, готовой к работе в формате plug-and-play, и установке всех компонентов за один подход. Сложность разводки минимизируется за счёт размещения труб и кабелей над «горячим коридором». Впрочем, пока никаких дополнительных деталей Vertiv не приводит.

Модульными системами как таковыми сейчас никого не удивить, у самой Vertiv уже есть такие решения. Однако когда разговор заходит о заранее изготовленных на заводе системах, то нередко речь идёт о полностью готовых микро-ЦОД, упакованных в контейнеры со всем необходимым. Подобные решения есть опять-таки у самой Vertiv, Schneider Electric, EcoBlox, Armada, Danfoss, GreenMDC и множества других вендоров. Нечто похожее на SmartRun предлагает Nautilus.

Источник изображений: Vertiv

Не так давно новую модульную инфрастурктуру ЦОД для Digital Realty реализовала Schneider Electric — 10-МВт ЦОД HER1 в Ираклионе (Крит, Греция) был построен за 12 месяцев. Он имеет два зала по 19 стоек и работает на 100 % возобновляемой энергии. Schneider Electric предоставила два энергомодуля с MV/LV трансформаторами, ИБП и модуль воздушного охлаждения, а также оснастила два зала электропитанием и охлаждением. Все системы управляются платформой EcoStruxure.

Источник изображений: Vertiv

По расчётам Omdia, мировые продажи предварительно собранных модульных ЦОД обеспечат $10,8 млрд выручки в 2028 году. Основные преимущества — скорость сборки, предварительное тестирование и низкая стоимость строительства. Хотя в Европе, по данным Schneider Electric, всё ещё доминирует традиционное строительство ЦОД, модульные решения становятся всё популярнее — если оператор строит ЦОД с нуля, то экономия может составить до 30 %, а сроки запуска сократятся.

Synergy Research Group считает, что модульная, заранее подготовленная инфраструктура, вероятно, останется относительно малой частью рынка, поскольку её невозможно масштабировать каким-либо разумным образом. По данным экспертов IDC, перспективы подобных технологий также вызывают вопросы. В компании тоже говорят, что строить и быстро вводить в эксплуатацию такие решения легко, а вот масштабировать — довольно сложно. Другими словами, доля таких ЦОД составит менее 10 % и ситуация вряд ли изменится в обозримом будущем.

Южнокорейская LG Electronics (LG) представила серию передовых систем охлаждения для дата-центров. В том числе речь идёт о чиллерах, системах воздушного и водного охлаждения серверов, а также специальном продукте — LG Building Energy Control (BECON), сообщает пресс-центр компании. Новое оборудование и ПО, как ожидается, откроет компании дорогу на североамериканский рынок оборудования для ЦОД.

Гибридные решения LG, обеспечивающие охлаждение как чипов, так и помещений, предназначены для ИИ ЦОД нового поколения с высокой плотностью размещения вычислительных мощностей. Для узлов компания прямое жидкостное охлаждение чипов и фирменный модульный CDU (Coolant Distribution Unit), использующий высокоэффективные «эксклюзивные» инверторный насос и теплообменник. Благодаря компактности CDU можно создавать различные конфигурации, включающие до восьми блоков.

Система имеет встроенный 10,4″ сенсорный дисплей, который упрощает контроль и обслуживание системы. Сенсоры (физические и виртуальные) обеспечивают своевременную диагностику. Более того, CDU применяет технологию LG Active Load Sharing для оптимизации производительности под каждую нагрузку, что в целом повышает эффективность системы.

Источник изображений: LG

LG также разработала собственные водоблоки, готовые справиться с новейшими ускорителями с высоким TDP. Решение использует параллельную подачу охлаждающей жидкости к чипам для обеспечения высоких показателей отвода тепла. Для максимизации зоны теплообмена используются микроконалы (Skived Fin). Более того, водоблок можно кастомизировать при помощи ИИ под конкретные чипы. Для минимизации риска утечки охлаждающей жидкости, LG использует специальную пайку, дополнительно каждый водоблок подвергается тройной проверке.

Чиллер LG Water-Cooled Oil-Free Centrifugal Chiller, по данным компании, обеспечивает исключительную энергоэффективность благодаря использованию фирменных магнитных подшипников LeviTech. Данная технология, в комбинации с ИИ-управлением, помогает снизить потери энергии, повысить надёжность и способствует быстрому восстановлению после неожиданных отключений электричества. Безмасляный инверторный чиллер применяет экобезопасные хладагенты.

Воздушные чиллеры (ACC) доступны как в инверторном винтовом, так и в безмасляном центробежном исполнении и включают важные компоненты вроде собственного винтового компрессора LG. Благодаря поддержке фрикулинга ACC может плавно переключаться с охлаждения с хладагентом на естественное охлаждение (без хладагента), повышая надёжность и эффективность системы. Специальные механизмы предотвращают перебои в работе, а трёхступенчатая система возврата масла увеличивает надёжность и безопасность системы дополнительно.

Источник изображения: LG

Идеальным дополнением к ACC называется Computer Room Air Handler (CRAH), использующий вентиляторы с электронно-коммутируемыми двигателями (EC) с коррекцией коэффициента мощности и 3D-лопасти, а также специальные теплообменники для минимизации энергозатрат. Кроме того, CRAH получил модульную конструкцию решётки, упрощающую установку и обслуживание.

Для будущих решений в недавно сформированной лаборатории LG HVAC Solution Lab создан испытательный стенд, способный точно моделировать различные сценарии использования оборудования в разных условиях среды.

Все решения, от установок-чиллеров до D2C-систем и оборудования для охлаждения помещений, могут легко управляться с помощью системы BECON, представляющей собой единую централизованную платформу для управления и мониторинга охлаждения серверов и чиллерных систем. Она координирует работу каждого подключенного решения для обеспечения заданных температуры и уровня влажности. Заодно осуществляется и анализ данных для обеспечения максимальной энергоэффективности решений LG.

Компания Accelsius, занимающаяся разработкой систем двухфазного жидкостного охлаждения, объявила об успешном испытании технологии NeuCool для отвода тепла от GPU мощностью до 4500 Вт. Решение призвано удовлетворить будущие потребности дата-центров в охлаждении высокопроизводительных ИИ-ускорителей следующего поколения. Месяц назад CoolIT представила свой водоблок для 4-кВт чипов.

NeuCool — это двухфазная система, использующая технологию прямого жидкостного охлаждения Direct-To-Chip (DTC). В рамках подготовки к появлению более мощных ускорителей специалисты Accelsius выполнили два температурных теста с применением системы, имитирующей GPU.

Источник изображений: Accelsius

В ходе одного из экспериментов моделировалась работа ускорителя с TDP в 4500 Вт. Для сравнения: у NVIDIA H100 данный показатель составляет до 700 Вт. Во время тестов, как утверждается, температура охлаждающей пластины оставалась стабильной и находилась в допустимых пределах — даже при таких беспрецедентных нагрузках. Иными словами, подчеркивает Accelsius, у NeuCool есть значительный потенциал охлаждения для поддержки нескольких будущих поколений GPU. Показанный результат на сегодняшний день является рекордным для СЖО типа DTC.

Во втором тесте Accelsius успешно продемонстрировала способность своего блока распределения охлаждающей жидкости (CDU) для двухфазных СЖО обслуживать стойку с ИИ-серверами суммарной мощностью 250 кВт (впрочем, для 600-кВт Rubin Ultra NVL576 это решение пока не подходит). В этом эксперименте применялись машины, оснащённые четырьмя ускорителями NVIDIA H100. Охлаждающие пластины находились в непосредственном контакте с ключевыми компонентами, в том числе с CPU и GPU. Были опробованы различные режимы — с температурой воды внешнего контура 20, 30 и 40 °C и с потоком 375 л/мин. Даже при максимальной нагрузке на стойку и при температуре на входе 40 °C температура GPU оставалась ниже предельных значений (около 87 °C).

Оператор AirTrunk заключил соглашение с принадлежащей штату Джохор (Малайзия) водоснабжающей компанией Johor Special Water (JSW). Совместно будет реализована инициатива по снабжению кампусов JHB1 и JHB2 переработанными сточными водами, сообщает Datacenter Dynamics. По данным партнёров, проект — крупнейший в своём роде для Малайзии. Вода, в частности будет использоваться для СЖО в дата-центре JHB1, развёрнутой в прошлом году.

Очищенная на месте вода будет обеспечивать потребности дата-центров AirTrunk в Джохоре, а традиционные водные ресурсы планируется сохранить для местных жителей. Как заявляют в компании, сотрудничество с местными подрядчиками способствует экономическому росту штата. Соглашение также предусматривает значимые инвестиции компании в развитие очистных мощностей и водопроводной инфраструктуры региона.

Кампус JHB1 заработал в июле 2024 года. На начальных стадиях он обеспечивает более 50 МВт ёмкости для крупных клиентов. Площадь 20 помещений превышает 22 тыс. м². Со временем ЦОД вырастет до 150 МВт. Строительство 270-МВт кампуса JHB2 в городе Искандар Путери (Iskandar Puteri), тоже в Джохоре, было анонсировано в феврале. Таким образом, общие инвестиции компании в Малайзию вырастут до RM9,7 млрд ($2,2 млрд). В прошлом сентябре Blackstone и Canada Pension Plan Investment Board приобрели AirTrunk за $16,1 млрд, что стало рекордной сделкой в отрасли.

Источник изображения: Ajay Kumar Jana/unsplash.com

В последние годы использование переработанных сточных вод для охлаждения ЦОД становится всё популярнее. Обычно дата-центры применяют питьевую воду. При этом из-за обработки воды химикатами для ЦОД для удаления бактерий и накипи, вода становится непригодной для питья после прохождения через системы объектов. В результате операторы ЦОД обратили внимание на переработанные сточные воды, которые проходят многоступенчатый процесс очистки, устраняющий 99 % загрязнений. AWS, Google, Microsoft и Meta✴ все активно применяют технологии переработки сточных вод и намерены стать «водно-положительными» к 2030 году.

Известный производитель решений для жидкостного охлаждения — компания LiquidStack — объявила об открытии второго завода в Карролтоне (Техас). Предполагается, что это поможет удовлетворить растущий спрос на СЖО, сообщает пресс-центр компании.

Расположенный всего в паре кварталов от штаб-квартиры и производственной площадки LiquidStack в агломерации Даллас/Форт-Уэрт (Dallas-Fort Worth), новый объект площадью более 1,5 тыс. м² значительно увеличит производственные возможности компании. Одновременно он будет служить в качестве нового исследовательского центра и площадки для обучения сотрудников. Расширение выпуска происходит в важное для производителя время. Спрос на его универсальный блок CDU-1MW для DLC-систем остаётся высоким с момента появления в продаже в августе 2024 года. Продукт также попал в список Recommended Vendor List компании NVIDIA.

Источник изображения: LiquidStack

В компании заявляют, что сейчас LiquidStack переживает беспрецедентный спрос на высокопроизводительные решения для охлаждения на фоне роста ИИ ЦОД. LiquidStack считает колоссальным преимуществом для клиентов наличие производства в США. Масштабирование производственных мощностей позволит LiquidStack поддерживать стабильное время поставок своих решений клиентам в рамках программы Quick-Ship, обеспечивающей быструю транспортировку критически важных компонентов. Это важно, поскольку многие операторы ЦОД столкнулись с задержками выполнения заказов из-за нарушений в цепочках поставок.

Утверждается, что сообщество жителей агломерации Даллас/Форт-Уэрт полно энтузиазма после того, как компания открыла в регионе штаб-квартиру и первый в США завод в прошлом году. В компании намерены и дальше инвестировать в агломерацию, а расширение производства позволит создать немало рабочих мест на севере Техаса и углубить связь с местным бизнес-сообществом.

Источник изображения: LiquidStack

Все решения LiquidStack для жидкостного охлаждения выпускаются на заводах в Карролтоне — включая CDU-1MW, двухфазные и однофазные решения для погружного охлаждения и модульные ЦОД MacroModular и MicroModular. Новый объект LiquidStack в Карролтоне полностью введут в эксплуатацию в мае 2025 года.

В 2021 году LiquidStack и Microsoft продемонстрировали ИИ-серверы с двухфазным иммерсионным охлаждением, а в марте 2024 года компания запустила в США производство погружных СЖО. В сентябре, через месяц после премьеры CDU-1MW, компания привлекла $20 млн на расширение разработки серверных СЖО.

Компания Accelsius, специализирующаяся на системах двухфазного жидкостного охлаждения, при поддержке одного из крупнейших в США страховщиков CNA запустила программу поддержки использования СЖО — страхование от утечек. Новая программа NeuGuard обеспечивает основные и дополнительные виды защиты и обслуживания. Как заявляет пресс-служба Accelsius, более половины респондентов (54 %) Uptime Institute в 2024 году заявили, что последний сбой оборудования обошёлся им дороже $100 тыс., а 16 % — что издержки составили более $1 млн.

В рамках программы NeuGuard предлагается индивидуальная многолетняя гарантия. Предусмотрена гибкая поддержка и компенсация в объёме до $100 тыс. на стойку в случае повреждений оборудования из-за протечек СЖО Accelsius NeuCool. NeuCool изначально разрабатывалась подразделением Bell Labs компании Nokia. СЖО использует диэлектрический хладагент — он кипит в циркуляционной системе и отводит больше тепла, чем решения конкурентов, говорит компания.

Источник изображения: Accelsius

В самой CNA сообщают, что защита критически важной инфраструктуры важнее, чем когда-либо и индивидуальный подход страховой компании в рамках NeuGuard демонстрируют приверженность решать проблемы с учётом меняющихся потребностей индустрии ЦОД. Accelsius также предлагает гарантии на уровне ведущих мировых OEM-производителей для серверов. После тестирования и проверки ключевыми поставщиками OEM-решений вводятся гарантии на индивидуальном уровне для отдельных единиц — наряду с предложением NeuGuard.

Компании Chemours, NTT Data и Hibiya Engineering объявили об объединении усилий с целью полномасштабных испытаний системы двухфазного иммерсионного (погружного) охлаждения для дата-центров. Речь идёт, в частности, об использовании специальной жидкости Chemours Opteon 2P50.

Партнёры отмечают, что сектор ЦОД быстро развивается на фоне активного внедрения ИИ и НРС. Однако существует значительный разрыв между ростом энергопотребления таких объектов и повышением эффективности систем охлаждения. Сотрудничество Chemours, NTT Data и Hibiya Engineering направлено на исследование технологий охлаждения следующего поколения, которые обеспечат повышение эффективности и устойчивости дата-центров при увеличении их мощности.

Источник изображения: Chemours

Проект ориентирован на тестирование Opteon 2P50 с целью последующей коммерциализации. Эта запатентованная диэлектрическая жидкость разработана специально для двухфазного иммерсионного охлаждения. Жидкость выполнена на основе гидрофторолефина (HFO) с нулевым озоноразрушающим потенциалом (ODP). Коэффициент GWP (потенциал глобального потепления), определяющий степень воздействия различных парниковых газов на глобальное потепление, равен 10 (AR6).

По заявлениям разработчика, жидкость Opteon 2P50 позволяет снизить энергозатраты ЦОД на охлаждение до 90 % и уменьшить общее энергопотребление дата-центров на 40 %. Кроме того, в большинстве климатических зон Opteon 2P50 даёт возможность практически полностью исключить использование воды, а также значительно уменьшить шумовое загрязнение внутри помещений. Физическая площадь ЦОД может быть сокращена на 60 %. Плюс к этому жидкость может повторно использоваться неограниченное количество раз.

В испытаниях системы двухфазного иммерсионного охлаждения на основе Opteon 2P50 примут участие различные заинтересованные стороны — от операторов дата-центров, производителей оборудования и проектно-конструкторских фирм до поставщиков ИТ-услуг и научно-исследовательских институтов.

Принадлежащая южнокорейской SK Hynix компания Solidigm представила технологию жидкостного охлаждения SSD. По словам разработчиков, благодаря этому можно будет создавать более компактные безвентиляторные серверы с ИИ-ускорителями и высокой плотностью хранения данных.

По данным Solidigm, типичный ИИ-сервер на базе ИИ-ускорителей обычно имеет около 30 Тбайт памяти в восьми слотах и рост ёмкости будет, вероятно, продолжаться. SSD обычно охлаждается воздухом, но с ростом плотности компоновки такой подход становится проблематичным, поскольку твердотельные накопители сами достаточно горячи, что повышает риск отключений, а традиционное сочетание радиаторов и вентиляторов мешают эффективному использованию пространства.

Источник изображений: Solidigm

Поэтому Solidigm представила накопитель D7 PS110 E1.S толщиной 9,5 мм, дополненный водоблоком. Точнее говоря, сами водоблоки находятся в дисковой корзине, что оставляет возможность «горячей» замены самих SSD и в то же время позволяет отводить до 30 Вт, причём охлаждаются обе стороны накопителя. В Solidigm утверждается, что её технология станет первым решением корпоративного уровня с «полным жидкостным охлаждением», хотя на рынке уже есть варианты с похожей функциональностью. Например, у российской РСК давно есть и All-Flash СХД с полностью жидкостным охлаждением, и SSD в вычислительных узлах оснащены водоблоками.

Технология Solidigm разработана совместно с неназванным партнёром и нацелена на «ИИ-серверы будущего». Точная дата премьеры пока не объявлена, но она состоится не раньше II половины текущего года. Пока Solidigm изучает точное влияние технологии охлаждения на общее энергопотребление. Переход к СЖО позволит избавиться от вентиляторов, которые сами по себе потребляют довольно много энергии. Кроме того, в этом случае не нужно будет обеспечивать относительно низкую температуру воздуха между стойками. При этом контур СЖО для SSD будет работать параллельно контуру СЖО для CPU и ускорителей, что потенциально может усложнить компоновку всей системы.

CoolIT Systems представила водоблок для однофазного прямого жидкостного охлаждения (DLC) чипов мощностью 4 кВт. Это вдвое выше, чем у других решений такого типа. Новинка смогла отвести более 97 % тепла от 4-кВт тестовой нагрузки (Thermal Test Vehicle, TTV) при расходе 6 л/мин. (LPM). Это эквивалентно 1,5 LPM на кВт, что совпадает с рекомендуемым потоком для чипов высокой мощности, говорит компания.

Тепловое сопротивление является ещё одним критическим фактором высокопроизводительного охлаждения — новый водоблок имеет сверхнизкое сопротивление Tr<0,009 К/Вт. При этом полное падение давления в контуре, включая фитинги и быстроразъёмные соединения, остаётся на уровне всего 8 фунтов на кв. дюйм (0,5625 кгс/см²). А фирменная технология Split-Flow позволяет почти на треть улучшить поток и отвод тепла по сравнению с традиционными водоблокам, обеспечивая целенаправленное охлаждение наиболее нагревающихся областей чипов, говорит компания.

Источник изображения: CoolIT Systems

Пока столь мощных чипов нет. Даже самые современные NVIDIA Blackwell имеют TDP до 1200 Вт, а AMD Instinct MI355X — до 1100 Вт. Однако для CoolIT важно показать, что у однофазных СЖО есть существенный задел на будущее. Конкуренцию таким систем пытаются составить погружные СЖО, а также двухфазные DLC, например, ZutaCore. Впрочем, есть и необычные однофазные DLC. Так, Chilldyne использует технологию циркуляции теплоносителя с отрицательным давлением, которая снижает риски протечки. А Iceotope предлагает гибридное решение, сочетающее водоблоки и иммерсионную СЖО.

Источник: CoolIT Systems

При этом DLC с водой в качестве теплоносителя остаются наиболее широко распространёнными СЖО. На них приходится более 60 % рынка жидкостного охлаждения ЦОД из-за высокой экономической и тепловой эффективности, сообщает StorageReview со ссылкой на исследование Market Research Future.

Южнокорейская телекоммуникационная компания SK Telecom, по сообщению Datacenter Dynamics, объявила о заключении партнёрских соглашений с Elice, Schneider Electric и Giga Computing с целью развития проектов в области ЦОД, ориентированных на ИИ.

В частности, в сотрудничестве с Elice планируется развитие модульных дата-центров для ИИ. Южнокорейская Elice, основанная в 2015 году, предоставляет облачные сервисы в сфере ИИ. Elice предлагает доступ к ускорителям NVIDIA и FuriosaAI. В дальнейшем планируется использовать разработки Rebellions для машинного зрения, чат-ботов и больших языковых моделей (LLM). Кроме того, Elice создала модульный контейнерный ЦОД Elice AI Portable Modular Data Center (PMDC).

Отмечается, что SK Telecom подписала меморандум о взаимопонимании (MoU) с Giga Computing и SK Enmove: стороны намерены осуществлять научно-исследовательские и опытно-конструкторские работы в сфере систем охлаждения следующего поколения для дата-центров. Речь идёт о развитии технологий прямого жидкостного охлаждения Direct-To-Chip и иммерсионного (погружного) охлаждения. В рамках партнёрства Giga Computing поделится опытом в создании передовых СЖО, тогда как SK Enmove будет поставлять охлаждающие жидкости. Аналогичное соглашение было заключен с Iceotope.

Источник изображения: Elice

В свою очередь, партнёрство между SK Telecom и Schneider Electric ориентировано на разработку и внедрение MEP-систем (вентиляция, электрика, водоснабжение и водоотведение). На первом этапе стороны намерены заниматься развитием проектов в различных регионах Южной Кореи, после чего сотрудничество расширится по всему миру.

Наконец, SK Telecom планирует взаимодействовать с компанией IonQ, которая специализируется на разработках в области квантовых вычислений. SK Telecom рассчитывает интегрировать квантовые технологии IonQ в свои ИИ-платформы, включая Personal AI Agent (PAA), GPUaaS (GPU-as-a-Service) и Edge AI. При этом не уточняется, будет ли SK Telecom устанавливать квантовые компьютеры IonQ, такие как Forte Enterprise и Tempo.