Компания Supermicro анонсировала рабочую станцию SYS-751GE-TNRT-NV1, предназначенную для ИИ- и HPC-нагрузок. Устройство, как утверждается, обладает высокой производительностью, хорошими показателями энергоэффективности и низким уровнем шума.

Применена материнская плата Super X13DEG-QT с парой Intel Xeon 6444Y (16C/32T; 3,6–4,0 ГГц; 270 Вт). В базовую комплектацию входят 512 Гбайт DDR5-4800 в виде 16 модулей по 32 Гбайт. В оснащение включены четыре ускорителя NVIDIA A100 (80 Гбайт, PCIe), попарно соединённых мостиками NVLink и оснащённых водоблоками, и 25GbE-адаптер NVIDIA ConnectX-6 Dx. Кроме того, есть два сетевых порта 10GbE (Intel X550-AT2) и выделенный 1GbE-порт для BMC ASPEED AST2600. Подсистема хранения данных объединяет шесть 1,92-Тбайт NVMe SSD, два из которых объединены в массив RAID 1. Для вывода изображения используется NVIDIA RTX A4000.

Источник изображения: Supermicro

Для всех CPU и GPU предусмотрено использование СЖО. Станция также наделена тремя вентиляторами — двумя на 120 мм и одним диаметром 80 мм. Задействованы два блока питания мощностью 2200 Вт каждый. Упомянуты семь слотов расширения PCIe 5.0 x16 FHFL, последовательный порт, разъёмы USB 3.2 Gen1, USB 3.2 Gen2 Type-C и D-Sub. Габариты составляют 218,4 × 454,7 × 701 мм, вес — 44 кг. Диапазон рабочих температур — от +10 до +25 °C. Установлена операционная система Ubuntu 22.04 LTS. В комплекте поставляется подписка на NVIDIA AI Enterprise на 3 года.

Компания LiquidStack, специализирующаяся на разработке систем погружного жидкостного охлаждения, сообщила о получении инвестиций от Trane Technologies. Привлечённые средства, как отмечается, помогут в продвижении решений LiquidStack, что позволит значительно сократить углеродный след дата-центров, уменьшить потребление воды и снизить общее негативное воздействие на окружающую среду.

LiquidStack является одним из пионеров на рынке двухфазных иммерсионных СЖО. Компания заявляет, что её продукты дают возможность понизить энергопотребление на 40 % по сравнению с воздушным охлаждением, сократить капитальные затраты на 33 %, уменьшить совокупную стоимость владения на 32 % и обеспечить экономию свободных площадей в ЦОД до 69 %.

Источник изображения: LiquidStack

О размере инвестиций со стороны Trane Technologies ничего не сообщается. Но отмечается, что деньги будут направлены прежде всего на расширение производства, включая открытие предприятия в США. В состав этого объекта войдут научно-исследовательские лаборатории, испытательная площадка и центр обучения специалистов по обслуживанию. Полученные деньги также будут направлены на разработку передовых диэлектрических жидкостей, маркетинг и расширение каналов сбыта.

Предполагается, что данные инициативы повысят спрос на решения LiquidStack среди гиперскейлеров, операторов облачных платформ, площадок колокации и создателей систем периферийных вычислений. При этом клиенты Trane и LiquidStack будут иметь доступ к более широкому спектру комплексных решений для организации эффективного охлаждения ЦОД.

Компания Equinix, один из крупнейших операторов ЦОД, по сообщению ресурса Datacenter Dynamics, открыла городскую ферму на крыше своего дата-центра в Париже. Уникальный проект реализован в сотрудничестве со специалистами Reid Brewin Architects (RBA). Комплекс на объекте PA10 в Сен-Дени (коммуна в 9 км к северу от центра Парижа) включает теплицу площадью 430 м².

Источник изображения: RBA

Оптимальная температура здесь поддерживается за счёт датчиков и теплообменников, подключённых к системе охлаждения ЦОД. В теплице будут выращиваться сезонные фрукты и овощи с использованием гидропонной системы: это даст возможность максимально эффективно использовать пространство и свести к минимуму расход воды. Предусмотрены автоматические солнцезащитные панели, системы орошения и вентиляции для обеспечения идеального микроклимата в течение всего года.

Источник изображения: Equinix

Кроме того, на крыше дата-центра PA10 развёрнуты сады площадью 570 м², окружающие теплицу. Они будут засажены растениями, опыляемыми насекомыми. Предполагается максимальное потребление дождевой воды, что в числе прочего поможет снизить нагрузку на ливневые каналы. Сады приспособлены для маломобильных граждан. Есть естественно затенённые места отдыха для посетителей и персонала.

Equinix и RBA утверждают, что подобный проект реализован во Франции впервые. Однако сама идея вторичного использования тепла, выделяемого дата-центрами, далеко не нова. К примеру, ещё в 2020 году было предложено использовать б/у-серверы гиперскейлеров для обогрева теплиц с помидорами. Существует также проект использования тепла ЦОД для обогрева теплиц или рыбных ферм, где разводят форель и угорь, а также выращивают омаров.

Британская Deep Green эффективно использует микро-ЦОД мощностью 28 кВт для перифейриынх вычислений, одновременно обеспечивая теплом бассейн в британском Эксмуте (Девон) на юго-западе Англии. По данным DataCenter Dynamics, хотя проектов обогрева домов и офисов с помощью ЦОД немало, стартап пошёл своим путём.

Изображение: Deep Green

Если крупные операторы обычно делятся теплом больших ЦОД, то Deep Green разместила небольшой кластер, прозванный «цифровым бойлером», в помещении плавательного бассейна центра Exmouth Leisure Centre и бесплатно подогревает воду для пловцов. В Deep Green уже заявили, что их микро-ЦОД позволил на 62 % снизить затраты на газ — более, чем на $24 тыс. в год, одновременно снизив углеродный выброс бассейна на 25,8 т. Если в норме Exmouth Leisure Centre тратит 222 тыс. кВт·ч на обогрев воды ежегодно, то стартап позволяет сэкономить до 139,3 тыс. кВт·ч.

Изображение: Deep Green (via The Next Web)

В 2023 году компания намерена оснастить своими «цифровыми бойлерам» сразу двадцать бассейнов. Тепло они будут получать бесплатно, а расходы на установку и содержание оборудования Deep Green возьмёт на себя. От инициативы могут выиграть более 1500 бассейнов — около 79 % подобных центров в Англии оказались на грани закрытия из-за резко выросших в последние годы цен на энергию. Потенциальными заказчикам вычислительных мощностей Deep Green видит компании, которым нужны распределённые периферийные узлы, в том числе для формирования CDN.

Изображение: Deep Green (via The Next Web)

Deep Green пока сама занимается выпуском резервуаров (до 40 кВт), использующих в качестве теплоносителя минеральное масло, но уже ведёт переговоры с GRC и Submer. Тестовый микро-ЦОД включает узлы с одним процессором AMD EPYC, четырьмя ускорителями NVIDIA A100 и 4-Тбайт SSD. 12 серверов в Эксмуте используются для тренировки ИИ-моделей и машинного обучения, но их можно перепрофилировать для предоставления облачных услуг или обработки видео.

В Великобритании есть похожий проект — производитель «цифровых бойлеров» Heata и облачный оператор Civo уже предложили устанавливать серверы для отопления домов. Аналогичные решения уже несколько лет предлагает французская Qarnot, недавно привлёкшая €35 млн инвестиций. А в 2020 году ITRenew предложила задействовать микро-ЦОД для обогрева теплиц. Возможно, такие малые проекты окажутся эффективнее попыток обязать крупные ЦОД отдавать тепло на нужды общества, как предлагают Германия и Норвегия.

Перфторалкильные и полифторалкильные вещества (PFAS, «вечные химикаты»), вероятно, представляют угрозу для здоровья людей, хотя их вредоносность по многим параметрам пока не получила документальных подтверждений. Тем не менее, как сообщает портал HPC Wire, PFAS привлекают всё больше внимания регуляторов, а принятые против них в ЕС меры грозят всей полупроводниковой индустрии. Теперь этими веществами заинтересовались и американские регуляторы, включая Агентство по охране окружающей среды США (EPA), что может привести к изменению перспектив развития HPC-индустрии.

Дело в том, что PFAS используются в двухфазных системах погружного охлаждения. В частности, речь идёт о жидкостях Novec и Fluorinert компании 3M, также применяемых при выпуске полупроводников и в других сферах. В конце 2022 года 3M заявила, что намерена полностью отказаться от их производства уже к 2025 году и уже остановила крупнейший завод по их выпуску в Бельгии. Действия регуляторов и отказ 3M от производства может привести к серьёзным изменениям в HPC-индустрии, поскольку поставит под угрозу бесперебойность поставок необходимых компонентов и материалов.

Источник изображения: 3M

Но есть и другие факторы. Так, крупные международные производители СЖО будут ориентироваться на страны с наиболее жёсткими регуляторными нормами, даже если на других рынках условия более благоприятны. А крупные заказчики вроде Google и Microsoft, декларирующие достижение определённых целей по защите окружающей среды, могут отказаться от PFAS просто из-за репутационных рисков, даже если PFAS будут вполне легальны. По мнению экспертов Motivair, ужесточение контроля за PFAS может представлять угрозу широкомасштабному распространению технологий двухфазного погружного охлаждения.

Впрочем, далеко не все уверены, что новые ограничения могут изменить тренды на рынке HPC, поскольку многие игроки здесь применяют, по их словам, эффективные и безопасные системы на основе других технологий СЖО и химикатов. Как сообщает DataCenter Dynamics, по данным производителя иммерсионных СЖО LiquidStack, большее влияние ограничения на использование PFAS могут оказать на полупроводниковую отрасль, где подобные вещества широко применяются в процессе производства. В компании утверждают, что имеется немало альтернатив жидкостям 3M, хотя как минимум некоторые из них тоже являются PFAS.

Провайдер облачных услуг Civo сообщил о сотрудничестве с компанией Heata с целью обеспечения горячей водой домов в Великобритании за счёт отвода тепла от размещённых локально серверов, подключённых к системам отопления. Heata позиционирует себя как разработчик инновационной экологически чистой распределённой вычислительной сети, которая использует «мусорное» тепло, генерируемое при обработке вычислительных нагрузок, для нагрева воды.

Компании планируют запустить совместный пилотный проект, в рамках которого клиентам Civo будет предоставлена возможность опробовать облачные нагрузки в сети Heata. Компании заявили, что это позволит клиентам Civo обеспечить тех, кто столкнулся с нехваткой топлива, бесплатной горячей водой.

Источник изображения: Heata

Компактные серверы Heata (36 × 28 см) устанавливаются на внутридомовых бойлерах. Заказчики платят Heata за обработку своих облачных нагрузок на этих серверах (в пакетном режиме), а отводимое от них тепло используется для нагрева воды в бойлере. Работа системы увязана с существующими системами отопления. Бойлеры были протестированы в сотрудничестве с British Gas. Один такой блок позволяет сократить выбросы углекислого газа на 1 т в год.

В настоящее время Heata вместе с Innovate UK занимается определением домов, где будет установлено вычислительное оборудование. Концепция «цифровых бойлеров» не нова. Наиболее известна такими решениями компания Qarnot из Франции, которая недавно привлекла €35 млн инвестиций. А вот компания Nerdalize, занимавшаяся производством «вычислительных» радиаторов, обанкротилась в 2019 году.

Французская компания Qarnot предоставляет услуги высокопроизводительных вычислений компаниям вроде Adobe, Societe Generale, Illumination и Fix Studio. Изюминкой её деятельности является акцент на использовании тепла серверов в разных целях — на этот раз его применили для приготовления ужина.

Фото: Clément Pellegrini/LinkedIn

Вычислительные кластеры Qarnot OBx, по данным компании, позволяют использовать до 96 % выделяемого серверами тепла для нагрева, например, воды. Один из них и использовала Qarnot, подойдя к вопросу использования тепла с кулинарной изобретательностью. Так, в ёмкости c циркулирующей горячей водой появились утка, говядина и лосось. Чтобы охлаждающая жидкость не превратилась в бульон, продукты разместили в вакуумированной упаковке.

Пока система занималась 3D-рендерингом, температура в ёмкости поддерживалась на уровне +55 °C. Этого вполне достаточно, чтобы использовать французскую технологию приготовления мяса sous vide — она предусматривает приготовление блюд при относительно невысоких температурах. Правда, процесс приготовления в этом случае затягивается. Разумеется, в данном случае речь идёт лишь о демонстрации возможностей решений Qarnot.

Компания активно продаёт отработанное тепло, но оно обычно применяется более традиционными способами, преимущественно для отопления жилых и коммерческих зданий. По словам технического директора компании, её решения снижают энергозатраты на отопление на 65 %, а сопутствующие выбросы углерода — на 81 %. В 2018 году компания представила «криптообогреватели», представляющие собой комбинацию вычислительного устройства и обогревателя для дома, а в 2020 году предложила отапливать дома с помощью б/у серверов.

Компания OVHcloud, европейский поставщик облачных услуг, сообщила о разработке системы гибридного иммерсионного (погружного) охлаждения серверов в центрах обработки данных (ЦОД). Технология призвана повысить эффективность расхода электроэнергии и высвободить площади, занимаемые традиционным оборудованием.

Суть метода сводится к использованию двух типов СЖО. На центральных процессорах и ускорителях монтируются стандартные водоблоки, которые образуют отдельный контур. При этом всё шасси целиком вместе с теплообменником помещают в резервуар со специальной нелетучей диэлектрической углеводородной жидкостью. Для каждого сервера применяется собственный резервуар, что, по словам создателей, обеспечивает хорошую масштабируемость, гибкость развёртывания и удобство мониторинга.

Изображения: OVHcloud

Для системы предусмотрено применение трёхуровневой стойки библиотечного типа с возможностью монтажа 48 серверов формата 1U или 24 серверов стандарта 2U. Сами стойки имеют пассивный дизайн, то есть не содержат ни помп, ни вентиляторов, а значит, не затрачивают энергию на охлаждение. Потребление электроэнергии и капитальные затраты дополнительно снижаются за счёт исключения системы испарительного охлаждения в ЦОД, расположенных в регионах с температурой окружающего воздуха ниже +43 °С.

Утверждается, что новое решение позволяет сократить энергетические затраты дата-центра на охлаждение на 20,7 % по сравнению с обычным жидкостным охлаждением. Энергопотребление серверов снижается на 20 % в год по сравнению с воздушными системами охлаждения. Частичный коэффициент PUE (pPUE) заявлен на отметке 1,004, а коэффициент WUE — 0 для климатических зон с температурой окружающего воздуха ниже +43 °С. Отметим, что похожую систему охлаждения ранее представила Iceotope.

Как сообщает DataCenter Dynamics, американская продовольственная компания Cargill разработала жидкость NatureCool 2000 для погружных СЖО, которая является более экологичной альтернативой для составов, полученных в результате перегонки углеводородов, поскольку на 90 % состоит из растительных масел. Разработчики подчёркивают, что, поскольку она получена из растений с естественным образом «связанным» углеродом, её можно назвать углеродно-нейтральной. Кроме того, новинка является биоразлагаемой.

Источник изображения: Robert Anderson/unsplash.com

При этом показатели NatureCool 2000 не только не уступают самым передовым синтетическим альтернативам, но и превосходят их по теплоотдаче на 10 %. Кроме того, жидкость соответствует всем необходимым стандартам безопасности. В частности, говорится о том, что температура вспышки составляет 325°C, а сама жидкость гаснет после устранения источника высокой температуры, тогда как традиционные синтетические жидкости в этом случае могут продолжать гореть.

Источник: Cargill

Известно, что Cargill уже присоединилась к инициативе Open Compute Project, причём члены команды продовольственной компании принимают активное участие в развитии спецификаций погружных СЖО. Cargill постепенно осваивает нишу продуктов для ЦОД, хотя пока подобный профиль деятельности не является основным для компании.

Группа компаний РСК, ведущий российский разработчик суперкомпьютеров и систем для высокопроизводительных вычислений (HPC), дата-центров, облачных платформ и систем хранения данных (СХД) показала на выставке Иннопром-2022 обновлённую версию своей платформы для автономных периферийных вычислений, которая позволяет оперативно, в течение часа силами двух человек, развернуть HPC-кластер практически в любом месте.

«РСК Мобильный ЦОД»

Решение упаковано в несколько контейнеров (0,7 × 0,7 × 1,1 м), которые можно транспортировать независимо друг от друга и собирать уже на месте. Один контейнер вмещает собственно вычислительную часть, второй — полностью интегрированный модуль распределения теплоносителя с узлом управления, а третий, опциональный — ИБП с инвертором. Дополняет их компактный внешний модуль охлаждения. Вся система имеет весьма солидный запас по возможности отвода тепла — до 60 кВт.

Правда, сейчас столько и не требуется. Вычислительный блок фактически является уменьшенной копией платформы «РСК Торнадо»: 2 колонны по 10 слотов. Поэтому мобильная платформа позволяет совмещать в одной системе серверы «Торнадо» с процессорами x86-64 (AMD EPYC и Intel Xeon) и «Эльбрус» (сейчас 8С/8СВ, в перспективе 16С) с любым уровнем TDP, GPGPU-серверы (по два PCIe-ускорителя на сервер, без ограничений по TDP) и серверы хранения (до 12 × M.2 All-Flash).

В текущем варианте платформы каждый слот рассчитан на 2 кВт тепловой нагрузки (и столько же по питанию), хотя нынешние серверы укладываются в среднем в 700–800 Вт, а серверы следующего поколения потребуют чуть больше 1 кВт. Подсистема питания имеет два домена, по одному на колонну, и требует однофазный ввод AC 230 В/50 Гц, хотя фактически может работать в диапазоне 105–280 В. Запитать систему можно от генератора, а подстраховать — ИБП. Но возможно и специсполнение с поддержкой 48 В DC.

Сервер «РСК Торнадо» с «Эльбрус-8СВ»

Сетевая подсистема может быть представлена ToR-коммутаторами как двойной (на обе колонны) ширины, так и одиночной. В том числе есть варианты с жидкостным охлаждением. Доступен даже InfiniBand — у Mellanox есть коммутаторы в подходящем форм-факторе, рассчитанные на промышленное применение. Также предоставляется 1 GbE-коммутатор для развёртывания служебной сети.

Самая интересная часть — это охлаждение. Как и в «большой» версии платформы здесь используется фирменная СЖО, которая покрывает все компоненты серверов, так что вычислительная часть не требует активного воздушного охлаждения и способна работать даже с закрытыми крышками контейнера. Защиты по какому-либо классу IP в стандартном варианте не предусмотрено, но опять-таки по заказу возможно специсполнение.

СЖО всё так же поддерживает охлаждение горячей водой, причём на всех компонентах температура не превышает +45 °C. Для запуска вычислительного модуля необходимо, чтобы он находился в помещении с плюсовой температурой и чтобы не было образования конденсата. А вот внешний контур охлаждения менее прихотлив и способен работать при температурах от -65 °C. Верхний же предел — не менее +40 °C. Требования по питанию у него те же, что и у серверов.

«РСК Мобильный ЦОД»

Узел управления автоматически отслеживает и регулирует параметры всех компонентов системы во время запуска и работы. По умолчанию используется сценарий защиты оборудования, так что при неблагоприятных условиях серверы могут выключаться. Но возможны и другие сценарии, например, «работа до последнего», когда потеря данных оказывается дороже потери оборудования.

Управляется мобильная платформа фирменной системой оркестрации «РСК БазИС», которая позволяет задействовать все возможности компонуемой, программно определяемой инфраструктуры, в том числе для реализации HCI-платформы. «РСК БазИС» предлагает GUI, CLI, открытые API и SDK для интеграции с другими приложениями. Таким образом, заказчик получает полностью интегрированное программно-аппаратное решение, готовое к быстрому развёртыванию и использованию.

Изначально платформа создавалась для нужд добывающего сектора, но этой сферой её возможности не ограничиваются. Она также подходит для научных экспедиций и промышленных предприятий (срочная обработка больших массивов данных), медиасферы и обслуживания массовых мероприятий (рендеринг, стриминг с множества камер) и т.д. В общем, везде, где на время требуется действительно мощная, но компактная и удобная в доставке, развёртывании и эксплуатации вычислительная платформа.