Европейская организация по ядерным исследованиям (CERN) объявила об открытии в Превессене во Франции нового ЦОД, который займётся обработкой информации, поступающей от Большого адронного коллайдера (БАК). Объект построен в рекордные сроки — менее чем за два года.

Общая площадь дата-центра превышает 6000 м². Предусмотрены шесть залов для размещения оборудования, каждый из которых рассчитан на мощность в 2 МВт и может вместить до 78 стоек. В ЦОД в основном будут размещены серверы на базе CPU для обработки данных экспериментов, а также небольшое количество систем и хранилищ для обеспечения непрерывности операций и аварийного восстановления. Ожидается, что на полное оснащение площадки оборудованием потребуется около десяти лет.

Источник изображения: CERN

Отмечается, что новый объект соответствует строгим техническим требованиям, обеспечивающим экологическую устойчивость. Развёрнута эффективная система рекуперации тепла, которое будет использоваться для отопления зданий на территории Превессена. Целевой коэффициент PUE составляет 1,1, а показатель эффективности использования воды (WUE) — 0,379 л/кВт·ч. Система охлаждения будет автоматически включаться, когда наружная температура достигнет 20 °C. При этом температура в самих помещениях дата-центра ни при каких условиях не должна превышать 32 °C.

БАК в настоящее время генерирует около 45 Пбайт информации в неделю, но ожидается, что этот объём удвоится после модернизации комплекса. Данные экспериментов передаются в глобальную вычислительную сеть Worldwide LHC Computing Grid (WLCG), объединяющую около 170 дата-центров, расположенных в более чем 40 странах. Общая ёмкость хранилищ составляет примерно 3 Эбайт, а для обработки данных задействован примерно 1 млн процессорных ядер. Существующий дата-центр CERN на площадке в Мерене (Швейцария) по-прежнему является основным для организации.

Компания Lenovo объявила о заключении контракта с Падерборнским университетом в Германии (University of Paderborn) на создание нового НРС-комплекса, мощности которого будут использоваться для обеспечения исследований в рамках Национальной программы высокопроизводительных вычислений (NHR).

В основу суперкомпьютера лягут двухузловые серверы ThinkSystem SD665 V3. Конфигурация каждого узла включает два процессора AMD EPYC Genoa и до 24 модулей оперативной памяти DDR5-4800. Применена технология прямого жидкостного охлаждения Lenovo Neptune Direct Water Cooling (DWC).

Кроме того, НРС-комплекс будет использовать GPU-серверы ThinkSystem SD665-N V3, несущие на борту четыре ускорителя NVIDIA H100, связанные между собой посредством NVLink. Общее количество ядер составит более 136 тыс. Для подсистемы хранения выбрана платформа IBM ESS 3500, обеспечивающая возможности гибкого использования SSD (NVMe) и HDD.

Новый суперкомпьютер расположится в Падерборнском центре параллельных вычислений (PC2). Монтаж оборудования планируется произвести во II половине текущего года. За интеграцию будет отвечать pro-com DATENSYSTEME GmbH. Ожидается, что по сравнению с нынешней системой центра Noctua 2 (на изображении), построенной Atos, готовящийся суперкомпьютер будет обладать примерно вдвое более высокой производительностью. Быстродействие Noctua 2 составляет до 4,19 Пфлопс (Linpack) для CPU-ядер и до 1,7 Пфлопс (Linpack) для GPU-блоков.

Источник изображения: University of Paderborn

Особое внимание при строительстве суперкомпьютера будет уделяться энергетической эффективности. Благодаря использованию источников питания с жидкостным охлаждением и полностью изолированных стоек более 97 % вырабатываемого тепла может быть передано непосредственно в систему циркуляции тёплой воды. Применение теплообменников и блоков распределения охлаждающей жидкости (CDU) обеспечивает температуру носителя в обратном контуре выше 45 °C, что позволяет повторно использовать генерируемое тепло.

Компания Danfoss заключила с Google соглашение о внедрении в ЦОД последней новых систем охлаждения. Как сообщает пресс-служба Danfoss, решения компании помогут утилизировать избыточное тепло дата-центров, а Google в рамках партнёрства обеспечит доступ к своим ИИ-сервисам. Это позволит оптимизировать взаимодействие Danfoss с с клиентами, внутренние рабочие процессы и поднять производительность в целом.

Danfoss разрабатывает системы охлаждения, отопления, преобразования энергии, управления двигателями и иное промышленное оборудование. В дата-центрах Google компания намерена внедрить малошумные безмасляные компрессоры Turbocor с магнитными подшипниками, применяемые в системах воздушного или водяного охлаждения. Дополнительно будут использоваться модули Danfoss для повторного использования тепла, которые обеспечат «зелёный» обогрев не только помещений самой Google, но и расположенных поблизости коммерческих и жилых строений.

Источник изображения: Danfoss

Применение ИИ-решений Google позволит Danfoss оптимизировать внутренние операции и пользовательский опыт. Например, ИИ можно применять для сбора информации, автоматизации базы знаний, а также создания описаний продуктов и использования чат-ботов в электронной коммерции.

Как заявляют в Google, речь идёт о сотрудничестве с лидером в создании энергоэффективных систем, именно такие решения помогут выполнить цель техногиганта по полному переводу ЦОД на «безуглеродную» энергию к 2030 году. В Danfoss также подчеркнули, что ИИ поможет произвести революцию в строительстве и декарбонизации ЦОД. Ранее Google и Danfoss совместно с Schneider Electric и Danish Data Center Industry учредители в Дании платформу Net Zero Innovation Hub, основной целью которой является ускорение «зелёной трансформации» дата-центров.

Международная группа учёных намеревается выяснить, можно ли сохранить «мусорное» тепло суперкомпьютера Эдинбургского университета в старых шахтах для того, чтобы впоследствии направить его на отопление местных домов. По словам учёных, в шахтах много воды, поэтому они способны стать идеальным хранилищем тепла. При этом для более чем 800 тыс. шотландских домохозяйств отопление является дорогим удовольствием, так что дешёвый источник тепла им не помешает.

Исследование обойдётся в £2,6 млн ($3,3 млн), сообщает Datacenter Dynamics. Эдинбургский университет выделит £500 тыс. ($633 тыс). из собственно фонда, связанного со снижением вредных выбросов, а правительство Шотландии предоставило грант на сумму £1 млн ($1,27 млн). Подключатся и другие структуры, включая даже Министерство энергетики США с грантом $1 млн.

Источник изображения: hangela/pixabay.com

Дата-центр Advanced Computing Facility (ACF) на территории Эдинбургского университета уже обслуживает один суперкомпьютер, а в 2025 году к нему присоединится машина экзафлопсного уровня, первый суперкомпьютер такого класса в Великобритании. В рамках исследования Edinburgh Geobattery, проводимого специалистами в области геотермальной энергетики TownRock Energy совместно с представителями науки и промышленности, будет оцениваться, возможно и целесообразно ли хранить тёплую воду (+40 °C) в заброшенных шахтах до того, как передать её на нужды городского отопления.

Предполагается, что тепло ACF поможет обогреть не менее 5 тыс. домохозяйств, если тесты подтвердят теоретические выкладки. ACF выделяет до 70 ГВт·ч тепла ежегодно, но после запуска нового суперкомпьютера этот показатель увеличится до 272 ГВт·ч. Новая машина, оснащённая СЖО, будет построена в специально возведённом крыле ACF, которое само по себе обойдётся в £31 млн ($39,24 млн).

Фото: EPCC ACF / Keith Hunter

Использование тепла ЦОД обычно считается довольно эффективным методом дополнительной эксплуатации дата-центров. Тем не менее, такая технология имеет серьёзный недостаток, поскольку передавать тепло туда, где оно востребовано, не всегда целесообразно. Некоторые европейские системы располагаются в «шаговой» доступности от систем районного отопления, а другие представляют собой небольшие вычислительные модули, которые предлагается размещать непосредственно в зданиях. Есть и проекты централизованного управления передачей тепла ЦОД.

В непосредственной близости от Эдинбурга находятся заброшенные угольные, сланцевые и другие шахты, частично затопленные подземными водами. Проект предусматривает передачу тепла ЦОД естественными потоками грунтовых вод, с последующим использованием теплонасосов для обогрева зданий. Более того, в университете утверждают, что четверть британских домов расположена над бывшими шахтами, поэтому гипотетически получить тепло таким способом могут до 7 млн домохозяйств.

Британская группа компаний Octopus Energy, занимающаяся инвестициями в проекты, связанные с возобновляемыми источниками энергии, вложила £200 млн ($255 млн) в компанию Deep Green, сообщила ресурс Datacenter Dynamics (DCD). Deep Green специализируется на строительстве небольших ЦОД рядом с объектами, для обогрева которых можно использовать «мусорное» тепло.

В прошлом году Deep Green запустила ЦОД с системой погружного охлаждения для обогрева бассейна в британском Эксмуте (Девон) на юго-западе Англии. «Чтобы противостоять энергетическому кризису, нам нужны инновационные решения необычных проблем», — заявила гендиректор Octopus Energy Generation Зойса Норт-Бонд (Zoisa North-Bond).

Источник изображения: Deep Green

Инвестиции были сделаны через специальный фонд Octopus Energy Transition Fund (OETF) и фонд Sky (ORI SCSp). Представитель группы сообщил ресурсу DCD, что Octopus на начальном этапе не будет участвовать в размещении «цифровых бойлеров» Deep Green. Основатель Deep Green заявил, что сделка позволит компании построить «сотни периферийных ЦОД для бассейнов и систем централизованного теплоснабжения».

Аналогичные решения создаёт французская компания Qarnot. В Великобритании производитель «цифровых бойлеров» Heata и облачный оператор Civo уже предлагают устанавливать серверы для отопления домов. А Aventuur планирует обогревать аквапарк в Новой Зеландии теплом ЦОД, питающегося от солнечных элементов.

Как заявили представители подающего надежды австралийского облачного провайдера ResetData, владельцам зданий стоит рассмотреть не только постепенно распространяющиеся технологии вроде обогрева помещений за счёт тепла ЦОД, но и более необычные варианты. Как сообщает The Register, собственный дата-центр в здании может стать очередным предложением для арендаторов. ResetData как раз и намеревается предлагать такие микро-ЦОД.

Компания разработала модули Hiperdrive с погружной СЖО для снижения энергопотребления и повышения теплоотдачи. Стартап дорабатывает Intel-серверы Dell таким образом, чтобы те могли работать с иммерсионным охлаждением Submer с сохранением гарантии производителя, причём у него, как сообщается, соответствующая сертификация. Как и прочие стартапы такого профиля, ResetData обеспечивает отдачу тепла на нагрев воды, в том числе для систем отопления.

Фото: Submer

Погружные системы охлаждения обычно тяжелее традиционных, иногда они чересчур тяжелы даже традиционных ЦОД. Поэтому ResetData оптимизировала конструкцию модулей и предложила размещать их в подвалах — там обычно прохладно, а рядом находятся все коммуникации, от канализации и водопровода до электричества. В компании считают, что владельцы бизнес-центров и офисных кампусов могут рассмотреть установку таких микро-ЦОД и сдавать вычислительные мощности и/или хранилища данных арендаторам.

Преимуществом размещения ЦОД в подвале будет минимальная задержка доступа к данным. Кроме того, СЖО обеспечивают высокую плотность размещения аппаратных мощностей, что позволяет даже небольшому модулю обслуживать нескольких клиентов. ResetData предлагает законченное решение на базе OpenStack или AzureStack HCI. В скором будущем ожидается поддержка решений Red Hat, Citrix и VMware. Если арендаторам понадобятся ИИ-вычисления или 3D-графика, Hyperdrive может предоставить серверы с ускорителями NVIDIA A40.

Дата-центры традиционно являются стабильным источником тепла, поэтому многие компании пытаются найти ему применение. Тем не менее, как свидетельствует доклад Uptime Institute, этому есть немало ограничений, связанных как с географическим положением дата-центров, так и с различными техническими и иными ограничениями.

В докладе сообщается о текущем состоянии проектов использования постоянно выделяемого оборудованием ЦОД тепла и упоминаются вызовы, с которыми приходится столкнуться операторам ЦОД и властям всех уровней для того, чтобы подобные схемы заработали. Это тем более важно, что современные дата-центры тратят порядка 20–30 % электроэнергии на охлаждение. При этом проблему можно было бы как минимум частично решить, применив эффективные механизмы отвода тепла.

Индустрия учитывает тренд на создание экоустойчивых систем и принятие законов, нацеленных на защиту окружающей среды, и уделяет всё больше внимания созданию оборудования и технологий, позволяющих, например, использовать избыточное тепло для обогрева жилья и других объектов. К тому же бум в сфере ИИ-систем ведёт к созданию инфраструктуры повышенной энергоёмкости. Рост плотности мощности на стойку постепенно увеличивается, при этом ожидаемо выделяется всё больше тепла.

Источник изображений: Uptime Institute

Лидером по применению «мусорного» тепла ЦОД по версии Uptime Institute является север Европы, отчасти из-за весьма умеренного климата. При этом приходится учитывать, что использование такого тепла возможно, только если рядом есть его потребители, что усложняет задачу и увеличивает издержки при передаче тепла на расстояние. При этом уровень выделения тепла и стоимость энергии в каждом случае разные и многое зависит от сезона. Поэтому строить бизнес на таких технологиях часто нецелесообразно и многие операторы предлагают подобное тепло даром, хотя его удаётся и продавать.

Правда, исследование показало, что в плане энергетики подобные системы обычно либо приносят нулевую пользу, либо и вовсе убыточны, поскольку часто приходится применять тепловые насосы и иные системы донагрева до отдачи тепла в системы отопления, что часто только увеличивает общее потребление энергии. Тем не менее, утверждается, что включение подобных решений в районные системы отопления способно снизить общее потребление энергии и выбросы парниковых газов. Лидерами по внедрению таких проектов являются Швеция, Дания, Финляндия.

Изменение мощности стойки за последние три года

По итогам опроса 2022 года перспективные системы жидкостного охлаждения применяет меньшинство компаний, но подавляющее большинство относится к ним с благосклонным вниманием и рассматривает их применение в будущем.

В ноябре сообщалось, что британское правительство заявляло об инвестициях в объёме $41,4 млн на поддержку схемы передачи избыточного тепла на западе Лондона, способной обеспечить отоплению и горячую воду для 10 тыс. домов. Компания atNorth также раскрыла планы строительства нового ЦОД близ Хельсинки, который тоже будет отдавать тепло в местную систему отопления. По оценкам Uptime Institute, всего сегодня в Европе действуют порядка 60 проектов по использованию тепла ЦОД в отоплении, ещё 6 — в Северной Америке. 11 аналогичных проектов разрабатываются или возводятся.

Новые законы, направленные на борьбу с климатическими изменениями, также способствуют распространению таких систем. Обновлённая европейская Директива по энергоэффективности (EED) регламентирует, что ЦОД от 1 МВт должны либо применять наилучшие практики повышения энергоэффективности, в том числе подключаться к системам отопления, либо доказать, что это нецелесообразно. Более того, германский закон об энергоэффективности Energieeffizienzgesetz (EnEfG) ещё жёстче, поскольку фактически обязывает ЦОД отдавать тепло. В 2026 году вновь построенные ЦОД должны будут утилизировать 10 % избыточного тепла, а в 2028 — уже 20 %. Различные законодательные нормы применяются и в других странах.

Использование систем прямого жидкостного охлаждения

В целом применяются различные схемы, от уже упомянутых до не совсем стандартных. Например, Bytesnet использует погружные СЖО, от которых забирается избыточное тепло, а финский оператор систем отопления Fortum сам определил местоположение ЦОД Microsoft, от которых он получает тепло. Одна из самых необычных схем применяется в Японии, где для охлаждения применяется снег, а талая вода потом применяется для выращивания угрей на продажу. Экономика подобных систем довольно сложна. Приходится учитывать многочисленные факторы, от потребностей местных отопительных сетей до себестоимости энергии и тепла. Впрочем, строить ЦОД с интегрированными механизмами отвода избыточного тепла часто дешевле, чем переделывать старые.

Действующий на севере Европы оператор ЦОД atNorth анонсировал создание в Финляндии дата-центра гиперскейл-уровня ёмкостью от 60 МВт. Как сообщает Datacenter Dynamics, дата-центр будет передавать «мусорное» тепло в коммунальную систему отопления.

Площадка FIN04 в финском городе Коувола, расположенная в 140 км к северо-востоку от Хельсинки, на начальном этапе будет иметь мощность 60 МВт. Как утверждают в atNorth, к моменту полного завершения строительства мощность увеличится на сотни мегаватт. Кампус рассчитан на колокейшн-клиентов, а также проекты, построенные под конкретных заказчиков-гиперскейлеров. Это уже десятый ЦОД atNorth, отделившейся от Advania в 2017 году. Теперь она приобретает и строит дата-центры при поддержке швейцарских инвесторов из Partners Group, купивших её в 2021 году.

Источник изображения: Joonas T/unsplash.com

Коувола считается ключевой площадкой для следующего проекта компании, намеренной расширяться на фоне растущего спроса на ЦОД такого класса. Сообщается, что уже ведутся переговоры с некоторыми ИИ-компаниями, гиперскейлерами и международными организациями, которым необходимы вычислительные мощности гиперскейл-уровня и которые предпочтут «релокацию» на север, чтобы способствовать декарбонизации своей работы.

Местные власти похвалили инициативу atNortn за вклад в местную циркулярную экономику, подчеркнув, что город приветствует инвестиции со стороны компаний, ответственно проводящих цифровизацию. Системой отопления города управляет компания KSS Energia, которая рада сотрудничеству с atNorth для использования в своей инфраструктуре выделяемого ЦОД тепла. Ожидается, что это послужит примером и для других компаний, намеренных добиться экоустойчивости.

Компания активно осваивает рынок Скандинавии. Не так давно atNorth приобрела два финских ЦОД FIN01 и FIN03 у своего бывшего владельца Advania в Валлиле и Эспооо. Также она анонсировала строительство в Эспоо третьего объекта на 15 МВт. Строится и ЦОД ёмкостью 30 МВт в Дании, открытие которого намечено на конец 2024 года. В июле было подписано соглашение о покупке экобезопасной энергии для строящегося «зелёного» ЦОД в Исландии, а в августе куплен шведский HPC-провайдер Gompute, владеющий мощностями на 10 МВт.

Правительство Великобритании выделило £36 млн ($44,5 млн) на модернизацию системы центрального отопления Западного Лондона. По данным Datacenter Dynamics, система позволит использовать «мусорное» тепло дата-центов для отопления до 10 тыс. домов. Летом прошлого года здесь разразился скандал, когда выяснилось, что новые проекты строительства жилья в этом районе приостановлены, поскольку ЦОД зарезервировали всю доступную на местных подстанциях мощность.

Фонд Green Heat Network Fund (GHNF) Министерства энергетики страны намерен потратить средства на создание системы, способной использовать тепло ЦОД с температурой теплоносителей от +20 до +35 °C. Реализацией проекта займётся основанная столичной мэрией корпорация Old Oak and Park Royal Development Corporation (OPDC), занятая благоустройством западного района столицы. Развитием теплосети займётся инфраструктурная компания Aecom.

Источник изображения: Giammarco Boscaro/unsplash.com

В ODPC подтвердили, что ведутся активные переговоры с двумя кампусами ЦОД, которые способны совместно генерировать 98,7 ГВт·ч тепла. В этом районе Лондона развитием ЦОД заняты Virtus, Ark Data Centres, Microsoft и Vantage — реализация проектов находится на разных стадиях. Проект охватывает более 9 тыс. домов и 250 тыс. м² коммерческой недвижимости. В рамках муниципальной программы Local Energy Accelerator (LEA) проект также получит $495 тыс. на технические консультации.

ЦОД, как утверждают организаторы проекта, обеспечивают предсказуемые объёмы поставок «низкопотенциального» тепла, которое в противном случае улетучивалось бы в атмосферу. Теперь тепло будет передаваться через сеть пластиковых труб в центры распределения энергии, где тепловые насосы помогут поднять температуру воды, которая сможет поступать через традиционные стальные трубы в новые и уже имеющиеся дома. Это первый из пяти «зелёных» проектов, на которые фонд GHNF намерен выделить суммарно порядка £65 млн ($80,4 млн).

IXcellerate расширила сферу применения своих коммерческих ЦОД, внедрив систему использования избыточного тепла от работающего оборудования для отопления помещений. Как сообщает пресс-служба компании, речь идёт о первом успешном воплощении проекта соответствующего характера на российском рынке.

Использована технология «Тепловой насос» — интегрированное инженерное решение для вентиляции и отопления, разработанное самой IXcellerate. В Нью-Йорке и городах Великобритании малые ЦОД уже отвечают за подогрев бассейнов, в других местах они применяются для создания теплиц или отдают тепло в сети центрального отопления.

Источник изображения: IXcellerate

«Тепловой насос» начали разрабатывать ещё в 2020 году. Она была способна передавать тепло систем кондиционирования дата-центров в системы отопления. В первую очередь это касалось обогрева объектов самой компании — как действующих, так и строящихся. Основной задачей было обеспечить автономность машинных залов ЦОД от внешних систем отопления, а также отопление вспомогательных зданий площадью около 2500 м² с соблюдением действующих СНиП по температуре и влажности.

Источник изображения: IXcellerate

Наиболее перспективным посчитали проект «воздух–вода», позволяющий утилизировать тепло из машинных залов и при отсутствии единого контура холодоснабжения. Кроме того, этот способ экономичнее прочих, поскольку не требует инвестиций благодаря полноценной интеграции в систему кондиционирования ЦОД.

Для создания системы применялись прецизионные фреоновые кондиционеры с водяным охлаждением конденсаторов, трубопровод с гликолевым теплоносителем, сухие градирни, тепловой узел с насосами, система автоматического управления тепловым пунктом, который отдаёт тепло в контуры отопления и теплоснабжения приточной вентиляции,а также датчики и регуляторы температуры и давления.

Источник изображения: IXcellerate

«В соответствии с техническими характеристиками кондиционеров тепловая мощность при 100% нагрузке на испаритель составляет до 156,9 кВт. Суммарная тепловая мощность четырёх кондиционеров − до 627 кВт. Максимально возможная тепловая мощность − 470,7 кВт. Для бесперебойности электропитания применяется схема резервирования N+1», — сообщили в компании.

Реализация проекта стартовала ещё в первой половине 2021 года, а через год компания завершила интеграцию системы теплоснабжения здания в систему кондиционирования ЦОД. После этого началось подключение новых потребителей, и в 2023 году площадь отапливаемых помещений достигла 2500 м².

Источник изображения: IXcellerate

Благодаря автономному теплоснабжению инженерных систем, экономия Северного кампуса Ixcellerate за два отопительных периода составила 200 Гкал/год, а при подключении всех потребителей вырастет до 700 Гкал. При этом систему можно использовать даже летом для поддержания наилучшего уровня влажности при вентиляции машинных залов. Относительным минусом решения является связанность инфраструктуры ЦОД с инфраструктурой административных объектов, температурные графики которых отличаются.

В компании утверждают, что технология универсальна и масштабируема, так что «Тепловой насос» можно применять с любым ЦОД. В ближайшие годы планируется внедрение технологии на всех объектах Ixcellerate. Когда в эксплуатацию введут все 8 кампусов мощностью более 280 МВт, теплом можно будет обеспечить сотни зданий.