Основатель и генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) и король Дании Фредерик X объявили о запуске крупнейшего в стране суверенного суперкомпьютера для задач ИИ. Система получила название Gefion («Гевьон») — в честь скандинавской богини плодородия.

НРС-комплекс эксплуатируется Датским центром инноваций в области искусственного интеллекта (DCAI), который был создан при поддержке фонда Novo Nordisk Foundation и Датского фонда экспорта и инвестиций. В церемонии ввода Gefion в эксплуатацию, проходившей в Копенгагене, приняла участие Надя Карлстен (Nadia Carlsten), генеральный директор DCAI.

Суперкомпьютер объединяет 191 систему DGX H100, что в общей сложности даёт 1528 ускорителей NVIDIA H100. Задействованы 382 процессора Intel Xeon Platinum и интерконнект NVIDIA Quantum-2 InfiniBand. Прочие технические характеристики, а также показатели быстродействия системы пока не раскрываются. Пиковая теоретическая FP64-производительность должна составить около 52 Пфлопс, а в FP8-расчётах с разреженностью — порядка 6 Эфлопс.

Источник изображения: NVIDIA

Сообщается, что Gefion будет применяться для решения сложных задач в области квантовых вычислений, «зелёной» энергетики, биотехнологий и пр. В частности, исследователи из Копенгагенского университета (UCPH) намерены задействовать машину для проведения крупномасштабного распределённого моделирования квантовых компьютерных схем. Кроме того, UCPH, Технический университет Дании (DTU), Novo Nordisk и Novonesis совместно разработают многомодальную геномную ИИ-модель для анализа мутаций заболеваний и разработки вакцин. Доступ к Gefion также получат стартапы, реализующие перспективные проекты в области обработки текста, изображений и видео.

Источник изображения: DCAI

Суперкомпьютер размещён в одном из дата-центров Digital Realty на территории Дании. Этот объект на 100 % получает питание от возобновляемых источников энергии. Сборкой и установкой вычислительного комплекса занимались специалисты Eviden.

По мере роста энергопотребления ЦОД развиваются и решения, способные компенсировать ущерб окружающей среде. Network World сообщает, что компании Hewlett Packard Enterprise (HPE) и датская Danfoss запустили серию усовершенствованных модульных дата-центров, позволяющих использовать тепло, генерируемое в процессе их работы, в любых целях. За основу была взята система утилизации «мусорного» тепла, применяемая в штаб-квартире Danfoss в Дании.

По данным Международного энергетического агентства (IEA), к 2026 году ИИ-индустрия будет потреблять на порядок больше электроэнергии, чем в 2023 году. Дата-центры всегда вырабатывали много тепла, причём по мере роста вычислительных мощностей растёт и отдача тепловой энергии. Поэтому HPE и датская инжиниринговая компания Danfoss создали готовое решение в рамках HPE IT Sustainability Services — модульную систему Data Center Heat Recovery.

Решение включает модульный дата-центр HPE (Modular Data Center) — компактный контейнер с высокой плотностью размещения оборудования с прямым жидкостным охлаждением, который, как заявляют в HPE, может быть развёрнут практически везде и позволит снизить общее потребление энергии на 20 %. Danfoss же предоставила модули отбора тепла для его передачи ближайшим зданиям и промышленным объектам. Безмасляные компрессоры Turbocor повышают эффективность систем охлаждения ЦОД при оптимистичном сценарии на целых 30 %.

Источник изображения: Danfoss

Выгода для пользователей очевидна, говорят компании, поскольку захваченное тепло позволяет не генерировать его специально. В HPE даже предложили измерять сэкономленное тепло в «негаваттах», т.к. затраты на его генерацию в данном случае отрицательны. С учётом огромных объёмов потребляемого ЦОД электричества, экономия 30 % энергии может стать существенной.

Впрочем, технология имеет определённые ограничения и пригодится не всем. Если обогревать окружающие здания нет необходимости, то никакой экономии энергии и не будет. Подобные технологии уже активно применяют как в Северной Америке, так и в Европе и других регионах. Особенно эффективны они в странах с прохладным климатом. Впрочем, такие системы пока довольно дороги, а иногда и вовсе не имеют смысла по целому ряду причин, в том числе экономических.

Для питания своих дата-центров и колокейшн-мощностей Apple использовала в 2023 году 2,344 ТВт∙ч электроэнергии. Datacenter Dynamics сообщает, что компании принадлежит семь собственных ЦОД, а также неизвестное число колокейшн-площадок по всему миру, энергопотребление тех и других на 100 % компенсируется покупкой PPA-сертификатов.

В докладе Environmental Progress Report компания сообщила, что объект в Месе (штат Аризона) был крупнейшим потребителем, на него пришлось 488 ГВт∙ч, 82 % потреблённого электричества приходится на солнечную энергию, включая 4,76 МВт, которые получаются на территории самого кампуса. Ещё 18 % получают за счёт энергии ветра. ЦОД в Мейдене (Северная Каролина) использовал 453 ГВт·ч, 82 % приходится на солнечную энергию и 12 % — на ветряную.

В Рино (Невада) кампус потребил 440 ГВт∙ч, энергия обеспечена полностью за счёт солнца, в том числе 20 МВт от проекта Fort Churchill Solar Array, в котором используются искривлённые зеркала для концентрации света на фотоэлектрических ячейках. В Прайнвилле (Орегон) использовано 269 ГВт∙ч — 60 % получено за счёт ветряной энергии, 38 % — за счёт солнечной, а ещё 2 % — от малых ГЭС. Компания начала использовать микро-ГЭС в 2013 году, проект Earth By Design реализован рядом с ирригационным каналом. В компании утверждают, что теперь имеется уже два таких проекта.

Источник изображения: Apple

Два дата-центра в Китае использовали в общей сложности 171 ГВт∙ч, на солнечную и ветряную энергию приходится по 50 %. Правда, согласно местным законам, Apple не считается оператором этих ЦОД. На ЦОД в Виборге (Дания) пришлось 40 ГВт∙ч. Точных данных по распределению энергии не имеется, зато в Apple сообщили, что этот дата-центр не нуждается в резервных дизельных генераторах. В 2019 году компания отказалась от строительства второго ЦОД в стране, проект оценивался в $921 млн.

Что касается колокейшн-ёмкостей, то в США и за их пределами компания использовала 387 и 96 ГВт∙ч соответственно — на них приходится около 20,6 % IT-энергопотребления компании. Кстати, впервые в истории Apple использование электричества её колокейшн-объектами упало с 487,9 ГВт∙ч в 2022 году. В предыдущие пять лет до 2022 года оно росло в среднем на 14,49 % ежегодно.

В доклад не вошла отчётность об использовании Apple облаков. Компания давно пользуется услугами Google Cloud и, похоже, это крупнейший клиент платформы, а прошлом году на базе облака Google начата разработка ИИ-моделей. Самое приблизительное представление даёт статистика 2019 года. Тогда сообщалось, что более $30 млн/мес. тратится на облако AWS.

Компания Eviden, дочерняя структура Atos, объявила о заключении соглашения с Датским центром инноваций в области искусственного интеллекта (Danish Centre for AI Innovation) на создание передового суперкомпьютера для решения ИИ-задач. Вычислительный комплекс под названием Gefion, как ожидается, заработает до конца текущего года.

Как сообщается, в основу Gefion ляжет платформа NVIDIA DGX SuperPOD. Конфигурация включает 191 систему NVIDIA DGX H100, а общее количество ускорителей NVIDIA H100 составит 1528 штук. Говорится о применении интерконнекта NVIDIA Quantum-2 InfiniBand.

В состав суперкомпьютера также войдут 382 процессора Intel Xeon Platinum 8480C поколения Sapphire Rapids. Эти чипы насчитывают 56 ядер (112 потоков), работающих на частоте 2,0/3,8 ГГц. Для подсистемы хранения выбрано решение DataDirect Networks (DDN).

Ожидаемая ИИ-производительность Gefion на операциях FP8 составит около 6 Эфлопс. В рамках проекта Eviden отвечает за доставку компонентов комплекса, монтаж и пуско-наладочные работы. Система разместится в дата-центре Digital Realty. Её питание будет на 100 % обеспечиваться за счёт энергии из возобновляемых источников.

Источник изображения: NVIDIA

Датский центр инноваций в области ИИ принадлежит фонду Novo Nordisk Foundation и Экспортно-инвестиционному фонду Дании. При этом Novo Nordisk Foundation, основанный в Дании ещё в 1924 году, представляет собой корпоративный фонд с филантропическими целями. Его видение заключается в улучшении здоровья людей, повышении устойчивости общества и планеты. Отмечается, что Novo Nordisk Foundation обеспечит финансирование центра в размере примерно 600 млн датских крон (около $87,5 млн), а Экспортно-инвестиционный фонд — 100 млн датских крон ($14,6 млн).

«Мусорное» тепло нового дата-центра Microsoft, строящегося в Дании, будет использоваться для отопления до 6 тыс. домов. Datacenter Dynamics сообщает, что ЦОД возводится в муниципалитете Хойе Таструп, расположенном в 25 км от Копенгагена — это один из трёх объектов, строящихся для зоны Azure, анонсированной ещё в 2020 году. Он должен заработать осенью этого года. Ещё два ЦОД возводятся в Роскилле и Кёге.

Тёплая вода от систем охлаждения дата-центра будет использоваться компанией VEKS, строящей районные системы отопления в окрестностях Копенгагена совместно с Høje Taastrup Fjernvarme (HTF). В VEKS и Microsoft рассчитывают, что первые «партии» тепла ЦОД смогут попасть к жителям во время отопительного сезона 2025–2026 гг. Дополнительно Microsoft пообещала создать парк отдыха.

Источник изображения: K B/unsplash.com

Строительство ЦОД в Хойе Таструпе Microsoft анонсировала и одобрила ещё в 2022 году, причём с самого начала планировалось использовать тепло, генерируемое ЦОД в качестве «побочного продукта». Правда, ЦОД обеспечивает лишь подачу тёплой воды температурой 20–30 °С, но HTF будет дешевле использовать тепловые насосы для её подогрева, чем нагревать изначально холодную воду. По данным VEKS, в т.н. «Большом Копенгагене» есть немалый потенциал для использования тепла ЦОД.

Компания Meta✴ намерена пересмотреть концепцию ряда проектов по созданию новых ЦОД с целью их адаптации под ИИ-нагрузки, сообщает DataCentre Dynamics. Это подразумевает расторжение контрактов с некоторыми нынешними подрядчиками и изменение сроков строительства дата-центров.

В начале февраля 2022 года сообщалось, что Meta✴ продолжит увеличивать инвестиции в ЦОД и сетевую инфраструктуру. В частности, компания намеревалась потратить €1 млрд на строительство дата-центра в Испании для обслуживания метавселенной. Позднее стало известно, что Meta✴ была вынуждена отказаться от планов по развёртыванию в Нидерландах крупнейшего в Европе кампуса ЦОД. Тем не менее, в отчёте за III квартал компания подтвердила намерение и далее инвестировать средства в развитие инфраструктуры.

Источник изображения: Meta✴

Теперь же говорится, что компания намерена кардинально изменить подход к строительству ряда новых дата-центров. Речь идёт об 11 проектах, находящихся на стадии разработки и планирования. Сообщается, что для поддержки масштабных ИИ-нагрузок требуется другой подход к архитектуре ЦОД, нежели тот, который использовался для поддержки работы обычных онлайн-сервисов Meta✴. Речь, в частности, идёт о применении СЖО для повышения энергетической эффективности и снижения уровня шума.

Meta✴ уже приостановила работы над двумя объектами в своем кампусе в Оденсе (Дания). Контракт с генеральным подрядчиком Aarsleff в рамках этого проекта расторгнут. Соответствующий договор стоимостью $343 млн был подписан 3 августа 2022 года с запланированным сроком исполнения в 2025 году. Уже были выполнены земляные и бетонные работы, а также проложены километры кабельных траншей. Как теперь сложится дальнейшая судьба проекта, не ясно. Но специалисты говорят, что Meta✴, вероятно, сосредоточит усилия на ЦОД нового поколения с жидкостным охлаждением.

UPD: Meta✴ временно приостановила начатое весной этого строительство ещё одного крупного дата-центра (83,6 тыс м²) в Темпле (Техас, США), сообщив, что проект отменён не будет, но дизайн ЦОД будет пересмотрен. Также компания остановила уже начатые работы по расширению кампуса ЦОД в Алабаме до 325 тыс. м² и строительство $800-млн ЦОД в Айдахо.