Европарламент и Евросовет, наконец, согласовали текст Директивы по энергетической эффективности (EED). Как сообщает ComputerWeekly, документ обязывает операторов ЦОД в Евросоюзе обеспечить свободный доступ к данным о воздействии их проектов на окружающую среду. Кроме того, в скором будущем некоторые ЦОД станут обязаны отдавать избыточное тепло со своих площадок на нужды общества.

Ассоциация Sustainable Digital Infrastructure Alliance (SDIA), намеренная добиваться того, чтобы дальнейший рост индустрии ЦОД не продолжался за счёт ущерба окружающей среде, и выступающая за использование открытых и доступных технологий энергоснабжения, приветствовала финальный вариант директивы. В SDIA назвали утверждение окончательного варианта документа важной вехой в деле перехода на экоустойчивую цифровую инфраструктуру к 2030 году.

Согласно новому документу, операторы ЦОД, у которых мощность объектов превышает 500 кВт, будут обязаны отчитываться о воздействии на окружающую среду не реже раза в год, а первый отчёт придётся подать не позже 15 мая 2024 года. SDIA активно участвует в формировании требований о том, какими именно данными должны будут делиться операторы ЦОД.

Изображение: Jan Huber / Unsplash

Так, операторы должны будут включать в отчёт подробности о потребляемой энергии, а также данные о температурах на объекте, использовании возобновляемой энергии и другие сведения. Еврокомиссия создаст базу ЦОД, куда и будет внесена вся эта информация. На основе собранных данных директива будет скорректирована, и к 15 мая 2025 года обновлённый документ получит уточнённые нормы и стандарты для ЦОД, а также план по переходу к нулевым углеродным выбросам.

Важным новым требованием к дата-центрам мощностью более 1 МВт является обязательная утилизация избыточного тепла. Если это по каким-либо причинам невозможно, от операторов потребуется техническое или финансовое обоснование отказа. При этом спрос на такое тепло пока мал. При этом новые экологические нормативы, по данным Uptime Institute, будут одной из причин роста затрат на строительство и обслуживание ЦОД в ближайшие годы.

Компания Google обнародовала новую информацию о своей облачной суперкомпьютерной платформе Cloud TPU v4, предназначенной для решения задач ИИ и машинного обучения с высокой эффективностью. Система может использоваться в том числе для работы с крупномасштабными языковыми моделями (LLM).

Один кластер Cloud TPU Pod содержит 4096 чипов TPUv4, соединённых между собой через оптические коммутаторы (OCS). По словам Google, решение OCS быстрее, дешевле и потребляют меньше энергии по сравнению с InfiniBand. Google также утверждает, что в составе её платформы на OCS приходится менее 5 % от общей стоимости. Причём данная технология даёт возможность динамически менять топологию для улучшения масштабируемости, доступности, безопасности и производительности.

Отмечается, что платформа Cloud TPU v4 в 1,2–1,7 раза производительнее и расходует в 1,3–1,9 раза меньше энергии, чем платформы на базе NVIDIA A100 в системах аналогичного размера. Правда, пока компания не сравнивала TPU v4 с более новыми ускорителями NVIDIA H100 из-за их ограниченной доступности и 4-нм архитектуры (по сравнению с 7-нм у TPU v4).

Изображение: Google

Благодаря ключевым инновациям в области интерконнекта и специализированных ускорителей (DSA, Domain Specific Accelerator) платформа Google Cloud TPU v4 обеспечивает почти 10-кратный прирост в масштабировании производительности по сравнению с TPU v3. Это также позволяет повысить энергоэффективность примерно в 2–3 раза по сравнению с современными DSA ML и сократить углеродный след примерно в 20 раз по сравнению с обычными дата-центрами.

Согласно исследованию «Data Center and IT Spending Survey 2022» организации Uptime Institute, более ⅔ операторов предприятий и колокейшн-операторов рассчитывают увеличить расходы на ЦОД в 2023 году. Большинство корпоративных ЦОД (90 %) собираются наращивать мощности в течение следующих двух-трёх лет, причем половина из них планирует строить новые объекты.

В Uptime Institute отметили, что затраты на строительство ЦОД и сроки выполнения заказов, значительно сократившиеся в 2010-х годах, сейчас, наоборот, растут. По оценкам Uptime Institute, в 2010 году строительство среднего корпоративного ЦОД уровня Tier III обходилось примерно в $12 млн/МВт (без учёта земельных и строительных работ), и на это требовалось до двух лет. Перед пандемией COVID-19, благодаря изменениям в проектировании и строительстве, затраты на создание ЦОД сократились до $6–8 млн/МВт, а продолжительность строительства снизилась до менее чем 12 месяцев.

В настоящее время стоимость проектов и сроки их выполения заметно изменились, так как из-за длительного времени ожидания поставки некоторых важных компонентов (генераторы и централизованные системы бесперебойного питания) значительно выросли цены. По оценкам Uptime, к 2022 году затраты на строительство ЦОД уровня Tier III выросли на $1–2 млн/МВт, а продолжительность — до 12 месяцев и больше.

Источник изображений: Uptime Institute

Несмотря на то, что цены на отдельные компоненты начали стабилизироваться, хотя и на более высоком уровне по сравнению с допандемийным периодом, аналитики Uptime Institute ожидают в 2023 году их дальнейший рост. Дефицит продукции вместе с более высокой стоимостью рабочей силы, полупроводников и электроэнергии оказывают инфляционный эффект по всей отрасли, отметили аналитики.

Вместе с тем приобретение площадок в крупных ЦОД с подключением к сети с малой задержкой теперь стоит дороже, поскольку в популярных регионах размещения ЦОД наблюдаются проблемы с наличием свободных участков и обеспечением электроэнергией, отметила Uptime Institute.

Исследование цепочек поставок за 2022 год показывает, что труднее всего было достать холодильные установки для машинных залов, системы ИБП и компоненты распределения электроэнергии. Из 678 участников опроса 80 % сообщили о повышении цен поставщиками за последние 18 месяцев. Отмечено, что цены на литий-ионные аккумуляторы, которые ежегодно снижались до 2021 года, в 2022 году выросли из-за нехватки сырья и высокого спроса.

Также на росте капзатрат отражается ужесточение требований к экологичности проектов. Действующие в крупных локациях ЦОД, таких как Амстердам и Сингапур, нормы приводят к тому, что только разработки с высокоэффективным дизайном могут быть одобрены регулирующими органами. Новые стандарты энергоэффективности (например, в ЕС) ведут к ещё большему росту стоимости строительства. Также будут расти затраты на электроэнергию, что требует оптимизации энергопотребления.

Аналитики считают, что в 2023 году будет наблюдаться рост и по операционным расходам ЦОД и ИТ-инфраструктур из-за резкого увеличения основных затрат на ввод. Исследование Uptime Institute показало, что наибольший рост удельных затрат у большинства операторов связан с электроэнергией, что является результатом высоких цен на газ, перехода на возобновляемые источники энергии, дисбаланса в электроснабжении и геополитических изменений.

Больше всего пострадали от повышения цен Великобритания и Евросоюз. Ожидается, что в дальнейшем затраты на электроэнергию снизятся по сравнению с рекордными показателями в 2022 году, но всё равно останутся значительно выше среднего уровня за последние два десятилетия.

На втором месте после электроэнергии по росту затрат на ЦОД находится ИТ-оборудование, что отчасти связано со сбоями в цепочке поставок, нехваткой некоторых чипов и коммутационного оборудования, а также инфляцией. Как ожидают аналитики, в связи с улучшениями в цепочке поставок, цены и сроки поставки ИТ-оборудования (за некоторыми исключениями) сократятся в первой половине 2023 года. Во второй половине 2023 года спрос на оборудование для ЦОД, как ожидается, снова возрастёт, как только некоторые крупные клиенты займутся увеличением своих мощностей, что снова приведет к дефициту некоторых категорий оборудования.

На увеличение затрат на эксплуатацию ЦОД также влияют проблемы с квалифицированными кадрами — многие респонденты вынуждены повышать зарплату в попытке удержать текущий персонал.

Подводя итоги, Uptime Institute сообщает, что общие затраты на строительство и эксплуатацию ЦОД в течение следующих нескольких лет значительно возрастут. С целью их снижения компании будут использовать различные подходы, включая автоматизацию, повышение энергоэффективности и переход в облако, но это потребует дополнительных капиталовложений, новых навыков и сопряжено с техническими сложностями.

Вместе с тем, несмотря на растущие затраты, многие операторы ЦОД считают, что локальное размещение рабочих нагрузок по-прежнему дешевле, чем колокация (54 %) или миграция в облачную структуру (64 %).

Группа Climate Neutral Data Centre Pact (CNDCP), объединяющая 90 % европейских операторов ЦОД, предложила добровольно снизить потребление воды до 400 мл на 1 кВт·ч к 2040 году и добиться углеродной нейтральности намного раньше 2050 года. Соответствующая цель уже поставлена ЕС, но операторы намерены добиваться её без законодательного принуждения и с опережением графика, — сообщает Data Center Dynamics.

Хотя использование воды способно оказать значительное влияние на экологию, этот фактор часто недооценивают, учитывая только расход энергии. При этом многие ЦОД активно используют воду для охлаждения оборудования, благодаря чему снижается расход всё той же энергии, но растут затраты самой жидкости, что имеет критическое значение для некоторых регионов.

Источник изображения: Christian Lue/unsplash.com

Группу CNDCP сформировали в 2021 году с намерением достичь углеродной нейтральности европейских ЦОД к 2030 году, а также обеспечить достойный ответ прочим экологическим вызовам, в том числе снизить расход воды. Для оценки эффективности использования воды используется коэффициент WUE, который отражает расход воды на каждый затраченный киловатт·час электричества. Например, исследование 2016 года показало, что на тот момент WUE для ЦОД в США составлял в среднем 1,8 л/кВт·ч.

Цели поставлены с учётом жизненного цикла уже действующих систем охлаждения, поскольку их немедленная массовая замена может принести больше вреда, чем пользы из-за ущерба экологии в процессе производства самих систем. Поэтому в CNDCP заявили, что все 74 оператора ЦОД, участвовавшие в заключении пакта, добьются потребления не более 400 мл/кВт·ч только к 2040 году. Такой показатель вывели с учётом разницы технологий, климатических и иных условий, характерных для тех или иных ЦОД.

Источник изображения: Google

Отдельные участники рынка уже заявили о намерении добиться положительного водного баланса для своих дата-центров — ЦОД будут отдавать больше чистой воды, чем потреблять. Так, Meta✴ и Microsoft планируют добиться этой цели к 2030 году. Последняя также начала устанавливать станции для очистки сточных вод ЦОД. А вот Google отметилась тем, что пыталась всеми возможными способами скрыть расход воды своими дата-центрами даже от властей.

Помимо ограничения расхода воды, подписанты CNDCP предложили ввести и другие цели для дата-центров. Например, уже сформированы две рабочие группы для подготовки к переходу на «циркулярную экономику» со вторичным использованием материалов и переработкой различных ресурсов. В частном порядке аналогичную инициативу уже несколько лет развивает Microsoft в рамках проекта Circular Center.

Компания «Яндекс» разместила на своей странице видеохостинга YouTube ролик, рассказывающий об особенностях работы самого энергоэффективного центра обработки данных (ЦОД) российского интернет-гиганта, расположенного в городе Мянтсяля в шестидесяти километрах от Хельсинки (Финляндия).

Финский центр обработки данных «Яндекса» является одиннадцатым по счёту ЦОД компании и первым, созданным в соответствие с концепцией GreenField, предполагающей проектирование и строительство здания под дата-центр «с нуля». Площадь вычислительного комплекса составляет 3400 кв. м, его проектная мощность достигает 40 МВт. Объект подключён к двум независимым магистральным источникам электроэнергии по 110 киловольт каждый. Для резервирования энерговводов предусмотрено резервное питание от семи установок DRUPS, за счёт кинетической энергии вращающихся барабанов обеспечивающих автономную работу систем дата-центра на момент запуска дизель-генераторных источников бесперебойного питания.

Особенностью дата-центра «Яндекса» в Финляндии является система охлаждения, функционирующая по принципу Free Cooling (для охлаждения оборудования применяется наружный воздух) и позволяющая использовать тепло от серверов в полезных целях — для отопления жилых домов Мянтсяля. Серверы финского ЦОД «Яндекса» охлаждаются уличным воздухом, который впоследствии нагнетается в теплообменники, а те, в свою очередь, нагревают воду до 30-45 градусов. После этого станция донагрева увеличивает температуру воды до 55-60 градусов, которая затем поступает в городскую сеть. Такое сотрудничество с городом позволяет «Яндексу» экономить до трети расходов на электроэнергию, потребляемую дата-центром.

«Яндекс» намерен и впредь совершенствовать систему охлаждения серверов уличным воздухом. Задействованные в финском ЦОД энергоэффективные технологии и инновационные решения компания планирует использовать в строящемся во Владимире центре обработки данных. Запуск нового дата-центра ожидается в первом квартале 2017 года.