Из-за ИИ-бума спрос на ЦОД высок на многих мировых рынках, но как передаёт The Register со ссылкой на последний отчёт CBRE, одной из главных проблем стала нехватка электричества — спрос на него на рынках ЦОД зачастую превышает предложение. Дефицит актуален для всех ключевых регионов, от Северной и Латинской Америки до Европы и Азиатско-Тихоокеанского сегмента — объёмы доступной энергии продолжают уменьшаться.

Проблемы с обеспечением необходимой ёмкости ЦОД возникли у крупных корпораций — не только из-за нехватки электричества, но и частых задержек со строительством. В CBRE отмечают, что правительства стран вынуждены принимать меры для решения вопроса с бесперебойными поставками энергии, в частности, упрощая разрешительные процедуры и поощряя интеграцию больших проектов в области возобновляемой энергии с энергосетями.

Источник изображения: Peter Robbins/unsplash.com

При этом в Северной Америке мощности ЦОД в I квартале 2024 года выросли на 24,4 % год к году, а на крупнейших рынках, включая Северную Вирджинию, Чикаго, Даллас и Кремниевую долину добавилось 807,5 МВт. В Европе рынок ЦОД вырос почти на 20 % за квартал, важные проекты реализуются во Франкфурте, Лондоне, Амстердаме и Париже (регион FLAP). В Париже рост и вовсе составил 40 % год к году, несмотря на общую нехватку соответствующих ресурсов на континенте, особенно на ключевых рынках вроде Франкфурта.

По данным CBRE, сегодня волне обычным делом стало предварительное бронирование аренды ещё не достроенных объектов. Соответствующий тренд в Европе и Северной Америке (в частности, в США) отмечен уже довольно давно. Предполагается, что статистика свидетельствует о необходимости строительства новых ЦОД, хотя ключевой проблемой и в этом случае является дефицит электричества для их дальнейшего снабжения. В CBRE добавили, что отмеченная ещё в прошлом году нехватка энергии является одним из важнейших препятствий для роста рынка наряду с дефицитом земли.

Источник изображения: CBRE

На латиноамериканском рынке мощности выросли на 15 % год к году, а для Азиатско-Тихоокеанского региона этот показатель составляет 22 %, поскольку на Токио, Сидней, Гонконг и Сингапур приходится по полгигаватта, несмотря на ограничения на строительство ЦОД в том же Сингапуре с некоторыми послаблениями.

Высокий спрос и нехватка мощностей неизбежно ведёт к росту цен. В CBRE сообщают, что в Северной Америке средняя цена на 250–500 кВт ёмкостей в I квартале выросла на 20 % год к году. Та же картина наблюдается и в Европе, где цены растут из-за высокого спроса и высоких цен на строительство. В Франкфурте квартальный рост составил рекордные 15 %, а в Лондоне стоимость аренды поступательно росла в течение 18 месяцев.

Источник изображения: CBRE

В Латинской Америке картина неоднородна, поскольку стоимость аренды ЦОД в сравнении с прошлым годом выросла не очень значительно, а в некоторых местах вроде Боготы в Колумбии колокация и вовсе подешевела. Тем временем в Азиатско-Тихоокеанском регионе цена поступательно росла из-за роста стоимости строительства и эксплуатации ЦОД. Так, Сингапур сегодня является одним из самых дорогих регионов. Увеличились и цены в Токио, хотя в Сиднее они довольно стабильны.

Хотя в докладе CBRE учитываются четыре ключевых рынка, высокий спрос на них заставляет бизнес перенаправлять инвестиции на другие территории — например в Осло и окрестности и Мадрид, где спрос на ЦОД тоже начал расти. В компании заявляют, что вторичные европейские рынки растут по ряду причин, в числе которых как амбиции гиперскейлеров, так и относительно низкие цены. В некоторых случаях это позволяет регионам становиться новыми «горячими точками», где дата-центры особенно востребованы.

ИИ-стартап Character.AI провёл переговоры с несколькими IT-гигантами, передаёт The Information. По слухам, компания обсуждала возможности сотрудничества с Google, Meta✴ и контролируемой Илоном Маском (Elon Musk) xAI.

Основанная бывшими сотрудниками Google компания уже привлекла $150 млн на создание чат-ботов, имитирующих поведение героев аниме, игр и др. На прошлой неделе компания представила функцию Character Call, обеспечивающую голосовое общение с ИИ-аватарами, готовыми ответить на запрос пользователя. Предполагается, что это добавит популярности сервисам компании.

Если бы стартапу удалось заключить сделку с одним из крупных игроков вроде Google или xAI, он получил бы доступ к огромным вычислительным ресурсам, а в ответ поделился бы интеллектуальной собственностью, связанной со своими передовыми разработками. По сведениям The Information, компания обсуждала заключение аналогичной сделки о совместном участии в исследованиях и с Meta✴ Platforms.

Источник изображения: Character.AI

Пока потенциальные участники сделки, включая Character.AI, не ответили на запросы журналистов. Некоторые эксперты полагают, что у компании слишком мало собственных вычислительных ресурсов, поэтому ей неизбежно пришлось бы прибегнуть к помощи игроков покрупнее. В индустрии это уже привычная практика. Так, Alibaba Cloud предлагает стартапам ИИ-мощности в обмен на долю в компании, а различные программы поддержки начинающих компаний в области ИИ нередко предполагают «выплаты» именно облачными ресурсами, а не живыми деньгами.

UPD 03.08.2024: Google наняла основателей Character.AI и лицензировала ИИ-модели компании.

Рост ставки рефинансирования вынудил некоторые частные российские компании, занимающиеся строительством ЦОД на заёмные средства, приостанавливать или откладывать запуск новых объектов, пишет ComNews. Например, в ГК «Филанко» после завершения текущего проекта не планируют сдачу новых объектов в 2025 году, а запуск следующего ЦОД состоится не раньше IV квартала 2026 года. При этом компания закладывает в смету цены за услуги на 80 % выше уровня 2024 года с учётом прогноза роста ставки ещё на 2 п.п.

В Ассоциации участников отрасли ЦОД утверждают, что строительство на заёмные средства становится невыгодным. Ситуацию можно исправить, приравняв ЦОД к ИТ-компаниям или утвердив льготные ставки кредитования. Юридический статус ЦОД тоже не совсем понятен, а законопроект, который бы его определил, лежит под сукном почти четыре года, отметили в ассоциации. В АНО КС ЦОД отмечают, что планов прекращения создания новых ЦОД у участников рынка нет, но со сроками окупаемости проектов ситуация сложная, поскольку на возврат инвестиций в сегменте колокации требуется более 15 лет.

Источник изображения: Taylor Vick / Unsplash

При этом в России есть госкорпорации ПАО «Ростелеком» («РТК-ЦОД») и ГК «Росатом» (АО «Атомдата»), имеющие достаточно оборотных средств для реализации своих проектов, поэтому вопросы займов их не интересуют. В пресс-службе «РТК-ЦОД», который является крупнейшим в РФ оператором ЦОД, рассказали ComNews, что компания обеспечивает запас в более чем 2000 стоек на каждый год и на цикл строительства закладывает полтора-два года. «Атомдата» возводит ЦОД рядом с АЭС и скупает готовые и строящиеся дата-центры, в том числе в Москве.

В пресс-службе Selectel сообщили, что ведут строительство 20-МВт дата-центра «Юрловский» уровня TIER IV ёмкостью 2 тыс. стоек, первая очередь которого на 1000 стоек будет введена в эксплуатацию в 2025 году. Как ожидается, новый ЦОД обеспечит компания необходимыми мощностями для роста бизнеса текущими темпами до 2028 года. В МТС тоже не собираются приостанавливать строительство новых ЦОД, хотя признали, что рост ставки является препятствием для привлечения дополнительных инвестиций. Наконец, в IXCellerate сообщили, что хотя расширение сети ЦОД ведётся за счёт личных и заёмных средств, остановка строительства или заморозка не предвидятся.

Американская энергетическая Pacific Gas and Electric Company (PG&E) в последнем отчёте для инвесторов отметила, что в Калифорнии, особенно в северной и центральной частях, в ближайшие годы построят много дата-центров. Datacenter Dynamics сообщает, что речь идёт строительстве ЦОД ёмкостью 3,5 ГВт до 2029 года, причём треть приходится на единственного клиента.

В Сан-Хосе от 11 клиентов поступил запрос на строительство ЦОД общей ёмкостью 1,6 ГВт в 2025–2029 гг., отдельные объекты требуют подвод от 10 МВт до 600 МВт. В Хейварде речь идёт о вводе к 2028 году 975 МВт для четырёх клиентов, причём 800 МВт приходится лишь на одного из них. В остальных городах запросы скромнее. Так, во во Фримонте нужно 230 МВт, в Гилрое и Милпитасе — 210 МВт, в Сан-Франциско — 70 МВт, в Саннивейле и Санта-Кларе — по 100 МВт, а в Ричмонде — всего лишь 35 МВт.

Источник изображения: Lala Miklós/unsplash.com

Подавшие заявки компании не называются и указываются в отчёте под номерами. Например, первый клиент запросил суммарно более 1,3 ГВт в пяти локациях, все должны заработать в 2028 году. Клиент №3 (второй по значимости) запросил 500 МВт в одном месте, объекты должны ввести в эксплуатацию между 2025 и 2029 гг.

В среднем нагрузка PG&E должна вырасти на 2–4 % с 2023 по 2040 гг. (эквивалент 144 ТВт∙ч), на дата-центры из них придётся 0,5–1,5 %, а на электромобили — 1,25–2 % роста. На обеспечение роста потребностей ЦОД потребуется $0,5–$1,6 млрд. Однако аналитики CBRE предупреждают, что многие подстанции в районе Кремниевой долины не получат энергии до 2028–2029 гг., причём их сдача в эксплуатацию может быть отложена из-за превышения возможностей электросетей в Санта-Кларе.

Digital Core (Digital Realty) уже отмечала проблемы с энергоснабжением в Калифорнии. Ещё в I квартале 2023 года местный поставщик энергии на севере штата предупреждал о приостановке выделения дополнительных мощностей для ЦОД до 2028 года. Один из ключевых поставщиков энергии, Silicon Valley Power, сообщает, что многие проекты получают максимум 2 МВт, что сильно ограничивает их возможный будущий рост.

В прошлом году Silicon Valley Power объявила, что нагрузка на электросети из-за ЦОД почти удвоится к 2035 году, а дата-центры и без того являются крупнейшим потребителем калифорнийских энергорезервов. В PG&E тоже отметили, что компания медлит с новыми поставками энергии из-за нехватки резервов и роста её потребления. Ожидается, что новые мощности будут массово введены лишь к 2028 году. Пока же пытаются реализовать необычные зелёные проекты. например, ЦОД Microsoft в Сан-Хосе запитают от биогаза, получаемого из пищевых отходов.

Южноафриканское правительство рекомендует операторам дата-центров минимизировать зависимость от централизованных электросетей и заняться «самообеспечением» энергией. По данным Datacenter Dynamics, местное Министерство связи и цифровых технологий опубликовало основные принципы новой политики в докладе National Data and Cloud Policy. Там же, например, рекомендуется перенести правительственные сервисы в облако.

Как подчёркивается в документе, проблема в том, что у Южной Африки имеются проблемы со снабжением электричеством. С учётом того, что дата-центры работают 24 часа в сутки, для них полагаться исключительно на местные магистральные сети электроснабжения будет не слишком эффективно. Таким образом, владельцам и операторам ЦОД стоит озаботиться альтернативными источниками энергии для предотвращения сбоев в работе. Власти добавляют, что приоритет должен отдаваться самообеспечению дата-центров не только электричеством, но и водой.

Источник изображения: George Brits/unsplash.com

При этом отмечается, что южноафриканская энергосеть чрезвычайно ненадёжна и отдельные части страны регулярно буквально погружаются во мрак. При этом, несмотря на проблемы с энергетической ёмкостью в этой части континента, соглашения о покупке «зелёной» энергии PPA-типа заключаются довольно редко.

Сегодня принадлежащая Digital Realty компания Teraco разрабатывает в стране собственную солнечную электростанцию, а Vodacom подписал энергетическую сделку с местной компанией Eskom. Africa Data Centres строит солнечную электростанцию в Блумфонтейне с Distributed Power Africa. Впрочем, телеком-операторы вроде MTN давно вкладывают средства в энергохранилища и генераторы для поддержания работоспособности своих объектов даже в случаях, когда отключения электричества носят системный и продолжительный характер.

Американские гиперскейлеры призывают ирландское правительство позволить строить собственные частные линии электропередач. Datacenter Dynamics сообщает, что такие энергетические магистрали свяжут дата-центры с объектами возобновляемой энергетики. Благодаря этому можно будет вновь строить дата-центры близ ирландской столицы.

Фактически в районе «Большого Дублина» действует мораторий на строительство новых кампусов ЦОД. Государственный оператор энергосетей EirGrid заявил, что пока не будет принимать заявки на подключение новых объектов соответствующего типа до 2028 года. В Ирландии, как и в Нидерландах, больше не рады гиперскейлерам.

Но если верить последним сведения, Google, Amazon и Microsoft намерены добиться от властей разрешения напрямую связать свои дата-центры с солнечными и ветряными электростанциями. Компании уверены, что это снизит нагрузку на уже существующие линии в Дублине. Пока же строить линии электропередач в Ирландии имеет право лишь государственная структура Electricity Supply Board (ESB), но гиперскейлеры уверены, что у них получится сделать то же самое дешевле и быстрее.

Источник изображения: Gabriel Ramos/unsplash.com

После начала публичных слушаний в прошлом году ирландское правительство пообещало обнародовать политику относительно частных ЛЭП ещё в I квартале 2024 года, но так и не сделало этого. Пока действует мораторий, компании ищут альтернативы. Так, Microsoft и Vantage предпочли построить собственные ТЭС на территории своих кампусов. Изучаются и возможность питания от топливных ячеек и создания энергохранилищ.

В соседней Великобритании энергокомпания Octopus, по слухам, построит собственные мачты линий электропередач, чтобы помочь расширить местные электросети. Провайдер уже ведёт переговоры с регулятором Ofgem и надеется, что оператор National Grid откажется от монополии в Англии и Уэльсе.

По мнению экспертов IT-отрасли, решение Сингапура частично отказаться от моратория на строительство новых ЦОД и «разблокировать» 300 МВт для дата-центров вряд ли принесёт действительно значимые плоды. Datacenter Dynamics ссылается на доклад BMI, не сулящий новой инициативе ничего хорошего.

Сингапур ожидает, что в страну вернутся инвесторы, желающие строить и расширять дата-центры. Хотя в городе-государстве фактически введён мораторий на строительство новых кампусов, некоторые послабления всё же делаются. Высвободить сотни мегаватт для новых проектов поможет переход уже существующих в стране ЦОД на более энергоэффективные «зелёные» технологии. Так, Equinix, Microsoft, AirTrunk и GDS недавно получили разрешения увеличить ёмкость ЦОД всего на 80 МВт.

Источник изображения: R.H. Lee/unsplash.com

Проблема в том, что на роль нового IT-хаба уже претендует соседняя Малайзия, где с энергоресурсами всё значительно лучше, а также другие страны Азиатско-Тихоокеанского региона. В докладе BMI пессимистично прогнозируется, что никакие усилия не помогут Сингапуру вновь привлечь инвесторов. Ключевым перспективным рынком становится именно Малайзия. Отмечается, что многие сингапурские бизнесы сами перенесли свои нагрузки к соседям. Именно поэтому Джохор (Малайзия) и Батам (Индонезия) получили масштабные инвестиции на строительство ЦОД в объёме 1800 МВт и 285 МВт соответственно.

Близость Сингапура и благоприятные условия — от привлекательных законов до стоимости труда и энергии — стали причиной быстрой миграции мощностей за пределы страны, отчаянно пытающейся сохранить лидерские позиции. В BMI утверждают, что новых 300 МВт не хватит для того, чтобы удовлетворить требования пользователей. Близкие развивающиеся рынки Юго-Восточной Азии в краткосрочной перспективе суммарно предложат порядка 2500 МВт.

Впрочем, представленный сингапурским регулятором Infocomm Media Development Authority (IMDA) план развития индустрии предполагает не только увеличение ёмкости за счёт повышения энергоэффективности действующих ЦОД, но и сотни мегаватт от новых источников чистой энергии.

Мировое потребление электричества дата-центрами может вырасти более чем вдвое к 2026 году. По данным AI Business, соответствующие данные содержатся в докладе Fueling the Future компании PGIM, специализирующейся на управлении активами. Одним из ключевых факторов, влияющих на энергопотребление, называются высокие нагрузки при обучении больших языковых моделей (LLM).

Более того, если сегодня на долю ЦОД приходится всего 2 % от всего потребляемого в мире электричества, то к 2030 году потреблением может стремительно вырасти — до более 20 %. Также сообщается, что развитые страны просто не успевают расширять свою электрическую инфраструктуру. Например, спрос на энергию со стороны ЦОД в Ирландии, где её и так не хватает, должен удвоиться к 2026 году, составив до трети общего потребления электричества страны.

Источник изображения: American Public Power Association/unsplash.com

В PGIM считают, что операторы дата-центров должны искать баланс между наращиванием вычислительной мощности и возможностью получать энергию из каких-либо источников. В докладе отмечается, что операторы отвечают на этот вызов по-разному — некоторые активно сотрудничают с поставщиками «зелёной» энергии для интеграции «безуглеродных» источников непосредственно с комплексами ЦОД.

Источник: PGIM

Некоторые операторы, включая Microsoft, расширяют водородную энергетику — компания участвует в разработке водородных топливных ячеек, способных заменить дизельные генераторы. Перспективной является атомная энергия. Например, AWS приобрела принадлежавший Talen Energy кампус ЦОД возле АЭС. Некоторые рассчитывают на малые модульные реакторы (SMR), разрабатываемые многими стартапами, например — поддерживаемой Сэмом Альтманом (Sam Altman) компанией Oklo, их можно будет устанавливать в непосредственной близости от ЦОД и снабжать кампусы «чистой» энергией.

Как заключили авторы доклада, сегодня операторам ЦОД приходится не только думать о том, как масштабировать свой бизнес для увеличения вычислительных мощностей, но и как получать дешёвое электричество в достаточных объёмах. И пока это получается далеко не у всех.

Dell ожидает, что уже во II половине 2024 года цена DRAM и SSD вырастет на 15–20 %. По словам вице-председателя и операционного директора компании Джеффа Кларка (Jeff Clarke), цены вырастут как на компоненты, так и на логистику. The Register сообщает, что в связи с этим Dell намерена обновить цены на свою продукцию.

По его словам, это связано с недостатком капитальных инвестиций, низкой загрузкой производств и другими факторами. Большая часть спроса придётся на продукцию для ИИ-серверов, за квартал принёсших Dell $1,7 млрд — рост квартал к кварталу составил более 100 %. Подобному оборудованию нужно много памяти с большой пропускной способностью, ёмкое внутренее и внешнее хранилище.

Источник изображения: Dell

По словам Кларка, компания уже начала пересмотр ценообразования с учётом новых реалий, что помогло Dell улучшить показатели своего серверного бизнеса. Речь как обычном оборудовании, так и о комплектах для ИИ. Объём невыполненных заказов на ИИ-серверы Dell достиг $3,8 млрд, но, по словам Кларка, NVIDIA справляется со спросом, поэтому задержек в поставках ускорителей H200 во II квартале опасаться не стоит. А вот ускорители B200, как и предупреждала NVIDIA, пока в дефиците.

С 2023 года стремительно растёт доля строящихся в Северной Америке дата-центров, которые бронируются ещё до того, как они готовы к эксплуатации. The Register сообщает, что в I квартале текущего года речь шла уже о 84 % предварительно забронированной ёмкости.

По данным CBRE за 2023 год, более 2,5 ГВт (83 %) из 3 ГВт строящихся мощностей уже арендованы. Эта тенденция сохранится и в 2024 году. Так, в I квартале 2024 года доля таких ЦОД составила уже 84,3 % от общей ёмкости. Ранее этот показатель был ближе к 50 %, а теперь речь, вероятно, идёт о рекорде как минимум с 2020 года. Спрос в Европе тоже достиг рекордных показателей, взрывной рост заблаговременной аренды начался во II квартале 2023 года.

При этом строительство ЦОД выросло на 46 % в 2023 году в сравнении с 2022-м, а фактическое предложение увеличилось на 26 %. В уже существующих дата-центрах свободно лишь порядка 3,7 % ёмкости — это не антирекорд всех времён, но довольно близко к этому. При этом далеко не все владельцы кампусов горят желанием продлять договоры на прежних условиях, многие предпочитают освобождать ёмкости для сдачи уже по новым, максимально высоким ценам. Поскольку спрос весьма высок, стоимость аренды выросла в 2022 году на 14,5 % в сравнении с предшествовавшим годом, а в 2023 взлетела на 18,6 %.

При этом новые ЦОД вряд ли значительно упростят ситуацию для потенциальных арендаторов, поскольку выросла цена строительства с учётом дефицита критически важных материалов вроде генераторов, систем охлаждения и трансформаторов. Правда, сам дефицит оборудования, по слухам, напрямую связан именно с ростом темпов строительства. И, конечно, строительство новых дата-центров происходит не так уж быстро — обычно на реализацию проекта уходит от года до трёх.

Возможность строить много ЦОД во многом зависит от готовности инвестировать в такие проекты. Крупные компании вроде Microsoft намерены резко нарастить ёмкость своих объектов, хотя в масштабах рынка потребуется намного больше средств, чем готовы выделить компании. В CBRE ожидают, что в долгосрочной перспективе вложения окупятся с учётом ежегодного совокупного увеличения выручки от ИИ-решения на 58 % (по оценкам S&P Market Intelligence). Впрочем, если прогнозы не оправдаются, вряд ли спрос на новые мощности ЦОД останется на прежнем высоком уровне.