С 2023 года стремительно растёт доля строящихся в Северной Америке дата-центров, которые бронируются ещё до того, как они готовы к эксплуатации. The Register сообщает, что в I квартале текущего года речь шла уже о 84 % предварительно забронированной ёмкости.

По данным CBRE за 2023 год, более 2,5 ГВт (83 %) из 3 ГВт строящихся мощностей уже арендованы. Эта тенденция сохранится и в 2024 году. Так, в I квартале 2024 года доля таких ЦОД составила уже 84,3 % от общей ёмкости. Ранее этот показатель был ближе к 50 %, а теперь речь, вероятно, идёт о рекорде как минимум с 2020 года. Спрос в Европе тоже достиг рекордных показателей, взрывной рост заблаговременной аренды начался во II квартале 2023 года.

При этом строительство ЦОД выросло на 46 % в 2023 году в сравнении с 2022-м, а фактическое предложение увеличилось на 26 %. В уже существующих дата-центрах свободно лишь порядка 3,7 % ёмкости — это не антирекорд всех времён, но довольно близко к этому. При этом далеко не все владельцы кампусов горят желанием продлять договоры на прежних условиях, многие предпочитают освобождать ёмкости для сдачи уже по новым, максимально высоким ценам. Поскольку спрос весьма высок, стоимость аренды выросла в 2022 году на 14,5 % в сравнении с предшествовавшим годом, а в 2023 взлетела на 18,6 %.

При этом новые ЦОД вряд ли значительно упростят ситуацию для потенциальных арендаторов, поскольку выросла цена строительства с учётом дефицита критически важных материалов вроде генераторов, систем охлаждения и трансформаторов. Правда, сам дефицит оборудования, по слухам, напрямую связан именно с ростом темпов строительства. И, конечно, строительство новых дата-центров происходит не так уж быстро — обычно на реализацию проекта уходит от года до трёх.

Возможность строить много ЦОД во многом зависит от готовности инвестировать в такие проекты. Крупные компании вроде Microsoft намерены резко нарастить ёмкость своих объектов, хотя в масштабах рынка потребуется намного больше средств, чем готовы выделить компании. В CBRE ожидают, что в долгосрочной перспективе вложения окупятся с учётом ежегодного совокупного увеличения выручки от ИИ-решения на 58 % (по оценкам S&P Market Intelligence). Впрочем, если прогнозы не оправдаются, вряд ли спрос на новые мощности ЦОД останется на прежнем высоком уровне.

Гендиректор Meta✴ Марк Цукерберг (Mark Zuckerberg) назвал главным препятствием в строительстве более крупных ЦОД для ИИ-нагрузок ограничения по поставкам электроэнергии, пишет ресурс DatacenterDynamics. Об этом глава компании сообщил в подкасте Dwarkesh, согласившись с мнением представителей отрасли.

Цукерберг отметил, что ПО регулируется лишь «отчасти», в то время как энергетическая отрасль является строго регулируемым сектором. И если вести речь о строительстве новых крупных электростанций или о значительном укрупнении существующих, а также о строительстве линий электропередачи, пересекающих государственные или частные земли, то этот процесс может затянуться на долгие годы. В частности, два года назад Meta✴ была вынуждена отказаться от гигантского 1,38-ГВт кампуса ЦОД в Нидерландах, где назрел энергетический кризис.

Источник изображения: Shane Rounce / Unsplash

Возведение крупного объекта для ИИ-вычислений, а также его ввод в эксплуатацию Цукерберг назвал «очень долгосрочным проектом». Эти ограничения сдерживают развитие собственных дата-центров ЦОД Meta✴. В конце 2022 года компания отказалась от планов по строительству ряда ЦОД, объявив о намерении кардинально изменить подход к их созданию и сейчас разрабатывает ряд модернизированных объектов. «Полагаю, что мы бы создали более крупные кластеры, чем можем сейчас, если бы у нас была энергия для этого», — сообщил Цукерберг.

«Никто ещё не построил ЦОД мощностью 1 ГВт. Я думаю, что это произойдёт, но не в следующем году. Это лишь вопрос времени», — добавил он, отметив, что для питания такого кампуса может понадобиться уже АЭС. Напомним, что по данным ресурса The Information, Microsoft и OpenAI обсуждают проект строительства к 2030 году объектов для решения задач в области ИИ мощностью 5 ГВт.

Компания Tesla, по сообщению ресурса The Information, не укладывается в намеченный график строительства ЦОД в Остине (Техас, США), в котором планируется разместить узлы ИИ-суперкомпьютера Dojo стоимостью $1 млрд. Эта площадка будет использоваться для решения сложных задач в области ИИ и машинного обучения, в частности, связанных с системами автопилотирования.

К строительству дата-центра, о котором идёт речь, компания Илона Маска приступила в октябре 2023 года. Известно, что по своей конструкции этот ЦОД будет напоминать бункер. Однако, как стало известно, при возведении комплекса Tesla столкнулась с рядом трудностей.

В середине апреля Маск посетил строительную площадку и «пришёл в ярость» из-за увиденного. Вопреки ожиданиям, у объекта отсутствуют большая часть первого этажа и крыша. Наблюдаются сложности с доставкой необходимых материалов, из-за чего возникают задержки при строительстве. Кроме того, ситуация усугубляется из-за того, что основанная Маском компания Boring Company должна проложить под площадкой ЦОД туннель для передвижения электрических пикапов Cybertruck, но эти работы не выполнены. Поэтому невозможно полноценное завершение возведения даже первого этажа.

Источник изображения: Tesla

После своего визита Маск уволил директора по строительной инфраструктуре проекта. После этого Tesla сократила более 14 тыс. сотрудников — свыше 10 % от своего штата, насчитывавшего около 140 тыс. человек. Кроме того, компанию покинули несколько топ-менеджеров. О сроках завершения строительства ЦОД в Остине ничего не сообщается. Возникшие задержки, как считается, отражают более широкие проблемы в автомобильной отрасли.

Бельгийская провинция Эно получит новый импульс к развитию — Google намерена построить в коммуне Фарсьен (Farciennes) свой второй бельгийский ЦОД. Datacentyer Dynamics сообщает, что гиперскейлер готов инвестировать в проект $1 млрд. Кроме того, компания расширит в стране и второй бельгийский кампус, уже действующий в Сен-Гилене.

Впервые местные СМИ обнародовали информацию о намерении Google строить новый дата-центр в Фарсьене ещё в 2019 году. В том же году Google приобрела там 53 га в бизнес-парке Ecopôle. Официально компания обнародовала планы строительства кампуса ЦОД площадью 53 тыс. м² в июле 2023 года, а энергетическая компания Elia подтвердила готовность предоставить объектам 200–300 МВт.

Источник изображения: Michael Maga-ao/unsplash.com

Ожидалось, что первый этап застройки (7,5 тыс. м²) начнётся в прошлом году, а запуск ЦОД состоится в 2025 году, но по факту Google получила разрешение на реализацию проекта только в начале этого года. При этом Google придётся выполнить определённые условия: компания обязалась установить на крыше солнечные панели. Кроме того, в 2025 году 90 % потребляемой объектом энергии должны быть «безуглеродными», а к 2030 году — 95 %. Также Google придётся выбрать более эффективную систему охлаждения ЦОД с малым потреблением воды, которая должна быть подключена к местной сети отопления.

Для значительной доли своей бизнес-активности в Бельгии Google использует компанию-прокладку Crystal Computing. Дата-центр в Сен-Гилене стал первым кампусом ЦОД Google в Европе. С 2009 года там построено уже пять дата-центров и солнечная электростанция. В 2022 году компания приобрела участок площадью 36 га в Экоссинне провинции Эно — в промышленной зоне Feluy. А буквально на днях появилась новость о возобновлении переговоров о строительстве Google ЦОД стоимостью более $1 млрд в соседнем Люксембурге.

Спрос на дата-центры в Северной Америке и не думает снижаться. По данным JLL и CBRE, цены на их использование взлетели до рекордных отметок. Datacenter Dynamics сообщает, что рост спроса совокупно с нехваткой энергетической ёмкости привели к дефициту мощностей и росту числа предварительных договоров об аренде. Повышенный спрос эксперты во многом связывают с развитием ИИ и больших языковых моделей (LLM), набирающих популярность и требующих много энергии. В результате растут запросы на энергию и инфраструктуру.

В докладе JLL сообщается, что спрос буквально бьёт все рекорды, и запрос на новые ЦОД распространяется за пределы ключевых рынков в поисках доступной энергии. При этом большая часть вводимых в текущем году мощностей уже забронирована. Недостаток свободных мощностей привёл к тому, что операторы обращаются к «вторичным» рынкам, на которые теперь приходится почти 20 % строящихся кампусов. Самым быстрорастущим рынком в плане строительства стал Солт-Лейк-Сити (Юта), город готов как минимум удвоить ёмкость ЦОД.

Фото: Taylor Vick / Unsplash

В 2023 году объёмы строительства уже достигли рекордных значений, сейчас на первичных рынках строятся ЦОД на 3,01 ГВт, причём 83 % из них уже арендованы. Уровень свободных мощностей в 2023 году оставался рекордно низким — 3,7 %, а в январе 2024 года в Северной Вирджинии этот показатель был и вовсе критическим — 0,2 %. По мере заполнения первичных рынков, внимание переключается на второстепенные. Особенно это актуально для ИИ-проектов, для которых время задержки обычно не играет существенной роли. Осваиваются территории даже в странах Латинской Америки. Предполагается, что в некоторых регионах в ЦОД будет перенаправляться энергия, ранее предназначавшаяся для других задач.

Строительство с нуля — лишь часть новых проектов. Часто расширяются уже существующие объекты, во всяком случае повышается их плотность в мегаваттах на единицу площади. Недостаток земли привёл к необходимости строить многоэтажные ЦОД, а современные технологии позволяют создавать объекты с типовой ёмкостью более 100 МВт. ЦОД стали привлекать внимание инвесторов в качестве объекта альтернативных вложений, растут и требования клиентов к размерам дата-центров, а с ними и запросы на инвестиции и увеличение скорости строительства.

Источник изображения: JLL Research

По информации CBRE, восемь первичных рынков ЦОД США выросли в 2023 году на 26 %. Северная Вирдижиния продолжает оставаться крупнейшим, в том числе в мире. Ёмкость ЦОД на первичном и вторичном рынках превышает 5,3 ГВт. По данным Newmark, к концу десятилетия энергопотребление ЦОД в США достигнет и вовсе 35 ГВт.

Как сообщает CBRE, средняя запрашиваемая стоимость аренды снизилась на 16,9 % с 2013 по 2021 гг. Но уже в 2023 году этот показатель вырос на 18,6 % на первичных оптовых рынках колокейшн-сервисов, с $137,86 кВт/мес до $163,44 кВт/мес при аренде 250–500 кВт, а годом ранее цены выросли на 14,5 %. По словам представителя CBRE, на рынке ЦОД в прошлом году наблюдался рекордный рост цен.

Спрос на колокейшн-пространства в дата-центрах Европы превышает предложение. В докладе экспертов по недвижимости компании CBRE, говорится, что даже большого количества новых строящихся объектов регионе будет не хватать для полного удовлетворения потребностей клиентов.

В CBRE заявляют, что второй раз за последние пять лет объём аренды в Европе превысил площади введённых в эксплуатацию новых объектов. Согласно данным доклада за IV квартал 2023 года, на 14 крупнейших рынках Европы в 2023 году был освоен 601 МВт, тогда как новых объектов ввели в эксплуатацию за тот же период лишь на 561 МВт.

Как потребление, так и предложение увеличились даже в сравнении с 2022 годом — год к году рост составил для каждого из направлений 10 % и 2 % соответственно. Один из источников дисбаланса — рынки FLAPD (Франкфурт, Лондон, Амстердам, Париж и Дублин), где только в последней четверти прошлого года было освоено 252 МВт, что на 41 % выше в сравнении с предыдущим кварталом (179 МВт). Основной рост пришёлся на Дублин, Лондон и Париж.

Источник изображения: Pedro Lastra/unsplash.com

Как заявляют в CBRE, одним из ключевых факторов роста стала потребность гиперскейлеров во всё больших объектах, оптимизированных под их специфические запросы. Средний размер новых «оптовых» объектов в Европе за последние два года чрезвычайно вырос и спрос будет увеличиваться и дальше. Новые стройки станут вести по всей Европе, в том числе, конечно, в городах кластера FLAPD.

Источник: CBRE

Ранее появилась новость о намерении Global Switch построить новый ЦОД в Лондоне — пятиуровневый объект London South ёмкостью 40 МВт и площадью 27 тыс. м². А в этом месяце Mercury передала Digital Realty в Париже 19-МВт ЦОД PAR9 с 12 залами. В CBRE считают, что спрос в Европе только увеличится из-за роста сегмента ИИ, поскольку многие организации намерены повысить эффективность своих операций с помощью систем ИИ и машинного обучения. Главной проблемой остаётся нехватка электроэнергии и подходящих для внедрения ИИ дата-центров в Европе.

Занимающаяся недвижимостью австралийская компания Goodman Group объявила, что теперь располагает возможностями строительства ЦОД на десятки миллиардов долларов. По данным Datacenter Dynamics, речь идёт о готовности построить дата-центры общей стоимостью $80 млрд в ближайшие 5–7 лет.

Информация появилась в полугодовом отчёте компании, где сказано, что с ноября 2023 года она получила ещё 300 МВт доступной ёмкости и теперь в её активе есть 4 ГВт. Из них 200 МВт приходится на Лос-Анджелес, 1,5 ГВт — на Европу и Великобританию, включая локации в Лондоне, Амстердаме, Франкфурте, Париже и Мадриде. В Азии доступная мощность составляет 1,5 ГВт, а 300 МВт уже освоены в Токио и Гонконге. В Австралии и Новой Зеландии доступны 400 МВт, а ещё 200 МВт освоены в Сиднее, Мельбурне и Окленде.

Источник изображения: Goodman Group

Текущие проекты Goodman сообща стоят $12,9 млрд, 37 % из них приходится на строительство ЦОД, причём 58 % мощностей уже забронированы, а средний срок аренды составляет 14 лет. Руководство Goodman Group уверено, что именно дата-центры станут «ключевой областью роста» для компании. В 2023 году она даже отложила работу над рядом объектов, раздумаывая, не превратить ли их в дата-центры.

В отчёте Goodman подчеркнула, что часть из непосредственно принадлежащих ей площадок обладают потенциалом для превращения в ЦОД, поэтому в теории это поможет изменить структуру финансовых показателей бизнеса в пользу операционной прибыли от деятельности компании — в противоположность прибыли от переоценки активов (не связанной напрямую с основной деятельностью). В компании также подчеркнули, что рост доступной энергетической ёмкости свидетельствует о возможности создавать цифровую инфраструктуру с ЦОД в городах с высоким спросом.

Goodman занимается строительством не только дата-центров, но и бизнес-парков, а также промышленных объектов, складов и др. Операционная прибыль компании выросла год к году на 29 % до $1,127 млрд. Доступная ликвидность составила $3 млрд.

Как передаёт Datacenter Dynamics, департамент планирования Нового Южного Уэльса (NSW Department of Planning) обнародовал намерение построить 43-этажный жилой небоскрёб непосредственно над трёхэтажным зданием старого телекоммуникационного узла Telstra Exchange в Сиднее, который, по словам оператора невозможно ни снести, ни перенести.

Источник изображения: правительство Нового Южного Уэльса

Небоскрёб с 272 жилыми помещениями, предназначенными для сдачи в аренду, 10 квартирами для персонала, а также десятками других помещений оценён в AUD209 млн ($136,5 млн). Новое здание будет построено буквально над узлом связи на специальных опорах, поэтому не потребуется прерывать его работу и нарушать сопутствующую телекоммуникационную инфраструктуру. Telstra является одной из ключевых телеком-компаний Австралии и значимым игроком в Азиатско-Тихоокеанском регионе.

Источник изображения: правительство Нового Южного Уэльса

В документах департамента заявляется, что узел имеет большое значение для сетей Telstra, поэтому его нельзя снести, переместить или использовать в качестве опоры для нового небоскрёба. Более того, нельзя проводить земляные работы в непосредственной близости от узла, а имеющаяся сеть подземных кабелей вносит дополнительные ограничения. В итоге часть небоскрёба будет опираться на колонны по краям здания Telstra. Это сведёт к минимуму вмешательство в окружающую инфраструктуру и позволит телеком-оборудованию работать даже в процессе строительства.

Kraus Group передала оператору ЦОД и облачных сервисов Heidelberg iT Management дата-центр Baufeld 5 площадью около 600 м², расположенный в Гейдельберге (земля Баден-Вюртемберг), передаёт Datacenter Dynamics. Это крупнейшая в Европе структура, напечатанная на 3D-принтере. Среди партнёров проекта — входящая в Peri Group компания Peri 3D, а также архитектурные фирмы Mense-Korte и SSV.

Более того, речь идёт о первом здании промышленного назначения в мире, созданном с помощью 3D-принтера, и первом в мире дата-центре, возведённом с применением подобной технологии. ЦОД ёмкостью 500 кВт вместит около 100 стоек. Финальную отделку и подготовку помещений планируется завершить к концу лета этого года. С оператором уже заключили долгосрочный договор аренды объекта.

Изображение: PERI

Работы начались в 2023 году с использованием строительного принтера BOD2. На печать ушло 450 т специального бетона Heidelberg Materials. Это на 100 % перерабатываемый материал, а в его состав входит вяжущее вещество, которое практически вдвое экологичнее с точки зрения выбросов CO₂ в сравнении обычным портландцементом. Выпуском принтеров BOD2 занимается компания Cobod, принадлежащая General Electric, CEMEX, Holcim и Peri.

3D-печать в индустрии уже рассматривается к применению и другими компаниями. Например, в США EdgeCloudLink (ECL) намерена предлагать независимые от магистральных электросетей модульные ЦОД мощностью 1 МВт, строительство которых тоже будет осуществляться с помощью трёхмерной печати.

Ассоциация AFCOM в очередном докладе о состоянии мировой индустрии ЦОД отмечает, что сейчас наблюдается бум в строительстве и инновационном проектировании ЦОД на фоне растущего рынка ИИ и расширение цифровых сервисов в целом. Но вместе с появлением новых решений появляются и новые вызовы в области энергоснабжения, охлаждения и обеспечения экоустойчивости дата-центров.

Как сообщается в материалах ассоциации, развитие ИИ-систем значительно влияет на рынок ЦОД и сопутствующую инфраструктуру. Изменения продвигаются гиперскейлерами, которые оптимизируют свою инфраструктуру для повышения вычислительной плотности, что необходимо для ИИ-задач. По мнению экспертов, дата-центры для ИИ-нагрузок оптимальнее строить с нуля, а не пытаться модернизировать уже существующие мощности, поскольку современная инфраструктура отличается уникальными требованиями к охлаждению и энергоснабжению.

Согласно опросу AFCOM, 53 % представителя индустрии уверены, что новые ИИ-проекты определённо увеличат требования к ёмкости в колокейшн-сегменте. 56 % респондентов заявили, что планируют внедрять в своих ЦОД решения для поддержки ИИ-нагрузок, причём в основном речь идёт о генеративном ИИ (43 %). Помимо ИИ, рост спроса на вторичных рынках и спроса на высокоёмкие колокейшн-сервисы также стали стимулами к реализации новых проектов ЦОД.

Источник изображения: Ricardo Gomez Angel/unsplash.com

Данные AFCOM косвенно подтверждается прогнозами Gartner на 2024 год — общие IT-расходы вырастут до $5 трлн (+6,8 % год к году), а сегмент ЦОД прибавит сразу 7,5 % и вырастет до $261 млрд. Эксперты уверены, что корпорации будут находить всё больше способов применения IT-технологий, а ЦОД формируют костяк корпоративной IT-инфраструктуры. И спрос почувствуют все, кто занят в строительстве и эксплуатации ЦОД.

Источник изображения: AFCOM

По мнению европейских экспертов, проблемы, связанные с экономическими причинами, цепочками поставок, доступностью земли и энергии, а также местными законами можно будет решить с помощью внедрения инноваций. Все эти вызовы могут стать главными для индустрии ЦОД в 2024 году. Так, 73 % респондентов намерены использовать возобновляемую энергию на своих объектах, а 27 % уже делают это.

Источник изображения: AFCOM

Также ожидается рост доли модульных ЦОД. 42 % респондентов приветствуют гибридный подход к строительству дата-центров, при котором наряду с капитальными строениями используются готовые модульные конструкции. В основном речь идёт и готовых модулях питания (78 %) и охлаждения (72 %). Модульный подход способен сократить время строительства ЦОД на 40–80 % и снизить на ⅔ углеродный выброс.

Источник изображения: AFCOM

При этом ИИ порождает не только проблемы и вызовы. Развитие систем ИИ способствует оптимизации работы самих дата-центров, а также повышению уровня безопасности. Например, ИИ может прогнозировать пиковые нагрузки и автоматически распределять физические и виртуальные ресурсы, а также учитывать доступность источников энергии, что повышает экоустойчивость площадок.

Операторы ЦОД оказались на переднем фронте монументальных изменений — по некоторым оценкам, внедрение ПО на основе больших языковых моделей (LLM) в следующие пять лет станет столь же повсеместным, как и обычных веб-приложений, а новые технологии способны произвести революцию в любом бизнесе.