Спрос на дата-центры в Северной Америке и не думает снижаться. По данным JLL и CBRE, цены на их использование взлетели до рекордных отметок. Datacenter Dynamics сообщает, что рост спроса совокупно с нехваткой энергетической ёмкости привели к дефициту мощностей и росту числа предварительных договоров об аренде. Повышенный спрос эксперты во многом связывают с развитием ИИ и больших языковых моделей (LLM), набирающих популярность и требующих много энергии. В результате растут запросы на энергию и инфраструктуру.

В докладе JLL сообщается, что спрос буквально бьёт все рекорды, и запрос на новые ЦОД распространяется за пределы ключевых рынков в поисках доступной энергии. При этом большая часть вводимых в текущем году мощностей уже забронирована. Недостаток свободных мощностей привёл к тому, что операторы обращаются к «вторичным» рынкам, на которые теперь приходится почти 20 % строящихся кампусов. Самым быстрорастущим рынком в плане строительства стал Солт-Лейк-Сити (Юта), город готов как минимум удвоить ёмкость ЦОД.

Фото: Taylor Vick / Unsplash

В 2023 году объёмы строительства уже достигли рекордных значений, сейчас на первичных рынках строятся ЦОД на 3,01 ГВт, причём 83 % из них уже арендованы. Уровень свободных мощностей в 2023 году оставался рекордно низким — 3,7 %, а в январе 2024 года в Северной Вирджинии этот показатель был и вовсе критическим — 0,2 %. По мере заполнения первичных рынков, внимание переключается на второстепенные. Особенно это актуально для ИИ-проектов, для которых время задержки обычно не играет существенной роли. Осваиваются территории даже в странах Латинской Америки. Предполагается, что в некоторых регионах в ЦОД будет перенаправляться энергия, ранее предназначавшаяся для других задач.

Строительство с нуля — лишь часть новых проектов. Часто расширяются уже существующие объекты, во всяком случае повышается их плотность в мегаваттах на единицу площади. Недостаток земли привёл к необходимости строить многоэтажные ЦОД, а современные технологии позволяют создавать объекты с типовой ёмкостью более 100 МВт. ЦОД стали привлекать внимание инвесторов в качестве объекта альтернативных вложений, растут и требования клиентов к размерам дата-центров, а с ними и запросы на инвестиции и увеличение скорости строительства.

Источник изображения: JLL Research

По информации CBRE, восемь первичных рынков ЦОД США выросли в 2023 году на 26 %. Северная Вирдижиния продолжает оставаться крупнейшим, в том числе в мире. Ёмкость ЦОД на первичном и вторичном рынках превышает 5,3 ГВт. По данным Newmark, к концу десятилетия энергопотребление ЦОД в США достигнет и вовсе 35 ГВт.

Как сообщает CBRE, средняя запрашиваемая стоимость аренды снизилась на 16,9 % с 2013 по 2021 гг. Но уже в 2023 году этот показатель вырос на 18,6 % на первичных оптовых рынках колокейшн-сервисов, с $137,86 кВт/мес до $163,44 кВт/мес при аренде 250–500 кВт, а годом ранее цены выросли на 14,5 %. По словам представителя CBRE, на рынке ЦОД в прошлом году наблюдался рекордный рост цен.

Hewlett Packard Enterprise (HPE) сообщила результаты I квартала 2024 финансового года, завершившегося 31 января 2024 года. Выручка компании составила $6,75 млрд, что ниже результата аналогичного квартала предыдущего года на 14 % и на 8 % меньше показателя предыдущих трёх месяцев. Выручка оказалась ниже консенсус-прогноза Zacks Investment Research в $7,06 млрд и собственного прогноза в диапазоне $6,9–7,3 млрд. Вместе с тем величина ARR (годовой регулярный доход) выросла год к году на 41 % до $1,4 млрд, что является вторым по величине показателем роста за период с 2019 года.

Несмотря на глобальный спрос на вычислительные мощности для поддержки рабочих нагрузок ИИ, в сегменте Server, объединившем сегменты Compute и HPC & AI, наблюдалось наибольшее снижение продаж — на 23 % год к году и на 7 % последовательно до $3,35 млрд. Антонио Нери (Antonio Neri), гендиректор и президент HPE сообщил, что у компании «не было необходимого объёма поставок GPU, что ограничивало потенциал роста доходов». Он добавил, что на сроки «также влияет увеличение времени, которое требуется клиентам для настройки пространства в ЦОД, а также обеспечения требований к электропитанию и охлаждению, необходимых для работы этих систем».

У HPE сейчас задолженность по выполнению заключённых контрактов на $3 млрд. И даже если у компании будет достаточное количество ускорителей вычислений, клиенты не будут готовы к их использованию. В свою очередь, финансовый директор Мари Майерс (Marie Myers) сообщила, что HPE предпринимает «срочные меры для устранения этих препятствий», добавив, что «поставки GPU, хотя и ограничены, но улучшаются».

В I квартале выручка сегмента гибридного облака HPE, включающего СХД и часть серверного бизнеса, на который также приходится HPE GreenLake, упала на 10 % до $1,2 млрд, в то время как выручка Intelligent Edge, отвечающего в том числе за продажи IoT-продукции и сетевой бизнес Aruba, выросла на 3 % год к году до $1,2 млрд, хотя последовательно снизилась на 15 %. Снижение произошло из-за насыщения товарных запасов клиентов за счёт покупок в прошлом году, отмечает компания. Выручка от финансовых сервисов составила $873 млн, оставшись на прошлогоднем уровне. Доходы от корпоративных инвестиций и других поступлений составили $238 млн, что на 9,5 % меньше, чем в прошлом году.

Прибыль на акцию (GAAP) за квартал равняется $0,29, что на 24 % меньше прошлогоднего показателя и на 41 % меньше, чем в предыдущем квартале. Скорректированная прибыль на акцию (Non-GAAP) упала год к году на 24 % до $0,48, что на 8 % меньше показателя предыдущего квартала, но больше консенсус-прогноза Zacks на 6,3 %.

По словам Нери, на сетевом рынке наблюдается спад спроса на комплекты для кампусов — клиентам «требуется больше времени, чтобы обработать предыдущие заказы, чем мы ожидали». Нери отметил, что снижение спроса на сетевом рынке сохранится и в дальнейшем, что скажется на итогах года. Вместе с тем он выразил мнение, что растущий спрос на рабочие нагрузки, связанные с инференсом, создаст спрос на новые сети: «Это одна из причин, почему мы так рады предстоящему приобретению Juniper Networks <…> эта сделка удвоит размер нашего сетевого бизнеса». Нери считает, что сделка позволит HPE закрепиться на рынке объёмом до $180 млрд.

В текущем квартале 2024 финансового года HPE ожидает получить выручку в пределах от 6,6 до 7 млрд, разводнённую чистую прибыль на акцию (EPS) по GAAP и Non-GAAP в диапазоне $0,20–0,25 и $0,36–0,41 соответственно. HPE также пересмотрела прогноз на весь 2024 финансовый год. Так, выручка должна вырасти на 0–2 % по сравнению с предыдущим прогнозом роста на 2–4%. Скорректированная прибыль на акцию (Non-GAAP) должна составить $1,82–1,92 (предыдущий прогноз — $1,82–2,02). Также был снижен прогноз прибыли на акцию (GAAP) до $1,81–1,91 с $1,81–2,01.

Сроки поставок ускорителей NVIDIA H100 значительно сократилось, с 8–11 мес. до всего 3-4. По данным Tom’s Hardware, в результате многие компании, ранее сделавшие огромные запасы, пытаются продать излишки. Кроме того, стало намного легче арендовать ускорители в облаках Amazon, Google и Microsoft. Впрочем, разработчики ИИ-моделей до сих пор испытывают проблемы с доступом к ресурсам ускорителей, поскольку спрос превышает предложение.

Как сообщают СМИ, некоторые компании пытаются перепродать доставшиеся им H100, а другие стали заказывать меньше в связи с высокой стоимостью обслуживания складских запасов и окончанием паники на рынке. В прошлом году приобрести подобные ускорители было чрезвычайно сложно. Отчасти улучшение ситуации на рынке связано с тем, что провайдеры облачных сервисов вроде Amazon (AWS) и других крупных игроков упростили аренду H100.

Источник изображения: NVIDIA

Несмотря на то, что доступ к H100 упростился, желающим обучать LLM добраться до ресурсов по-прежнему непросто, во многом потому, что им требуются ускорители в невероятных количествах, в некоторых случаях речь идёт о сотнях тысяч экземпляров, поэтому цены на них до сих пор не упали, а NVIDIA продолжает получать сверхприбыли.

При этом рост доступности привёл к тому, что компании всё чаще пытаются сэкономить, ведут себя более избирательно при выборе предложений продажи или аренды, стараются приобрести более мелкие кластеры и внимательнее оценивают их экономическую целесообразность для бизнеса. Кроме того, альтернативные решения становятся все более распространёнными и всё лучше поддерживаются ПО. Это ведёт к формированию сбалансированной ситуации на рынке.

Так или иначе, спрос на ИИ-чипы по-прежнему высок, а с учётом того, что LLM становятся всё масштабнее, требуется больше вычислительных мощностей. Поэтому крупные игроки, которые зависят от поставок решений NVIDIA, занялись созданием собственных ускорителей. Среди них Microsoft, Meta✴ и OpenAI.

Спрос на колокейшн-пространства в дата-центрах Европы превышает предложение. В докладе экспертов по недвижимости компании CBRE, говорится, что даже большого количества новых строящихся объектов регионе будет не хватать для полного удовлетворения потребностей клиентов.

В CBRE заявляют, что второй раз за последние пять лет объём аренды в Европе превысил площади введённых в эксплуатацию новых объектов. Согласно данным доклада за IV квартал 2023 года, на 14 крупнейших рынках Европы в 2023 году был освоен 601 МВт, тогда как новых объектов ввели в эксплуатацию за тот же период лишь на 561 МВт.

Как потребление, так и предложение увеличились даже в сравнении с 2022 годом — год к году рост составил для каждого из направлений 10 % и 2 % соответственно. Один из источников дисбаланса — рынки FLAPD (Франкфурт, Лондон, Амстердам, Париж и Дублин), где только в последней четверти прошлого года было освоено 252 МВт, что на 41 % выше в сравнении с предыдущим кварталом (179 МВт). Основной рост пришёлся на Дублин, Лондон и Париж.

Источник изображения: Pedro Lastra/unsplash.com

Как заявляют в CBRE, одним из ключевых факторов роста стала потребность гиперскейлеров во всё больших объектах, оптимизированных под их специфические запросы. Средний размер новых «оптовых» объектов в Европе за последние два года чрезвычайно вырос и спрос будет увеличиваться и дальше. Новые стройки станут вести по всей Европе, в том числе, конечно, в городах кластера FLAPD.

Источник: CBRE

Ранее появилась новость о намерении Global Switch построить новый ЦОД в Лондоне — пятиуровневый объект London South ёмкостью 40 МВт и площадью 27 тыс. м². А в этом месяце Mercury передала Digital Realty в Париже 19-МВт ЦОД PAR9 с 12 залами. В CBRE считают, что спрос в Европе только увеличится из-за роста сегмента ИИ, поскольку многие организации намерены повысить эффективность своих операций с помощью систем ИИ и машинного обучения. Главной проблемой остаётся нехватка электроэнергии и подходящих для внедрения ИИ дата-центров в Европе.

Компания NVIDIA, по сообщению ресурса Seeking Alpha, прогнозирует высокий спрос на ИИ-ускорители следующего поколения Blackwell. Поэтому сразу после выхода на рынок эти изделия окажутся в дефиците, и их поставки будут ограничены. «На все новые продукты спрос превышает предложение — такова их природа. Но мы работаем так быстро, как только можем, чтобы удовлетворить потребности заказчиков», — говорит глава NVIDIA Дженсен Хуанг (Jensen Huang).

Из-за стремительного развития генеративного ИИ на рынке сформировалась нехватка нынешних ускорителей NVIDIA H100 поколения Hopper. Срок выполнения заказов на серверы с этими изделиями достигает 52 недель. Аналогичная ситуация, вероятно, сложится и с ускорителями Blackwell, анонс которых ожидается в течение нынешнего года. «Полагаем, что отгрузки наших продуктов следующего поколения будут ограниченными, поскольку спрос намного превышает предложение», — сказала Колетт Кресс (Colette Kress), финансовый директор NVIDIA.

Главный вопрос заключается в том, насколько быстро NVIDIA сможет организовать массовое производство Blackwell B100, а также серверов DGX на их основе. Дело в том, что это совершенно новые продукты, в которых используются другие компоненты. По имеющейся информации, Blackwell станет первой архитектурой NVIDIA, предусматривающей чиплетную компоновку. Это может упростить производство ускорителей на уровне кремния, но в то же время усложнит процесс упаковки.

Источник изображения: NVIDIA

В дополнение к флагманскому чипу B100 для ИИ и HPC-задач компания готовит решение B40 для корпоративных заказчиков, гибридный ускоритель GB200, сочетающий ускоритель B100 и Arm-процессор Grace, а также GB200 NVL для обработки больших языковых моделей.

По итогам 2023 года объём российского рынка услуг ЦОД достиг 42,8 млрд руб. Это на 21,2 % больше по сравнению с предыдущим годом, о чём, как сообщает газета «Коммерсантъ», говорится в совместном исследовании 3data и IKS-Consulting, посвящённом сегменту colocation.

Авторы отчёта оценивают ежеквартальное изменение цен на базовую услугу колокации, а также уровень покупательского спроса и предложения на инфраструктуру коммерческих ЦОД (3data colocation index). Под базовой услугой понимается выделение места в дата-центре для размещения стандартной серверной стойки с подведённым электропитанием мощностью до 5 кВт и предоставление в пользование 42U-пространства.

В IV квартале 2023-го в Москве средняя цена на colocation-услуги составила 107,4 тыс. руб., что на 2 % больше в годовом исчислении. В Санкт-Петербурге этот показатель за год увеличился на 13 %, достигнув 84,1 тыс. руб. Столь значительная разница в темпах роста стоимости объясняется тем, что в Москве в 2023 году были запущены два крупных ЦОД, а количество введённых в эксплуатацию серверных стоек составило около 9 тыс. против только 400 в Санкт-Петербурге.

Источник изображения: 3data

В целом, как отмечается, в России спрос на услуги ЦОД превышает предложение. В связи со сложившейся геополитической обстановкой отечественные компании активно переносят свои рабочие нагрузки в дата-центры на территории РФ. При этом строительство новых ЦОД осложнено из-за нехватки зарубежного оборудования.

В компании «Ростелеком-ЦОД», добавляет «Коммерсантъ», полагают, что спрос на colocation-услуги в 2024 году будет по-прежнему опережать предложение. В Oxygen считают, что даже в случае активного ввода новых мощностей в эксплуатацию стоимость колокации в России будет расти на 5–7 % в год.

Microsoft приобрела социальную сеть LinkedIn ещё в 2016 году. В 2019 году Microsoft объявила и планах перенести всю инфраструктуру LinkedIn в облако Azure, избавившись от принадлежих соцсети ЦОД. Однако, как сообщает Datacenter Dynamics, процесс миграции долгое время откладывался, а сейчас с ним и вовсе было решено повременить. Соответствующий проект под кодовым названием Blueshift поставлен на паузу, хотя никто не говорит о его полной отмене.

Как выяснилось, ещё летом прошлого года технический директор LinkedIn уведомил сотрудников о том, что хотя компания продолжит использовать некоторые сервисы Azure, она сфокусируется на масштабировании и модернизации собственной инфраструктуры. В числе причин, препятствующих переходу в облако Microsoft, он назвал огромный спрос на сервисы Azure и рост собственной платформы — в результате было решено приостановить миграцию для того, чтобы перераспределить ресурсы облака в пользу внешних клиентов.

Источник изображения: Microsoft

Впрочем, эксперты считают, что это не единственные и, возможно, не главные причины пересмотра планов. Социальная сеть строит новый ЦОД и работает с уже существующими. В ноябре количество аккаунтов перевалило за 1 млрд, так что LinkedIn вынуждена взвешенно подходить к вопроса развития инфраструктуры. Хотя компания начала пользоваться некоторыми сервисами Azure, включая CDN FrontDoor, к середине 2022 года наметились проблемы с полным переходом в облако Microsoft.

В частности, LinkedIn намеревалась после миграции использовать собственные программные инструменты вместо тех, которые доступны в Azure. До того, как социальную сеть купила Microsoft, LinkedIn активно инвестировала в собственную инфраструктуру ЦОД и вкладывалась в технологические инновации. В частности, компания развивала конкурирующий с OCP набор стандартов Open19 и разрабатывала собственное аппаратное обеспечение.

Теперь в LinkedIn заявили, что продолжат инвестировать в собственные дата-центры, используя Azure для поддержки ряда систем, в том числе сугубо внутренних. В компании подчеркнули, что облако Azure остаётся критически важным для работы LinkedIn. В ближайшее время соцсеть намерена продолжить консолидацию ЦОД, расположенных в разных регионах. Примечательно, что сама Microsoft неоднократно заявляла о практически полном переезде всех своих внутренних систем в Azure.

Dell Technologies объявила результаты III квартала 2024 финансового года, завершившегося 3 ноября 2023 года. Выручка компании составила $22,25 млрд, что на 10 % меньше по сравнению с аналогичным периодом предыдущего финансового года и ниже прогнозов аналитиков LSEG, ожидавших $23 млрд.

Операционная прибыль компании составила $1,5 млрд (GAAP) и $2 млрд (non-GAAP), что на 16 и 17 % меньше год к году соответственно. Разводнённая прибыль на акцию (GAAP) составила $1,36 или $1,88 на акцию (non-GAAP). Денежный поток от операционной деятельности за III квартал составил $2,2 млрд, что обусловлено прибыльностью и высокими показателями оборотного капитала. За последние 12 месяцев компания получила денежный поток от операционной деятельности в размере $9,9 млрд.

Источник: Dell

Выручка инфраструктурного подразделения ISG (Infrastructure Solutions Group) в III квартале составила $8,5 млрд, не изменившись по сравнению с предыдущим кварталом и снизившись на 12 % по сравнению с аналогичным кварталом предыдущего финансового года. Выручка от реализации СХД составила $3,84 млрд, снизившись на 13 % год к году и на 8 % последовательно. У подразделения CSG (Client Solutions Group), занимающегося клиентским оборудованием, выручка сократилась на 11 % до $12,3 млрд.

Выручка от продажи серверов и сетевого оборудования упала год к году на 10 % до $4,66 млрд, увеличившись вместе с тем по сравнению с предыдущим кварталом на 9 % благодаря продажам ИИ-серверов, которые принесли компании более $500 млн. Dell завершила квартал с оставшимися обязательствами по исполнению контрактов в размере $39 млрд. Немалая часть из них приходится на ИИ-серверы с ускорителями NVIDIA, дефицит которых привёл к тому, что заказчики Dell вынуждены ждать поставок до 39 недель — большая часть ускорителей отгружается гиперскейлерам.

Источник: Dell

«Мы поставили серверов, оптимизированных для ИИ, на сумму более $0,5 млрд, включая наши XE9680, XE9640, XE8640 и серверы R750 и R760xa. Спрос на эти ИИ-серверы последовательно почти удвоился, и спрос по-прежнему значительно превышает предложение <…> XE9680 — самое быстрорастущее решение в истории Dell», — отметил зампредседателя и главный операционный директор Джефф Кларк (Jeff Clarke). Компания уже подготовила цепочку поставок, чтобы в ближайшее время постараться утроить отгрузки ИИ-серверов.

Компания повысила прогноз по прибыли на акцию за год до $6,63±0,10 по сравнению с предыдущим прогнозом в $6,30±0,20 на акцию. Ожидаемая выручка за 2024 финансовый год равна $88,1 млрд, что на 14 % ниже выручки годом ранее. В текущем квартале компания ожидает получить выручку в размере $22 млрд±0,5 млрд, что в среднем значении на 12 % меньше показателя предыдущего года.

В III квартале 2024 фискального года, завершившегося в октябре 2023-го, компания NVIDIA заработала впечатляющие $14,5 млрд на решениях для дата-центров. Как сообщает Tom’s Hardware, значительная часть выручки приходится на передовые ускорители H100 для ИИ и HPC-систем.

Данные опубликовала компания Omdia, отслеживающая активность на рынке IT-решений. Согласно её анализу, крупнейшими покупателями ускорителей H100 стали гиперскейлеры вроде Meta✴ и Microsoft, значительно обогнавших по объёмам закупок Google, Amazon, Oracle и Tencent. Если Microsoft и Meta✴ приобрели по 150 тыс. ускорителей, то их «коллеги» по IT-рынку — по 50 тыс. При этом гиперскейлерам отдаётся очевидный приоритет при выполнении заказов.

В Omdia пришли к выводу, что до конца года будет поставлено почти 650 тыс. H100. В то же время срок выполнения новых заказов на серверы на базе ускорителей компании вырос с 36 до 52 недель. Так, Dell, HPE и Lenovo не могут полностью удовлетворить свои потребности в ускорителях для своих серверов в кратчайшие сроки. В итоге год к году поставки серверов в количественном выражении рухнут на 17–20 %, однако общая выручка поднимется на 6–8 %.

Источник изображения: Omdia

В 2027 году рынок серверов должен вырасти до $195,6 млрд, причём основное предпочтение будет отдаваться специализированным вариантам под конкретные задачи, оснащённым специальными сопроцессорами. Запрос на серверы с кастомными конфигурациями становится новой нормой по мере того, как заказчики осознали экономическую эффективность применения сопроцессоров и ускорителей. Пионерами в этой сфере стали компании, связанные с ИИ и медиаконтентом, но привлекательность таких решений, как ожидается, в ближайшем будущем будет оценена и в других секторах.

По мере того, как генеративный ИИ становится всё популярнее, растёт и дефицит вычислительных ресурсов, что создаёт значимые барьеры для новичков, желающих заняться бизнесом в этой сфере. Как сообщает DigiTimes, проблему, возможно, помогут решить облачные игровые сервисы, располагающие огромным числом высокопроизводительных ускорителей, которые можно использовать для ИИ-проектов.

Например, тайваньское подразделение японского сервис-провайдера Ubitus располагает десятками тысяч ускорителей — столько имеют немногие бизнесы в IT-отрасли. По мнению некоторых экспертов, облачные игровые сервисы скоро могут принять участие в разработках, связанных с генеративным ИИ. По классификации SemiAnalysis IT-компании делились на две группы: «богатые» ускорителями и «бедные». В первую группу входят немногочисленные компании, владеющие более 20 тыс. ускорителей A100 или H100, например, Google, Anthropic, X, Meta✴, Inflection и OpenAI, причём у некоторых есть и более 100 тыс. ускорителей.

Изображение: NVIDIA

В первой половине ноября 2023 года Ubitus объявила о сотрудничестве с Национальным университетом Тайваня в области ИИ-вычислений — компания, возможно, является крупнейшим на острове оператором ускорителей, изначально предназначенных для облачных игровых проектов. Фактически излишки ресурсов уже направляются на работу с большими языковыми моделями (LLM), в частности, на китайском языке. По некоторым данным, IT-гиганты вроде Google уже предлагали компании рассмотреть возможность участия в развитии ИИ-отрасли на Тайване.

При этом тайваньские эксперты подчёркивают, что для облачных игр обычно применяют флагманские GPU серии RTX — они гораздо менее производительны в ИИ-задачах, но и на порядок дешевле специализированных ускорителей. Впрочем, в Ubitus утверждают, что преимущественно используют ускорители именно такого типа, включая H100, A100 и L40S в PCIe-исполнении.