Американская инвесткомпания Blackstone считает сделку по покупке в 2021 году оператор ЦОД QTS Realty Trust одной из лучших инвестиций за всю свою историю, но для роста этого бизнеса потребуются громадные ресурсы. Сейчас Blackstone финансирует развитие огромной инфраструктуры QTS, пишет Bloomberg.

При этом Blackstone придерживается своей классической стратегии в сфере недвижимости, крупнейшей части её империи стоимостью $1 трлн. Фирма определяет, на каких рынках нарастает дефицит недвижимости, и направляет миллиарды долларов на строительство объектов для сдачи в аренду. Эту модель она применяет на всех направлениях, от складов до загородных домов. В данном случае наблюдается дефицит в объектах для поддержания цифровой трансформации. Причём после заключения сделки спрос на вычислительные мощности резко вырос и подогревается ажиотажем на рынке ИИ.

Изображение: QTS

QTS уже владеет недвижимостью стоимостью $15 млрд, тогда как на момент её приобретения у неё были объекты всего на $1 млрд. По данным аналитиков DatacenterHawk, она уже стала крупнейшим в Северной Америке поставщиком мощностей ЦОД (в МВт по контрактам), тогда как всего три года назад занимала 4-е место. Стоимость активов компании с момента её приобретения выросла до $25 млрд, а численность персонала — до 1000 человек.

Конечно, при развитии сети ЦОД компания сталкивается с проблемами, такими как дефицит электроэнергии и воды. На фоне роста популярности ИИ гиперскейлеры операторы ЦОД довели ежемесячную арендную ставку до $100/кВт, хотя три года назад в некоторых регионах она составляла $70–80/кВт. По словам брокеров, на ключевых рынках ставка может доходить и до $150/кВт. QTS же рассчитывает довести общую ёмкость своих объектов до 6 ГВт.

Интересы Blackstone и QTS охватывают не только рынок США, но и другие регионы, включая Европу, где они готовы приобретать конкурентов, чтобы расширить своё присутствие. В декабре 2023 года Blackstone объединила усилия с Digital Realty Trust Inc., чтобы построить кампусы ЦОД стоимостью $7 млрд во Франкфурте, Париже и Северной Вирджинии (США).

Потребление электроэнергии дата-центрами в США должно достигнуть 35 ГВт уже к концу текущего десятилетия — почти вдвое выше в сравнении с показателями 2022 года. Как сообщается в докладе экспертов компании Newmark, специализирующейся на коммерческой недвижимости, драйвером роста энергопотребления должен стать повышенный спрос на ИИ и системы машинного обучения.

Дополнительно в докладе упоминается о дефиците свободного места в ЦОД Северной Америки, на ключевых рынках доступно буквально по несколько процентов мощностей. Более того, ситуация только усугубится благодаря облачным ИИ-сервисам гиперскейлеров — именно они несут ответственность за то, что в ближайшие годы взлетят потребности ЦОД в электроэнергии. Ещё летом компания CBRE сообщала, что нехватка электроэнергии становится главным препятствием к развитию рынка ЦОД.

Источник изображения: Renan Kamikoga/unsplash.com

Хотя гиперскейлерам в современных дата-центрах требуется «всего» 10–14 кВт на стойку, для ИИ-платформ этот показатель вырастет до 40–60 кВт из-за применения ресурсоёмких ускорителей. Это означает, что среднее потребление мощности ЦОД в США, вероятно, уже к 2030 году достигнет 35 ГВт, тогда как 2022 году оно было на уровне лишь 17 ГВт. В докладе подчёркивается, что внедрение ИИ-систем требует не только больше электроэнергии, но и более мощных систем охлаждения, которых в современной инфраструктуре ЦОД просто нет, что и служит катализатором роста рынка.

Источник изображения: Newmark

Существующие рынки с трудом справляются со спросом. На крупнейшем в мире рынке Северной Вирджинии ёмкостью 3400 МВт (впрочем, тут данные разнятся), где компактно размещены множество дата-центров, доступность мощностей составляет всего 0,2 % — при этом жители региона уже сегодня выступают категорически против новых проектов. Прочие популярные среди клиентов территории также сталкиваются с аналогичными вызовами. В мае уже сообщалось, что в североамериканских ЦОД буквально заканчиваются места. Впрочем, строительство ведётся всё активнее каждый год.

Источник изображения: Newmark

Имеются и другие проблемы. По данным Newmark, количество сделок на рынке резко снизилось — отчасти из-за роста процентных ставок, а также из-за крупных слияний и поглощений последних лет, что привело к сокращению возможностей масштабирования активов. И, конечно, играет важную роль расхождение взглядов покупателей и продавцов на оценку дата-центров, по мнению последних она значительно превышает затраты на строительство.

Гиперскейлеры ради снижения совокупной стоимости владения (TCO) и зависимости от сторонних вендоров готовы вкладываться в разработку уникальных чипов, изначально оптимизированных под их нужды и инфраструктуру. К небольшому кругу компаний, решившихся на такой шаг, присоединилась Microsoft, анонсировавшая Arm-процессор Azure Cobalt 100 и ИИ-ускоритель Azure Maia 100.

Изображения: Microsoft

Первопроходцем в этой области стала AWS, которая разве что память своими силами не разрабатывает. У AWS уже есть три с половиной поколения Arm-процессоров Graviton и сразу два вида ИИ-ускорителей: Trainium для обучения и Inferentia2 для инференса. Крупный китайский провайдер Alibaba Cloud также разработал и внедрил Arm-процессоры Yitian и ускорители Hanguang. Что интересно, в обоих случаях процессоры оказывались во многих аспектах наиболее передовыми. Наконец, у Google есть уже пятое поколение ИИ-ускорителей TPU.

Microsoft заявила, что оба новых чипа уже производятся на мощностях TSMC с использованием «последнего техпроцесса» и займут свои места в ЦОД Microsoft в начале следующего года. Как минимум, в случае с Maia 100 речь идёт о 5-нм техпроцессе, вероятно, 4N. В настоящее время Microsoft Azure находится в начальной стадии развёртывания инфраструктуры на базе новых чипов, которая будет использоваться для Microsoft Copilot, Azure OpenAI и других сервисов. Например, Bing до сих пор во много полагается на FPGA, а вся ИИ-инфраструктура Microsoft крайне сложна.

Microsoft приводит очень мало технических данных о своих новинках, но известно, что Azure Cobalt 100 имеет 128 ядер Armv9 Neoverse N2 (Perseus) и основан на платформе Arm Neoverse Compute Subsystem (CSS). По словам компании, процессоры Cobalt 100 до +40 % производительнее имеющихся в инфраструктуре Azure Arm-чипов, они используются для обеспечения работы служб Microsoft Teams и Azure SQL. Oracle, вложившаяся в своё время в Ampere Comptuing, уже перевела все свои облачные сервисы на Arm.

Чип Maia 100 (Athena) изначально спроектирован под задачи облачного обучения ИИ и инференса в сценариях с использованием моделей OpenAI, Bing, GitHub Copilot и ChatGPT в инфраструктуре Azure. Чип содержит 105 млрд транзисторов, что больше, нежели у NVIDIA H100 (80 млрд) и ставит Maia 100 на один уровень с Ponte Vecchio (~100 млрд). Для Maia организован кастомный интерконнект на базе Ethernet — каждый ускоритель располагает 4,8-Тбит/с каналом для связи с другими ускорителями, что должно обеспечить максимально эффективное масштабирование.

Сами Maia 100 используют СЖО с теплообменниками прямого контакта. Поскольку нынешние ЦОД Microsoft проектировались без учёта использования мощных СЖО, стойку пришлось сделать более широкой, дабы разместить рядом с сотней плат с чипами Maia 100 серверами и большой радиатор. Этот дизайн компания создавала вместе с Meta✴, которая испытывает аналогичные проблемы с текущими ЦОД. Такие стойки в настоящее время проходят термические испытания в лаборатории Microsoft в Редмонде, штат Вашингтон.

В дополнение к Cobalt и Maia анонсирована широкая доступность услуги Azure Boost на базе DPU MANA, берущего на себя управление всеми функциями виртуализации на манер AWS Nitro, хотя и не целиком — часть ядер хоста всё равно используется для обслуживания гипервизора. DPU предлагает 200GbE-подключение и доступ к удалённому хранилищу на скорости до 12,5 Гбайт/с и до 650 тыс. IOPS.

Microsoft не собирается останавливаться на достигнутом: вводя в строй инфраструктуру на базе новых чипов Cobalt и Maia первого поколения, компания уже ведёт активную разработку чипов второго поколения. Впрочем, совсем отказываться от партнёрства с другими вендорами Microsoft не намерена. Компания анонсировала первые инстансы с ускорителями AMD Instinct MI300X, а в следующем году появятся инстансы с NVIDIA H200.

Synergy Research Group прогнозирует, что средняя ёмкость дата-центров гиперскейл-уровня в следующие 6 лет может вырасти почти втрое. Как сообщает пресс-служба компании, хотя критические нагрузки гиперскейлеров давно растут, развитие ИИ-технологий обеспечило отрасли дополнительный импульс и скоро потребуются значительно более производительные ЦОД.

По мере того как растёт средняя нагрузка на отдельные ЦОД, число эксплуатируемых дата-центров тоже будет увеличиваться, а уже существующие объекты подвергнут модернизации. В результате общая ёмкость вырастет приблизительно в 3 раза.

Исследование Synergy основано на оценке площадей ЦОД и деятельности 19 крупнейших компаний, предоставляющих облачные или интернет-сервисы. При этом компании должны соответствовать критериям Synergy, чтобы быть признанными операторами-гиперскейлерами, представляющими SaaS, IaaS или PaaS, поисковые службы, социальные сети, площадки для игр и электронной коммерции.

Источник изображения: Microsoft

По данным на середину 2023 года эти компании управляли 926 ЦОД по всему миру. Известно о планах строительства ещё 427 объектов, на чём и основаны прогнозы компании. Специфика в отдельных регионах может отличаться, но в целом общее количество ЦОД за последние пять лет удвоилось. При этом влияние сферы ИИ заключается в первую очередь не в том, что число дата-центров растёт и будет расти примерно на сто в год, а в росте энергопотребления этих объектов.

Источник изображения: Synergy Research Group

По мере того как число ускорителей в ЦОД гиперскейлеров продолжает расти в связи с развитием ИИ-систем, плотность мощности задействованных стоек тоже должна вырасти, что в перспективе должно привести гиперскейлеров к пересмотру архитектуры ЦОД и планов их ввода в эксплуатацию.

Еврокомиссия провела опрос с участием компаний, бизнес-ассоциаций, НКО, исследовательских институтов, граждан и даже структур и лиц за пределами Евросоюза. Как сообщает The Register, идея заставить IT-гигантов платить за использование сетей связи не особенно интересна опрошенным, но за некоторыми важными исключениями.

Тема стала предметом дискуссий после того, как соответствующие правила ввели в Южной Корее. Европейские операторы связи лоббируют такие же платежи под предлогом того, что строительством и обслуживанием сетей занимаются сами операторы, а основную прибыль от них получают совсем другие компании — например, Google и Netflix, поставляющие контент. Вместе с тем гиперскейлеры активно строят собственные трансокеанские и трансконтинентальные сети связи, вытесняя таким образом крупных магистральных провайдеров.

Источник изображения: Oliver Cole/unsplash.com

В целом, операторы жалуются на то, что гиперскейлеры зарабатывают намного больше самих операторов, хотя никогда не смогли бы добиться таких успехов, если бы не развитая инфраструктура широкополосных сетей связи. Поэтому операторы считают, что IT-гиганты должны отчислять средства на строительство и обслуживание растущих сетей.

Результаты опроса отражают мнение большинства опрошенных, но какой будет реальная политика Евросоюза в этом вопросе, остаётся только догадываться. Подчёркивается, что идею заставить платить поставщиков контента поддерживают преимущественно телеком-операторы, в то время как большинство других опрошенных считает, что такие идеи не будут работать и даже помешают инновациям. По мнению некоторых экспертов, подобные попытки являются попыткой в том или ином виде добиться субсидирования сетей связи и увеличения прибылей. Эксперты призывают найти другие способы ускорить построение сетевой инфраструктуры.

Фото: Lars Kienle / Unsplash

В документе резюмируется, что респонденты в целом уверены в том, что государственное финансирование будет способствовать и росту инвестиций вообще. Также опрошенные поддерживают объединение имеющейся инфраструктуры в единую базовую сеть 5G, что в следующие пять лет может принести €200–300 млн. Кроме того, опрошенные поддерживают «более гармоничное» управление спектром, что позволит «разблокировать рыночный потенциал» и легче внедрять трансграничные сервисы, а также стимулировать инвестиции и инновации.

Опрос позволяет сделать и другие выводы. Например, респонденты сходятся в том, что сетевая виртуализация, пограничные облачные сервисы, ИИ и открытые сети окажут важное влияние на сектор электронных коммуникаций. Эти технологии будут востребованы в основанных на программных и облачных решениях сетях, работающих с гигабитными, а со временем и петабитными скоростями. Немаловажно, что в документе рассматривается необходимость замены «вендоров с высоким уровнем риска» — другими словами, китайских Huawei и ZTE.

Инвестирующая в недвижимость и управляющая соответствующими активами американская Pimco, имеющая немало активов в Европе, основала компанию Apto для работы на европейском рынке. Как сообщает DataCenter Dynamics, новый бизнес займётся строительством и управлением ЦОД гиперскейл-класса, а также будет управлять уже имеющимися дата-центрами Pimco.

Главой Apto выбран Рассел Пул (Russell Poole), ранее возглавлявший британское подразделении Equinix и пришедший туда ещё в 2007 году. По его словам, ключевой миссией Apto является быстрый и беспрепятственный выход на рынки, которые будут формировать будущий спрос в Европе. Опыт и компетенции Pimco в области недвижимости, а также доступ к капиталам позволят сотрудничать с ведущими мировыми гиперскейлерами, намеренными возглавить новую волну цифровизации европейской экономики.

Источник изображения: Pimco

Кроме того, к Apto уже присоединились бывшие специалисты и топ-менеджеры Digital Realty и Interxion, AWS и Equinix. Apto намерена обеспечить гиперскейлерам необходимые мощности и обещает строить их в наиболее востребованных такими провайдерами местах. Apto заявляет, что имеет проверенные планы проектирования, позволяющие избежать препятствий при получении одобрения регуляторов и быстро реализовать проекты, сохраняя высокий уровень их качества.

Проект Open19 объявил о проведении ребрендинга и трансформации в структуру Sustainable and Scalable Infrastructure Alliance (SSIA). В рамках реорганизации председатель правления Open19 Закари Смит (Zachary Smith) уйдёт с занимаемой должности.

Инициатива Open19 была анонсирована в 2016 году социальной сетью LinkedIn (заблокирована на территории РФ за нарушение правил хранения персональных данных российских пользователей). Проект нацелен на снижение стоимости владения оборудованием и оптимизацию энергозатрат. Вместе с тем он не настолько широко распространён как OCP (Open Compute Project).

Источник изображения: SSIA

В официальном заявлении говорится, что инициатива Open19 ориентирована на создание открытого стандарта, подходящего под любой 19″ серверный шкаф. В 2021 году организация Open19 присоединилась к Linux Foundation, крупнейшей в мире экосистеме open source. На фоне развития проекта Open19 использование нового бренда и формирование альянса SSIA, как ожидается, поможет ускорить внедрение инноваций в дата-центрах и на периферии.

Говорится, что после трансформации господин Смит продолжит активно участвовать в деятельности SSIA. Вместе с тем в должность председателя правления альянса вступит технический директор Equnix Май Труонг (My Truong). Он помогает в развитии спецификации Open19 V2, которая включает в себя стандарт жидкостного охлаждения, собственное решение питания на 48 В и другие технологии.

Компания ChinData, которая скоро перейдёт в полную собственность Bain Capital, представила набор полнофункциональных модульных продуктов для крупных дата-центров. По данным DataCenter Dynamics, он включает всевозможные элементы, от интегрированных систем энергоснабжения до готовых зданий.

Новые продукты представлены в ходе мероприятия Data Center New Technology Development Forum на конференции 2023 China Computing Conference в Китае. В компании подчёркивают, что продукты предназначены для удовлетворения спроса крупных строителей ЦОД в новую эпоху генеративного ИИ (AIGC).

Значительная часть применяемых технологий поставляется партнёрами. Так, в прошлом году ChinData представила «первую в мире безводную систему охлаждения», которая на поверку оказалось решением Vertiv Liebert DSE для фрикулинга. В этом году речь зашла о безмасляных компрессорах на магнитной подушке, которые, похоже, тоже уходят корнями к Vertiv. В случае с ChinData речь идёт о двухфазной системе охлаждения X-Cooling Maglev на таких компрессорах. Также применяются и другие технологии охлаждения, за управление которыми отвечает специальный ИИ.

Источник изображения: ChinData

Модульная система X-PrePower 3.0 включает блоки питания и распределения энергии с эффективностью 98,5 %. В ChinData подчеркнули, что такие блоки выгоднее немодульных и занимают на 20 % меньше места. Более того, время доставки снижается с двух месяцев до одной недели. Наконец, платформа Kunpeng обеспечивает эксплуатацию, управление, мониторинг и контроль новых модульных решений.

В итоге новый комплекс решений позволяет формировать стойки мощностью до 35 кВт. Упрощённая конструкция с повышенной надёжностью, по данным компании, способна обеспечить годовой показатель Cooling Load Factor (CLF) на уровне 0,08 на севере Китая и 0,15 в Малайзии.

Коммерческий директор Intel Кристоф Шелл (Christoph Schell) уведомил сотрудников о выделении управления продаж AWS, Google, Microsoft и другим особо крупным игрокам в отдельную структуру. Как сообщает CRN, подразделение Global Solutions and Services решено сформировать после того, как топ-менеджер по глобальным продажам Райан МакКарди (Ryan McCurdy) покинул свой пост, став вице-президентом Lenovo в североамериканском регионе. Серверное подразделение Intel продолжает терять выручку и терпеть убытки, а AMD тем временем отбирает у неё долю рынка.

В своём послании группе SMG, ответственной за продажи, маркетинг и коммуникации, её глава и коммерческий директор Intel сообщил, что компании необходимы инновации на только технологическом уровне, SMG тоже должна быть инновационной в освоении рынков. При этом команда МакКарди, который провёл в Intel более 23 лет, обеспечивала около половины из $60 млрд годовой выручки компании. В связи с уходом топ-менеджера Intel разделяет управление крупнейшими клиентскими аккаунтами между двумя подразделениями, подведомственными SMG.

Источник изображения: Intel

За продажи Dell, HP и Lenovo будет отвечать Грег Эрнст (Greg Ernst). Ведение дел с крупнейшими облачными клиентами Intel в лице AWS, Microsoft и Google перейдёт к группе Global Solutions and Services, а основной фокус будет сделан на предоставлении клиентам максимальной ценности с учётом конкретных потребностей. Группу возглавит Дэвид Меффе (David Meffe) — ветеран продаж Intel, которому временно поручили продажи в Network and Edge Group (NEX). Последняя перейдёт в подчинение Global Solutions and Services. Новый глава NEX пока не назначен.

Источник изображения: Intel

Специальная команда будет создана и для формирования стратегии SMG, параллельно будет вестись поиск её главы, а подразделение Transformation Program войдёт в её состав и продолжит управление критически важными трансформациями бизнеса. Планируются и другие изменения. При этом программный бизнес Intel, как ожидается, сохранит собственную маркетинговую команду и софтверные продукты по-прежнему будут продаваться отдельно. Продажи ПО и сбыт SaaS продолжит возглавлять Тахер Бехбехани (Taher Behbehani).

Китайские IT-гиганты начали массовые закупки ускорителей NVIDIA, стремясь обеспечить развитие собственной ИИ-инфраструктуры. Как сообщает Financial Times, только в этом году местным клиентам будут поставлены соответствующие чипы на $1 млрд и ещё на $4 млрд — в следующем.

В Китае только ByteDance уже владеет 10 тыс. ускорителей NVIDIA, а ещё почти 70 тыс. чипов A800 должны быть поставлены в следующем году. По данным Financial Times, один лишь этот заказ оценивается в $700 млн. Сопоставимые закупки сделали или готовы сделать и другие техногиганты из Поднебесной.

В связи с тем, что США ввели ограничения на поставку своих продуктов и технологий в КНР, покупателям из Поднебесной пришлось согласиться на очевидно дискриминационные предложения — для страны выпускаются урезанные варианты ускорителей в лице A800 и H800. Не исключено, что США и их союзники и дальше будут ужесточать экспортную политику, поэтому местные компании принялись активно закупать хотя бы A800 — пока не запретили поставлять и их, что невероятно усложнит обучение больших языковых моделей (LLM).

Источник изображения: NVIDIA

По данным DataCenter Dynamics, прошлым вечером акции NVIDIA упали на 4 % на фоне опасений, что регуляторы США прибегнут к новым ограничительным мерам в отношении китайских компаний и организаций. Дело в том, что президент США уже издал указ, предусматривающий в отношении Китая дальнейшие ограничения, связанные с технологиями ИИ, квантовыми вычислениями и экспортом технологий, связанных с производством чипов.

Производители прибегают к различным уловкам для того, чтобы обойти американские санкции. Так, Intel изменила модельный ряд Xe и представила ИИ-ускоритель Habana Gaudi 2 для китайских покупателей. Готовит особые ускорители и AMD.