NVIDIA заявила, что инвестиции в покупку её ускорителей весьма выгодны, передаёт ресурс HPCwire. По словам NVIDIA, компании, строящие огромные ЦОД, получат большую прибыль в течение четырёх-пяти лет их эксплуатации. Заказчики готовы платить миллиарды долларов, чтобы не отстать в ИИ-гонке.

«Каждый доллар, вложенный провайдером облачных услуг в ускорители, вернётся пятью долларами через четыре года», — заявил Иэн Бак (Ian Buck), вице-президент HPC-подразделения NVIDIA на конференции BofA Securities 2024 Global Technology Conference. Он отметил, что использование ускорителей для инференса несёт ещё больше выгоды, позволяя получить уже семь долларов за тот же период.

Как сообщается, инференс ИИ-моделей Llama, Mistral и Gemma становится всё масштабнее. Для удобства NVIDIA упаковывает открытые ИИ-модели в оптимизированные и готовые к запуску контейнеры NIM. Компания отметила, что её новейшие ускорители Blackwell оптимизированы для инференса. Они, в частности, поддерживают типы данных FP4/FP6, что повышает энергоэффективность оборудования при выполнении рабочих нагрузок ИИ с низкой интенсивностью.

Источник изображений: NVIDIA

Провайдеры облачных услуг планируют строительство ЦОД на пару лет вперёд и хотят иметь представление о том, какими будут ускорители в обозримом будущем. Бак отметил, что провайдерам важно знать, как будут выглядеть ЦОД с серверами на базе чипов Blackwell и чем они будут отличаться от дата-центров на Hopper. Скоро на смену Blackwell придут ускорители Rubin. Их выпуск начнётся в 2026 году, так что гиперскейлерам уже можно готовиться к обновлению дата-центров.

Как ожидается, чипы Blackwell, первые партии которых будут поставлены к концу года, будут в дефиците. «С каждым новым технологическим переходом возникает… сочетание проблем спроса и предложения», — отметил Бак. По его словам, операторы ЦОД постепенно отказываются от инфраструктуры на базе CPU, освобождая место под большее количество ускорителей. Ускорители Hopper пока остаются в ЦОД и всё ещё будут основными «рабочими лошадками» для ИИ, но вот решения на базе архитектур Ampere и Volta уже перепродаются.

Microsoft и Google сделали ставку на ИИ и сейчас работают над более функциональными большими языковыми моделями, причём Microsoft (и OpenAI) в значительной степени полагается на ускорители NVIDIA, тогда как Google опирается на TPU собственной разработки для использования в своей ИИ-инфраструктуре. Пока что самая крупная модель насчитывает порядка 1,8 трлн параметров, но по словам Бака, это только начало. В дальнейшем появятся модели с триллионами параметров, вокруг которой будут построены более мелкие и более специализированные модели. Так, свежая GPT-модель (вероятно, речь о GPT-4o) включает 16 отдельных нейросетей.

NVIDIA уже адаптирует свои ускорители к архитектуре Mixture of Experts (MoE, набор экспертов), где процесс обработки запроса пользователя делится между несколькими специализированными «экспертными» нейросетями. GB200 NVL72, по словам Бака, идеально подходит для MoE благодаря множеству ускорителей связанных быстрым интерконнектом, каждый из которых может обрабатывать часть запроса и быстро делится ответом с другими.

В настоящее время ИИ является основным драйвером инвестиций в ЦОД, капитальные затраты на которые в этом году вырастут почти на 30 %, пишет The Register со ссылкой на исследование Omdia. Согласно прогнозу аналитиков, в течение нескольких лет ИИ станет основной серверной рабочей нагрузкой в ЦОД.

Приложения ИИ являются наиболее быстрорастущей категорией среди нагрузок, исходя из количества развёртываемых в год серверов. Согласно данным Omdia, рост расходов на серверы в прошлом году полностью приходится на ИИ-оборудование. В 2024 году спрос на использование ИИ ускорил инвестиции в ЦОД — капитальные затраты, «подкреплённые корпоративными денежными резервами крупных гиперскейлеров», как ожидает Omdia, вырастут на 28,5 %.

По подсчётам Omdia, продажи серверов в этом году вырастут на 74 % до $210 млрд с $121 млрд в 2023 году. В дальнейшем количество серверов для обучения ИИ будет расти примерно на 5 % в год до чуть менее 1 млн/год в 2029 году. А количество серверов для инференса будет расти со скоростью 17 % в год, и к 2029 году годовые поставки достигнут 4 млн шт. Это объясняется тем, что серверы для обучения ИИ в основном нужны небольшому количеству гиперскейлеров. Они сосредоточены на достижении максимальной эффективности своего ИИ-оборудования и у них нет потребности закупать много серверов.

Источник изображений: Omdia

В Omdia считают, что обучение ИИ можно классифицировать как деятельность в области НИОКР, и поэтому, оно будет подлежать плановому распределению бюджета, то есть реинвестированию доли доходов. А количество серверов, необходимых для инференса, наоборот, будет расти по мере увеличения аудитории пользователей приложений ИИ. Как утверждают в Omdia, в основном в течение следующих пяти лет будут продолжать быстро расти продажи ИИ-серверов, а рост поставок других типов серверов будет значительно меньше.

Прогнозируется, что расходы на управление температурным режимом в ЦОД вырастут в 2024 году на 22 % год к году до $9,4 млрд. Побочным эффектом роста спроса на более мощное серверное оборудование стал бум внедрения СЖО. По прогнозам Omdia, общий доход от СЖО превысит к концу этого года отметку в $2 млрд, а к 2028 году будет больше $5 млрд. Доходы от инфраструктуры распределения электроэнергии в этом году впервые превысят $4 млрд, а доходы от источников бесперебойного питания вырастут на 10 % до $13 млрд.

В эпоху ИИ данные рассматриваются как «валюта». Поэтому спрос на инструменты для интеграции, хранения и обработки данных становится растущим приоритетом среди предприятий, пишет IEEE ComSoc. Ожидается, что к 2025 году объём генерируемых в мире данных достигнет 180 Збайт по сравнению со 120 Збайт в 2023 году. И всё это потребует немало оборудования.

Согласно оценкам BofA Global Research, средний размер наборов данных, необходимых для обучения моделей ИИ, увеличился с 5,9 млн записей в 2010 году до 750 млрд в 2023 году. В опросе BofA 150 IT-профессионалов в качестве ключевых вариантов использования ИИ были указаны потоковая обработка данных (44 %) и машинное обучение (37 %). Кроме того, ИИ подталкивает к переносу данных в облака. По оценкам Gartner, к 2027 году 74 % платформ управления данными будет развёрнуто в облаках по сравнению с 60 % в 2023 году.

Затраты на инфраструктурное ПО для работы с данными представляют собой главную статью расходов ИТ-отделов. По оценкам участников опроса, на такое ПО приходится 35 % от общих расходов на ИТ. При этом ожидается, что бюджеты вырастут на 9 % в течение следующих 12 месяцев. Публичные облака вошли в тройку лидеров среди поставщиков таких решений. Они же получают и немало выручки. Согласно подсчётам BofA, оборот индустрии инфраструктурного ПО (хранилища и озёра, работа с неструктурированными данными и т. д.) в настоящее время составляет около $96 млрд, и он может вырасти до $153 млрд в 2028 году.

Источник изображения: BofA Global Research

Что касается «железа», то BofA прогнозирует стремительное увеличение капитальных затрат у Amazon, Alphabet/Google и Meta/Facebook — в 2024 году они вырастут на 43 % в годовом исчислении до $145 млрд. Большая часть увеличения придётся на серверы и оборудование:

• Капитальные затраты Alphabet на ИТ-активы увеличатся на $12 млрд в годовом исчислении до $28 млрд.
• Мета✴, после резкого роста в 2023 году останавливаться не будет и снова увеличит расходы на серверы, сетевое и прочее оборудование на $7 млрд в годовом исчислении до $22 млрд.
• Расходы на оборудование Amazon увеличатся на $8 млрд в годовом исчислении до $41 млрд (за счёт AWS, затраты ретейл-сегмента не поменяются).

Также исследователи отметили, что Meta✴ лидирует по соотношению капвложений и выручки (% от выручки), и с 2022 года компания постоянно наращивает капитальные затраты на ИИ (собственный суперкомпьютер, LLM и т. д.). Расходы Meta✴ по объёму сравнимы с расходами более крупных гиперскейлеров. Одним из возможных результатов может быть появления нового облачного решения для рекламодателей.

Американские гиперскейлеры призывают ирландское правительство позволить строить собственные частные линии электропередач. Datacenter Dynamics сообщает, что такие энергетические магистрали свяжут дата-центры с объектами возобновляемой энергетики. Благодаря этому можно будет вновь строить дата-центры близ ирландской столицы.

Фактически в районе «Большого Дублина» действует мораторий на строительство новых кампусов ЦОД. Государственный оператор энергосетей EirGrid заявил, что пока не будет принимать заявки на подключение новых объектов соответствующего типа до 2028 года. В Ирландии, как и в Нидерландах, больше не рады гиперскейлерам.

Но если верить последним сведения, Google, Amazon и Microsoft намерены добиться от властей разрешения напрямую связать свои дата-центры с солнечными и ветряными электростанциями. Компании уверены, что это снизит нагрузку на уже существующие линии в Дублине. Пока же строить линии электропередач в Ирландии имеет право лишь государственная структура Electricity Supply Board (ESB), но гиперскейлеры уверены, что у них получится сделать то же самое дешевле и быстрее.

Источник изображения: Gabriel Ramos/unsplash.com

После начала публичных слушаний в прошлом году ирландское правительство пообещало обнародовать политику относительно частных ЛЭП ещё в I квартале 2024 года, но так и не сделало этого. Пока действует мораторий, компании ищут альтернативы. Так, Microsoft и Vantage предпочли построить собственные ТЭС на территории своих кампусов. Изучаются и возможность питания от топливных ячеек и создания энергохранилищ.

В соседней Великобритании энергокомпания Octopus, по слухам, построит собственные мачты линий электропередач, чтобы помочь расширить местные электросети. Провайдер уже ведёт переговоры с регулятором Ofgem и надеется, что оператор National Grid откажется от монополии в Англии и Уэльсе.

В прошлом месяце компания Google анонсировала долгожданный серверный CPU на архитектуре Arm. Впрочем, как сообщает The Register, она уже оказалась третьей на рынке процессоров для ЦОД (сюда входят не только CPU, но и GPU, TPU и иные ускорители). Согласно отчёту TechInsights, компания теперь уступает только NVIDIA и Intel и давно обогнала AMD.

Источник изображения: Google

Как и другие крупные облачные операторы, IT-гигант выпускает собственные чипы TPU, шестое поколение которых было представлено на прошлой неделе. Хотя на сторону их не продают, компания заказывает огромные партии TPU для оснащения собственных ЦОД — только в прошлом году речь шла о 2 млн штук. Ключевым партнёром Google в создании кастомного «кремния» является Broadcom.

Поставки TPU нарастают с каждым поколением, следуя за ростом самой компании. После премьеры TPU v4 в 2021 году в связи с развитием больших языковых моделей (LLM) объём полупроводникового бизнеса Google значительно вырос. TPU применяются компанией для внутренних задач, а ускорители NVIDIA — для облака. В TechInsights считают, что на сегодняшний день у Google имеется крупнейшая в отрасли база установленных ИИ-ускорителей и самая масштабная ИИ-инфраструктура.

Источник изображения: TechInsights

В прошлом году на серверным рынке произошла «масштабная коррекция запасов» — гиперскейлеры увеличили срок службы оборудования, отложив замену серверов общего назначения и повысив капитальные затраты на ИИ-серверы и ускорители NVIDIA. Аналитики Omdia говорят о таких тенденциях на рынке что в прошлом, что в начале этого года. В TechInsights считают, что по итогам I квартала 2024 года Google сможет догнать или даже перегнать Intel по доле на этом рынке.

Конечно, Google — не единственная облачная компания, разрабатывающая собственные чипы. Microsoft работает над серверным CPU Azure Cobalt и ИИ-ускорителями Maia 100. AWS и вовсе годами использует собственные Arm-процессоры Graviton и ИИ-ускорители серий Trainium и Inferentia. В прошлогоднем докладе Bernstein Research сообщалось, что архитектуру Arm используют уже около 10 % серверов по всему миру, а более 50 % из них внедряется AWS. Softbank в начале 2023 года говорила о том, что Arm захватила 5 % облачного рынка.

Источник изображения: TechInsights

Впрочем, с появлением процессоров TPU V5e и TPU V5p решения Google будут использоваться всё шире из-за «взрывного роста» больших языковых моделей вроде Gemini. В 2024 году у Google появится Arm-процессор Axion. И его внедрение, по мнению TechInsights, будет происходить намного быстрее, чем Graviton, поскольку у Google уже имеется программная инфраструктура для такого чипа. Всё это необходимо компании, чтобы идти в ногу с AWS, Microsoft и, в меньшей степени, Alibaba. При этом в докладе упоминается, что рынок полупроводников для ЦОД быстро меняется — раньше на нём доминировала Intel с архитектурой x86. Теперь его структура определяется потребностями ИИ-систем.

Synergy Research Group опубликовала результаты нового исследования, согласно которому количество крупных дата-центров, управляемых гиперскейлерами, превысило в начале 2024 года отметку в 1000 штук. В конце 2023 года число таких ЦОД составляло 992 единицы.

Как отметили в Synergy Research Group, всего четыре года потребовалось для того, чтобы общая ёмкость ЦОД гиперскейлеров удвоилась, поскольку их количество растёт наряду с увеличением средней ёмкости дата-центра. По данным аналитической компании, на США по-прежнему приходится 51 % мировой ёмкости, измеряемой в МВт критической ИТ-нагрузки, а на Европу и Китай — около трети.

Источник: Synergy Research Group

Согласно прогнозу Synergy Research Group, общая ёмкость ЦОД гиперскейлеров в ближайшие четыре года вновь удвоится. Хотя ежегодно будет появляться около 120–130 ЦОД гиперскейлеров, рост ёмкости будет во всё большей степени будет обусловлен ещё большим увеличением мощности новых ЦОД. Основной причиной такого роста будет расширение использования технологий генеративного ИИ. У Synergy Research Group есть информация о 440 объектов, которые находятся на разных стадиях планирования, разработки или оснащения.

Исследование основано на анализе работы ЦОД 19 крупнейших мировых компаний, предоставляющих облачные и интернет-услуги, включая крупнейших операторов SaaS, IaaS, PaaS, поиска, социальных сетей, электронной коммерции и игр.

Больше всего ЦОД у ведущих провайдеров облачных услуг Amazon, Microsoft и Google. Помимо большого количества ЦОД в США, каждая из них также имеет дата-центры во многих странах по всему миру. В совокупности на эти компании приходится 60 % общей ёмкости ЦОД гиперскейлеров. За ними в рейтинге следуют Meta/Facebook, Alibaba, Tencent, Apple, ByteDance и другие менее крупные игроки.

Компания Gartner обнародовала скорректированный прогноз по глобальному рынку IT-технологий на 2024 год. Аналитики полагают, что отрасль покажет рост приблизительно на 8,0 %. Если в 2023-м затраты составили $4,69 трлн, то в нынешнем году они достигнут $5,06 трлн.

Аналитики учитывают расходы на дата-центры, электронные устройства, ПО корпоративного класса, IT-сервисы и телекоммуникационные сервисы. В 2023 году суммарный рост затрат в обозначенных сегментах оказался на отметке 3,8 % по отношению к предыдущему году. В 2024-м темпы роста увеличатся, что объясняется, в частности, стремительным внедрением генеративного ИИ.

По направлению ЦОД специалисты Gartner прогнозируют увеличение расходов с $236,18 млрд в 2023 году до $259,68 млрд в 2024-м. Таким образом, ожидается рост примерно на 10,0 %. Говорится, что в 2024 году на системы для задач ИИ придётся около 60 % всех расходов гиперскейлеров на закупку серверов. Ещё $1,04 трлн принесёт ПО корпоративного класса. Годом ранее на этот сектор пришлось $914,69 млрд. Рост в годовом исчислении ожидается на уровне 13,9 %.

Источник изображения: Gartner

По направлению IT-сервисов затраты, по мнению экспертов Gartner, поднимутся на 9,7 % — с 1,39 трлн до $1,52 трлн. Телекоммуникационные сервисы покажут прибавку на уровне 4,3 % — с $1,49 трлн до $1,55 трлн. В сфере электронных устройств затраты достигнут $687,94 млрд против $664,03 млрд в 2023 году, что соответствует росту на 3,6 %.

Microsoft вынашивает масштабные планы для рынка дата-центров. Согласно закрытым документам, поступившим в распоряжение Business Insider, компания связывает наращивание активности с бумом ИИ-технологий и намерена кратно увеличить ёмкость своих новых ЦОД ещё до конца текущего календарного года.

С июля 2023 года (начала текущего фискального года), Microsoft ввела в эксплуатацию новые ЦОД на 500 МВт. Судя по попавшим в руки журналистов документам команды Microsoft Cloud Operations and Innovation, в I половине текущего фискального года общая ёмкость ЦОД Microsoft преодолела отметку 5 ГВт.

Бум на рынке ЦОД подогревается развитием генеративных ИИ-систем, а Microsoft является одним из лидеров новой отрасли благодаря сотрудничеству со стартапом OpenAI и использованием её большой языковой модели (LLM) GPT-4. В целом на тренировку и отладку разных моделей уходит огромное количество электроэнергии и вычислительных ресурсов с использованием тысяч ИИ-ускорителей.

Источник изображения: American Public Power Association/unsplash.com

По мнению экспертов, имеющиеся у Microsoft 5 ГВт полностью освоены — это сопоставимо с мощностями всего Гонконга или Португалии. Тем не менее, компания не намерена останавливаться на достигнутом. Во II половине текущего фискального года (до середины 2024-го календарного) компания намерена добавить вдвое большую ёмкость новых ЦОД (1 ГВт). В I половине 2025 фискального года (до конца 2024-го) — втрое большую (1,5 ГВт). Другими словами, каждый месяц IT-гигант должен добавлять порядка 200 МВт.

Как считает экспертное сообщество, компания или рассчитывает на огромный спрос в будущем или просто хочет «застолбить» доступную энергию, которая иначе может достаться конкурентам. С учётом роста углеродных выбросов и водопотребления, к оператору ЦОД возникает у экспертов ряд вопросов относительно экоустойчивости проектов. В самой Microsoft информацию не комментируют.

Сообщается, что компания закупила во II половине прошлого года «рекордное количество» ускорителей для своих ИИ-проектов, более чем вдвое увеличив установленное количество, хотя точных значений не называется. В этот период число использованных ускорителей увеличилось в 39 ЦОД, так что теперь у компании есть ИИ-кластеры в 98 локациях по всему миру.

Источник изображения: Microsoft

В недавнем описании вакансии директора по управлению активами также упоминается, что компания заключила сделки о приобретении 20 ГВт возобновляемой энергии. На реализацию таких проектов иногда уходят годы, поэтому соглашения о покупке энергии (PPA) нередко заключаются на 10 лет. Например, на период до 2032 года Microsoft намерена закупить посредством PPA 9,5 ГВт у солнечных электростанций Qcells — приблизительно по 1,5 ГВт ежегодно. Заодно компания развивает направление малых модульных реакторов (SMR) и подписала соглашение с Helion Energy о закупке электричества с термоядерных реакторов к 2028 году.

Также Microsoft активно инвестирует в захват углерода из атмосферы, в своё время пообещав к 2030 году стать «углеродно-нейтральной», а в последующие годы — «углеродно-отрицательной». Так, компания заплатила ClimeWorks для удаления из атмосферы 11,4 тыс. т углерода, а также Running Tide для устранения 12 тыс. т, Carbon Streaming — 10 тыс. т ежегодно и Heirloom — 300 тыс. т. Rомпания и сама патентует технологии удаления углекислоты из атмосферы, в частности — с помощью «мусорного» тепла ЦОД.

Компания TrendForce обнародовала прогноз по мировому рынку серверов на 2024 год. Аналитики полагают, что в штучном выражении продажи незначительно увеличатся по сравнению с предыдущим годом, а основным драйвером отрасли останется ИИ. Отмечается, что из-за высокого уровня инфляции и сокращающихся капитальных затрат в корпоративном секторе спрос на серверы пока не вернулся к показателям, наблюдавшимся до начала пандемии COVID-19.

Источник изображения: Supermicro

В 2023 году отгрузки систем зафиксированы на отметке примерно 13,4 млн единиц — это на 6 % меньше по отношению к 2022-му. В 2024 году, полагают специалисты TrendForce, поставки поднимутся на 2 %, оказавшись на отметке 13,7 млн штук. При этом на долю ИИ-серверов придётся около 12,1 %. Практически все крупные игроки увеличили срок службы серверов общего назначения и теперь вкладываются именно в ИИ-решения.

Ожидается, что Foxconn продемонстрирует самые высокие темпы роста — около 5–7 % в годовом исчислении. Этому будут способствовать заказы на платформы Dell 16G, AWS Graviton 3/4, Google на базе AMD EPYC Genoa и Microsoft Gen9. В сегменте ИИ Foxconn получила заявки от Oracle и AWS.

Inventec, согласно прогнозам TrendForce, займёт второе место по темпам роста с показателем до 3 %. Говорится о заказах на системы AWS Graviton 3/4, а также на серверы Google с чипами EPYC Milan и Genoa. А во II половине текущего года Google начнёт внедрять серверы на базе EPYC Bergamo. Помимо заказов от североамериканских гиперскейлеров, ожидается высокий спрос со стороны китайских клиентов, таких как ByteDance. По оценкам, поставки ИИ-серверов Inventec достигнут 10–15 % от общемирового объёма отгрузок.

Источник изображения: Supermicro

Темпы роста продаж Quanta Computer и Supermicro останутся на уровне 2023 года. Quanta сталкивается с рядом неопределённостей, наиболее значимыми из которых являются существенное сокращение заказов на серверы общего назначения у Meta✴ и снижение спроса на платформы Intel со стороны Google, которая сместила фокус на решения AMD. Ожидается, что Quanta нарастит поставки ИИ-серверов благодаря заказам от североамериканских облачных провайдеров, включая Microsoft Azure и AWS.

Вместе с тем Supermicro сосредоточится на развитии ИИ-сегмента. Однако аналитики прогнозируют затишье по направлению серверов общего назначения. Высокопроизводительные ИИ-серверы Supermicro применяются в том числе в дата-центрах CoreWeave и Tesla. Компания также активно расширяет сотрудничество с Apple и Meta✴.

Спрос на колокейшн-пространства в дата-центрах Европы превышает предложение. В докладе экспертов по недвижимости компании CBRE, говорится, что даже большого количества новых строящихся объектов регионе будет не хватать для полного удовлетворения потребностей клиентов.

В CBRE заявляют, что второй раз за последние пять лет объём аренды в Европе превысил площади введённых в эксплуатацию новых объектов. Согласно данным доклада за IV квартал 2023 года, на 14 крупнейших рынках Европы в 2023 году был освоен 601 МВт, тогда как новых объектов ввели в эксплуатацию за тот же период лишь на 561 МВт.

Как потребление, так и предложение увеличились даже в сравнении с 2022 годом — год к году рост составил для каждого из направлений 10 % и 2 % соответственно. Один из источников дисбаланса — рынки FLAPD (Франкфурт, Лондон, Амстердам, Париж и Дублин), где только в последней четверти прошлого года было освоено 252 МВт, что на 41 % выше в сравнении с предыдущим кварталом (179 МВт). Основной рост пришёлся на Дублин, Лондон и Париж.

Источник изображения: Pedro Lastra/unsplash.com

Как заявляют в CBRE, одним из ключевых факторов роста стала потребность гиперскейлеров во всё больших объектах, оптимизированных под их специфические запросы. Средний размер новых «оптовых» объектов в Европе за последние два года чрезвычайно вырос и спрос будет увеличиваться и дальше. Новые стройки станут вести по всей Европе, в том числе, конечно, в городах кластера FLAPD.

Источник: CBRE

Ранее появилась новость о намерении Global Switch построить новый ЦОД в Лондоне — пятиуровневый объект London South ёмкостью 40 МВт и площадью 27 тыс. м². А в этом месяце Mercury передала Digital Realty в Париже 19-МВт ЦОД PAR9 с 12 залами. В CBRE считают, что спрос в Европе только увеличится из-за роста сегмента ИИ, поскольку многие организации намерены повысить эффективность своих операций с помощью систем ИИ и машинного обучения. Главной проблемой остаётся нехватка электроэнергии и подходящих для внедрения ИИ дата-центров в Европе.