Техасский оператор ЦОД Aligned Data Centers объявил о привлечении $12 млрд на постройку ИИ ЦОД мощностью 5 ГВт в Северной и Южной Америках. $5 млрд поступило в виде акционерного капитала из фондов, подконтрольных Macquarie Asset Management, ещё $7 млрд — в виде долговых обязательств, сообщает SiliconAngle.

В Aligned заявляют, что у неё уникальное положение на рынке — у компании более 10 лет опыта в создании систем охлаждения энергоёмких дата-центров. Последнее поколение фирменных СЖО DeltaFlow^~ позволяет повысить плотность размещения ресурсов до 300 кВт на стойку. Также компания разработала систему воздушного охлаждения Delta³ (Delta Cube).

Aligned Data Centers управляет многочисленными колокейшн-объектами. Также она строит дата-центры для гиперскейлеров и корпоративных клиентов. В США компания управляет объектами в Чикаго, Далласе, Финиксе, Солт-Лейк-Сити и Северной Вирджинии. Новые площадки строятся в Вирджинии, Иллинойсе, Мэриленде и Огайо. В мае 2024 года Aligned купила бразильского оператора ЦОД OData, у которого уже были объекты в Бразилии, Чили, Мексике и Колумбии. Наконец, компания инвестировала в канадского оператора QScale SEC.

Источник изображения: Aligned Data Centers

Быстрый рост ИИ в последние годы вызвал и рост спроса на высокопроизводительные дата-центры, способные вместить тысячи ускорителей одновременно. В результате бизнес Aligned значительно вырос. Упомянутая австралийская Macquarie совсем недавно сообщила, что выделит до $5 млрд на ИИ ЦОД Applied Digital — ещё одного американского оператора дата-центров.

Проведённое Калифорнийским технологическим институтом (Caltech) и Калифорнийским университетом в Риверсайде (University of California Riverside) исследование показало, что невероятные потребности ИИ в электроэнергии станут причиной опасного загрязнения воздуха. Это приведёт к появлению симптомов астмы у 600 тыс. человек и 1,3 тыс. преждевременных смертей ежегодно, а также к росту расходов на здравоохранение на $20 млрд/год к 2030 году, сообщает eWeek.

В работе The Unpaid Toll: Quantifying the Public Health Impact of AI анализируется разрушительное влияние ИИ ЦОД на жизнь общества. Чем больше появляется дата-центров и сопутствующей инфраструктуры, тем больше энергии требуется для их питания и тем выше уровень выбросов электростанций, а также резервных дизельных генераторов. При этом выбросы содержат микрочастицы размером менее 2,5 мкм (PM_2,5), диоксид серы (SO₂) и диоксид азота (NO₂), негативно влияющие на человека.

Согласно результатам исследований, малоимущим гражданам, проживающим около электростанций и дата-центров, рост заболеваний угрожает больше всего. Так, резервные дизельные генераторы выделяют в 200–600 раз больше диоксида азота в сравнении с газовыми электростанциями, но загрязнением близлежащих территорий дело не ограничивается. Выбросы отравляют и соседние штаты, влияя даже на районы, находящиеся далеко от начального места загрязнения.

Источник изображения: Janusz Walczak/unsplash.com

Например, загрязнения от дизель-генераторов ЦОД в Северной Вирджинии, служащей главным хабом ЦОД США и, пожалуй, всего мира, распространяются также на Западную Вирджинию, Мэриленд, Пенсильванию, Нью-Йорк, Нью-Джерси, Делавэр и даже достигают Вашингтона. Даже если выбросы генераторов не превышают 10 % от допустимой нормы, региональные расходы на здравоохранение на здравоохранение составят $190-260 млн ежегодно. Если выбросы генераторов будут на максимально допустимом уровне, то расходы увеличатся на порядок.

В работе подчёркивается масштаб проблемы. Обучение одной большой языковой модели (LLM) уровня Llama 3.1 ведёт к выбросам, эквивалентным 10 тыс. поездок на обычном автомобиле между Лос-Анджелесом и Нью-Йорком. В 2030 году вызванное ИИ загрязнение сможет посоперничать с выбросами 35 млн транспортных средств. По показателю воздействия на общественное здоровье ИИ превзойдёт даже сталелитейную отрасль.

Источник изображения: UC Riverside / Caltech

Учёные подчёркивают недостаток корпоративной ответственности. По их словам, если посмотреть отчёты об устойчивом развитии технологических компаний, можно заметить, что в тех содержится информация преимущественно об углеродных выбросах и расходе воды (ранее сообщалась, что только в ходе одной сессии бот вроде ChatGPT «выпивал» около 0,5 л воды), а о загрязнениях, уже создающих нагрузку на систему здравоохранения, не упоминается вообще.

Авторы исследования призывают работающие над ИИ компании к более прозрачным отчётам, где будет сообщаться не только о выбросах углерода, но и других загрязнителях воздуха. Также рекомендуется выплачивать компенсации пострадавшим сообществам и внедрять экоустойчивые технологии для минимизации ущерба окружающей среде.

Тем временем дефицит энергии в мире и США из-за ИИ ЦОД только нарастает, и проблема загрязнения воздуха — не единственная. Выяснилось, что дата-центры нарушают баланс в системе энергоснабжения жилых домов в Соединённых Штатов, что в худшем случае может приводить даже к пожарам в домах близ ЦОД. Приказом ещё действующего президента США федеральные земли будут выделять под строительство ИИ-инфраструктуры и объектов «зелёной» энергетики.

NVIDIA построит за $500 млн на севере Израиля 30-МВт научно-исследовательский суперкомпьютер на базе ускорителей Blackwell последнего поколения стоимостью около полмиллиарда долларов, сообщил The Register. Строительство кластера началось ещё в прошлом году, а закончить его планируется в I полугодии 2025 года.

Кластер будет располагаться на объекте площадью 10 тыс. м² в научно-промышленном парке Mevo Carmel недалеко от Йокнеам-Илита (Yokne'am Illit). По словам компании, он получит сотни систем Blackwell с фирменным жидкостным охлаждением, DPU BlueField-3 SuperNIC, коммутаторами Spectrum-X800 и Quantum-X800. Как полагает The Register, кластер будет использоваться NVIDIA для разработки технологий ЦОД следующего поколения.

Точное количество ускорителей не указано. У NVIDIA есть несколько эталонных систем Blackwell с жидкостным охлаждением и различным количеством ускорителей. Согласно публикациям израильских СМИ, полная конфигурация нового суперкомпьютера будет включать «несколько тысяч» GPU, что позволит ему соперничать с национальным суперкомпьютером Israel-1. Israel-1 построен на 2048 ускорителях NVIDIA H100, объединённых с помощью 80 коммутаторов Spectrum-4. Суперкомпьютер имеет пиковую FP64-производительность до 137 Пфлопс, а FP8 — до 8 Эфлопс.

Источник изображения: NVIDIA

The Register отметил, что на реализации проекта могут отразиться новые экспортные ограничения США. Согласно правилам AI Diffusion rule, Израиль относится к странам второго уровня с квотой на поставку до 50 тыс. передовых ускорителей в течение двухлетнего периода (2025–2027 гг.). Впрочем, эти правила вступят в силу через 120 дней с момента публикации, поэтому у NVIDIA в запасе достаточно времени для поставки необходимого количества ускорителей в Израиль.

С учётом прочных связей Израиля с США есть большая вероятность того, что стране будет предоставлен статус National Verified End User, что увеличит лимит импорта до 320 тыс. ускорителей в течение двухлетнего периода, отметил The Register.

Суперкомпьютеру Crossroads (ATS-3), расположенному в Лос-Аламосской национальной лаборатории (LANL) Министерства энергетики США (DoE), не так уж много лет. Система мощностью 30 Пфлопс запущена в 2023 году, но ей уже готовится замена в лице суперкомпьютера нового поколения под кодовым названием ATS-5.

Министерство энергетики совместно с Национальным управлением по ядерной безопасности (NNSA) раскрыли некоторые детали, касающиеся этого проекта. Главной задачей ATS-5 станет запуск высокоточных 3D-симуляций для оценки перспектив модернизации и поддержания в актуальном состоянии ядерного арсенала США. Симуляции со столь высокой детализацией очень сложны и относятся к классу «геройских» (hero-class). Их прогон может занимать несколько месяцев, но ATS-5 должен не только сократить это время до дней, но и обеспечить обработку нескольких таких симуляций параллельно.

Монтаж Crossroads. Источник здесь и далее LANL

NNSA не сообщает о том, будет ли ATS-5 относится к системам экзафлопсного класса, но судя по употреблению термина «post-exascale system» и сложности планируемых для запуска симуляций, новый суперкомпьютер будет достаточно мощным. Известен уровень его энергопотребления — порядка 20 МВт. Для сравнения, Frontier (1,35 Эфлопс FP64) потребляет 21 МВт, а El Capitan (1,74 Эфлопс FP64) — около 30 МВт.

По замыслу DoE, ATS-5 станет модульной системой со смешанной архитектурой, сфокусированной не только на HPC-задачах (FP64), но и на ИИ-сценариях с их упрощёнными форматами вычислений. Упор делается на размещении данных ближе к вычислительным узлам, увеличении объёмов памяти (в настоящее время заявлено 10,1 Пбайт) и ускорении её работы.

В качестве интерконнекта может быть применена смесь технологий InfiniBand и Ethernet, развивающая от 100 до 300 Гбайт/с в каждом направлении. Модульность означает возможность замены ускорителей и процессоров на протяжении всего срока эксплуатации ATS-5. Помимо ускорителей NVIDIA рассматривается возможность использования квантовых ускорителей, а также чипов Cerebras, Groq и SambaNova. ПО практически целиком должно быть open source, но и от CUDA при необходимости отказываться не будут.

Министерство энергетики США надеется разместить контракт на постройку ATS-5 в мае текущего года. Поставки оборудования должны начаться в конце 2026 или начале 2027 гг, а ввод системы в строй намечен на август-сентябрь 2027 года. Тогда же будет выведен из строя Crossroads (ATS-3).

Венчурные капиталисты пока не боятся возможного финансового «пузыря», связанного с ИИ-технологиями, поэтому вливают миллиарды долларов в новые ИИ ЦОД. Так, австралийская финансовая компания Macquarie сообщила о намерении вложить $5 млрд в проекты американского оператора дата-центров Applied Digital, сообщает The Register.

Техасский оператор работает на рынке ИИ и HPC относительно недавно, но это не мешает ему на равных соперничать с сильными конкурентами с более богатой историей. Во многом история компания напоминает путь CoreWeave, вышедшей на рынок HPC-объектов приблизительно в 2022 году и свернувшей бизнес по майнингу криптовалют.

Applied Digital, как и CoreWeave и Lambda Labs, предлагает услуги ЦОД и облачные сервисы на базе ускорителей NVIDIA. Австралийские инвестиции, в том числе в ходе начального раунда финансирования в объёме $900 млн, позволят компании продолжить работу над кампусом Ellendale High Performance Computing в Северной Дакоте мощностью 100 МВт (до 400 МВт в перспективе), а также вернуть порядка $300 млн, ранее инвестированных в объект в виде акционерного капитала.

Источник изображений: Applied Digital

Кампус в Эллендейле (Ellendale) — лишь одна из площадок Applied Digital, в которые Macquarie готова вложить средства. В соответствии с новым соглашением, она получила преимущественное право участвовать в новых проектах, связанных с ИИ ЦОД в следующие 30 месяцев на сумму $4,1 млрд. В Applied Digital заявляют, что с сегодняшними ценами на строительство у компании будет значительная часть средств, необходимых для создания HPC-объектов мощностью более 2 ГВт, включая кампус в Эллендейле. Место, по-видимому, привлекательное для таких объектов — две неизвестных компании готовы потратить до $250 млрд на строительство в штате гигаваттных ИИ ЦОД.

Пока не сообщается, когда, где и сколько дата-центров Applied Digital в итоге построят, но, согласно пресс-релизу, объекты получат жидкостное охлаждение. Вероятнее всего, как и в Северной Дакоте, другие объекты получат ускорители NVIDIA. Не исключено даже использование 120-кВт GB200 NVL72. В сентябре NVIDIA вместе с другими инвесторами сама вложила в оператора $160 млн. Большая часть инвестиций, вероятно, вернётся в виде заказов на чипы и подписки AI Enterprise. Что касается Macquarie, она фактически выкупила себе 15 % в бизнесе Applied HPC, а оператор сохранил за собой 85 %.

$1,5 млрд обычно достаточно для создания ЦОД с 16 тыс. ускорителей уровня NVIDIA H100 для последующей сдачи в аренду. В течение четырёх лет это принесёт около $5,27 млрд выручки при благоприятных условиях. С учётом уровня окупаемости инвестиций нетрудно понять, почему многие инвесторы желают участвовать в подобных проектах.

Не мешает и высокий спрос на ускорители — иногда они используются в качестве залога при крупных кредитах. Так, в апреле 2024 года Macquarie помогла привлечь Lambda порядка $500 млн заёмного финансирования под залог ускорителей NVIDIA. Среди крупнейших бенефициаров таких сделок — CoreWeave, по данным Crunchbase, только в 2024 году получившая $9,9 млрд финансирования и заёмных средств. Деньги под залог ускорителей она брала ещё в 2023 году.

Министерство торговли США вводит новый пакет экспортных ограничений, призванных помешать Китаю и другим странам закупать передовые чипы, сообщает Silicon Angle. В частности, ограничения коснутся предприятий, выпускающих микросхемы, а также работающих по заказу других организаций. Так, новые меры коснутся TSMC и Samsung Electronics, а также упаковщиков чипов, включая ту же TSMC.

Новые правила предусматривают получение производителями чипов и упаковщиками полупроводников лицензий на экспорт «определённых передовых чипов» в ряд регионов. Власти откажутся от подобных требований, если производитель чипов получит технические аттестации от доверенных участников цепочек поставок.

Так, разработчики чипов могут получить от американских властей статус «одобренных» или «авторизованных». Если разработчик подтверждает, что его чипы не достигают по своим характеристикам установленных США порогов производительности, лицензионные требования к ним отменяются. То же касается фабрик и компаний-упаковщиков. Если характеристики производимых чипов не превышают определённого порога, новые экспортные ограничения не применяются.

Источник изображения: CHUTTERSNAP/unsplash.com

Объявлено и о ряде других нормативных изменений. В частности, запускается процесс утверждения компаний в перечне одобренных дизайн-центров и поставщиков чипов и услуг OSAT (Outsourced Semiconductor Assembly and Test). Также оптимизированы процедуры раскрытия информации в случаях, если производитель принимает заказ клиента, потенциально способного перенаправить продукцию в Китай.

В связи с новыми правилами в чёрный список Entity List отправятся 16 новых организаций, включая некоторые ИИ-компании, поддерживающие развитие производства передовых чипов в Китае. Одной из таких компаний стала Sophgo — в прошлом году выяснилось, что она якобы передала выпущенную для неё продукцию компании Huawei, давно пребывающей в американском чёрном списке, после чего TSMC прекратила выполнение её заказов и поставки.

Министерство торговли вводит новые правила всего через несколько дней после того, как администрация уходящего президента США ввела глобальные ограничения на поставки ИИ-чипов и передовых моделей ИИ. Ранее американские власти уже вводили санкции, ограничивающие возможности китайской полупроводниковой индустрии. Речь идёт о закупках чипов NVIDIA, памяти HBM и других компонентов. Не щадят и союзников. Нидерландской ASML запрещено поставлять в КНР оборудование для DUV-литографии, на котором можно изготавливать 5- и 7-нм полупроводники.

Компания Positive Technologies сообщила о выпуске новой версии программного комплекса PT Industrial Security Incident Manager (PT ISIM), предназначенного для контроля безопасности и мониторинга технологических сетей, IIoT-систем промышленных предприятий и объектов инженерной инфраструктуры.

PT ISIM обеспечивает инвентаризацию технологической инфраструктуры и контроль изменений, выявляет аномалии и события безопасности в сетевом трафике, обнаруживает эксплуатацию уязвимостей, вредоносного ПО и другие техники злоумышленников. Также решение в автоматическом режиме распознаёт опасные технологические команды и помогает ИБ-персоналу соблюдать требования регулирующих организаций.

Схема работы PT ISIM (источник изображения: Positive Technologies)

Обновлённый PT ISIM получил компонент PT ISIM Endpoint, выявляющий аномалии, нелегитимные операции и подозрительную активность на рабочих станциях и серверах SCADA. Компонент учитывает особенности работы систем промышленной автоматизации и содержит правила выявления киберугроз, специфичных для таких сетей.

Ещё одно важное изменение в PT ISIM — новая карта сетевых взаимодействий, которая позволяет специалистам по ИБ ориентироваться в крупных распределённых промышленных инфраструктурах с десятками тысяч узлов. Дополнительно были расширены функции модуля, который контролирует технологические процессы. Появился также обновлённый стартовый дашборд: на нём теперь отображаются последние инциденты, уведомления о появлении новых узлов, неавторизованных соединений и сведения об инвентаризации компонентов технологической сети.

Уходящий президент США в последние дни своей работы подписал приказ, который разрешает строить дата-центры на федеральных землях. Кроме того, документ обеспечит поддержку «зелёной» энергетики, направленной на обеспечение новых объектов экологичной электроэнергией, сообщает Silicon Angle. Согласно новым правилам, Министерство энергетики (DoE) и Министерство обороны США (DoD) обяжут сдавать в аренду федеральные объекты девелоперам ИИ ЦОД. Часть объектов будут предназначены для малого бизнеса и стартапов.

Кроме того, участники соответствующих инициатив должны будут реализовать энергетические проекты, полностью удовлетворяющие потребности их ИИ ЦОД. Министерство внутренних дел США (занимается земельными вопросами) определить площадки в федеральной собственности, подходящие для объектов «чистой» энергетики. Также оно упростит процесс получения лицензий на использование геотермальной энергии. Собственную программу поддержки «чистой» энергии запускает и Министерство энергетики — помимо прочего, она будет сосредоточена на развитии и ядерных инициатив.

Примут участие и другие федеральные ведомства, которые выделят сотрудников для оперативной выдачи разрешений на проекты ИИ-инфраструктуры. Упростить процесс получения разрешений поможет инструмент «категорических исключений» из Национального закона об экологической политике США (National Environmental Policy Act). Он, в частности, позволяет ускорить процессы прохождения проверок проектам, которые не будут оказывать значительного воздействия на окружающую среду. Такие исключения будут искаться федеральными ведомствами намеренно.

Источник изображения: Eric Saunders/unsplash.com

Кроме строительства новых ЦОД и объектов «зелёной» энергетики, документ предусматривает и расширение сети линий электропередачи для питания ЦОД. Министерство энергетики поможет девелоперам с поиском финансирования, планированием и постройкой новых ЛЭП. Власти определят регионы, где для избежания перегрузок потребуются новые линии. Планируется сотрудничать с коммунальными службами, чтобы определить, каким именно образом необходимо совершенствовать энергетическую инфраструктуру. Поддержка будет оказана и производителям оборудования вроде трансформаторов. Министерства обороны, энергетики и торговли предварительно оценят возможности создания запасов такого оборудования, а также рассмотрят вопросы гарантий по кредитам.

По мнению экспертов консалтинговой NCC Group, больше всего выиграет от нового проекта NVIDIA. Впрочем, параллельный акт о запрете свободных поставок ИИ-оборудования в другие страны, негативно отразится на компании. Недавно эксперты компании JLL спрогнозировали в 2025 году стремительный рост мирового спроса на дата-центры, несмотря на ограничения поставок и дефицит энергии. По их прогнозам, в 2025 году в мире начнут строить ещё 10 ГВт, а проекты на 7 ГВт будут уже готовы.

Минцифры России направило для утверждения в правительство проект постановления, согласно которому необходимым условием для включения в единый реестр российского ПО будет совместимость как минимум с двумя российскими операционными системами (ОС), пишет ТАСС со ссылкой на сообщение зампреда Совета по развитию цифровой экономики при Совете Федерации Артёма Шейкина. По словам сенатора, документ планируется утвердить во II квартале.

«Также особое внимание уделяется совместимости программ с российскими микропроцессорами и другими технологическими продуктами. Сейчас проект изменений в правилах размещён для общественного обсуждения, и планируется, что они будут утверждены в 2025 году», — рассказал Шейкин. Сенатор отметил, что предлагаемые Минцифры поправки направлены на развитие и контроль за использованием российских программ, обеспечивая их безопасность и независимость от иностранных технологий.

Источник изображения: Tirza van Dijk/unsplash.com

Согласно письму заместителя министра Сергея Кучушева, с содержанием которого ознакомились в ТАСС, в подготовке проекта Минцифры приняли участие профильные ассоциации разработчиков и потребителей ПО, включая ассоциацию разработчиков программных продуктов «Отечественный софт», «Руссофт», Ассоциацию предприятий компьютерных и информационных технологий и Ассоциацию крупнейших потребителей ПО. О планах Минцифры РФ ужесточить требования для включения софта в реестр отечественного ПО стало известно ещё в декабре прошлого года.

Как свидетельствуют новые данные консалтинговой компании Synergy Research Group, после относительного затишья в 2024 году стоимость закрытых сделок, связанных со слияниями и поглощениями (M&A) ЦОД, стала рекордной, достигнув $73 млрд, сообщает пресс-служба компании.

До этого рекордным был 2022 год. Совокупная стоимость официально закрытых сделок превысила $52 млрд, в 2023 году был двухкратный спад до $26 млрд. Впрочем, даже в 2022 году такого уровня не удалось бы добиться без двух крупнейших сделок в данной сфере, объёмом от $11 млрд каждая. Другими словами, «обычные» сделки объёмом до $2 млрд обеспечили довольно скромную статистику и в 2022 году. В этой отношении пиковым был 2021 год.

Примечательно, что помимо уже закрытых сделок в 2024 году также имеются оформленные, но ещё не закрытые соглашения на сумму $29 млрд. Также возможны сделки ещё на $15 млрд — компании ищут финансирование или рассматривают доступные варианты. 2025 год тоже имеет все шансы стать рекордным для индустрии ЦОД.

Истчоник: Synergy Research

Всего с 2015 года Synergy Research зарегистрировала 1498 сделок слияния и поглощения на рынке ЦОД, общая стоимость составила $300 млрд. В основном речь идёт о покупке компаний целиком, но также были учтены миноритарные инвестиции в акционерный капитал и другие финансовые вложения вплоть до покупки отдельных дата-центров, земли для них и др. В 2021–2022 гг. были закрыты четыре сделки стоимостью от $10 млрд: покупка CyrusOne, Switch, CoreSite и QTS, входящих в Топ-15 колокейшн-провайдеров.

В 2024 году в Vantage Data Centers инвестировали в ходе двух сделок $9,2 млрд. Кроме того, компания дважды получила вливания в акционерный капитал в регионе EMEA на общую сумму $3,1 млрд. Также крупные вливания в 2024 году получили EdgeConneX и DataBank. При этом в последние годы на рынок буквально заполонили частные капиталовложения. Если в 2020 году на такие инвестиции пришлось лишь 54 % стоимости закрытых сделок, то в 2021 году их доля увеличилась до 65 %. С тех пор доля выросла до 80–90 % и держится на этом уровне.

В Synergy Research подчёркивают, что стремительный рост спроса на мощности ЦОД обусловлен развитием облачных сервисов, социальных сетей и всевозможных цифровых сервисов потребительского и корпоративного уровня. ИИ только усиливает и без того высокий спрос. Уточняется, что сами операторы ЦОД не могли или не хотели инвестировать собственные средства, тогда как частные инвесторы оказались готовыми вложиться в рост рынка.

UPD 29.01.2024: Synergy обновила доклад, посвящённый сделкам на рынке ЦОД в 2024 году. Если ранее сообщалось, что их общая сумма составляла $57 млрд, то уточнённые показатели свидетельствуют, что она оказалась выше на целых $16 млрд и составила $73 млрд. В докладе указывается, что добавилась сделка, которая должна была быть закрыта лишь в начале 2025 года, но закрылась в конце декабря. Речь идёт о покупке Blackstone компании AirTrunk, состоявшейся ещё в сентябре, но завершившейся лишь перед самым Новым годом.