Вступивший в должность президента США Дональд Трамп (Donald Trump) объявил о ряде мер, фактически направленных на отмену защиты окружающей среды. Это ускорит получение разрешений на реализацию проектов по добыче ископаемого топлива и его использования в энергетике, в том числе для питания ИИ ЦОД, сообщает Datacenter Dynamics.

По данным Министерства энергетики (DoE), к 2028 году на ЦОД придётся от 6,7 % до 12 % от всего энергопотребления США. В день инаугурации Трамп объявил о «чрезвычайной ситуации» в сфере энергетики, обратив внимание на рост спроса на дата-центры и цифровую инфраструктуру вообще. Именно они, по его словам, стали определяющими факторами при принятии революционного решения. Оппоненты Трампа уже заявили, что речь идёт о «катастрофе» для работающих семей, уничтожении рабочих мест на производстве и предоставлении льгот компаниям, загрязняющим окружающую среду.

Трамп подписал указы, поощряющие разработку нефти и газа на Аляске, отменив решение предыдущей администрации, предусматривавшее изъятие около 18 млн га на севере Берингова моря, а также находящихся в федеральном ведении других морских территорий из нефтегазовой программы Министерства внутренних дел (в США занимается земельными и иными вопросами, не связанными с правоохранительной деятельностью).

Источник изображения: Patrick Hendry/unsplash.com

Более того, Трамп отменил заявленные ранее цели по внедрению электромобилей, приостановил аренду ветряных энергоустановок на внешнем континентальном шельфе США и поручил проанализировать практику федерального правительства по аренде и выдаче разрешений на проекты ветрогенерации. Наконец, Трамп вновь вышел из Парижского соглашения, посвящённого борьбе с изменениями климата — в его прошлый президентский срок это вызвало немало споров.

Пока неизвестно, как скажутся решения Трампа на добыче ископаемого топлива в США. Его и так получают небывалыми темпами — в среднем в 2024 году США добывали рекордные 13,2 млн баррелей сырой нефти в сутки. По словам Трампа, его реформы помогут вновь превратить США в производственного гиганта. Он подчеркнул, что у США есть крупные запасы нефти и газа в мире. Отказ от угольных электростанций теперь тоже под вопросом.

Источник изображения: Ege Güngör / Unsplash

Поддержка бизнесов, работающих на ископаемом топливе, может оказать важнейшее влияние на индустрию дата-центров. В 2024 году немало соответствующих структур подписали соглашения о поставках природного газа для обеспечения своей работы. Так, Meta✴ заявила, что её новый 1,5-ГВт ЦОД в Луизиане стоимостью $10 млрд будет запитан от газовых турбин. Крупные нефтегазовые компании тоже начали открыто ориентироваться на сектор ЦОД. Например, ExxonMobil объявила о намерении построить газовые электростанции на 1,5 ГВт для питания дата-центров.

Также недавно сообщалось, что Oklo и RPower займутся развитием гибридных электростанций для ЦОД, которые сначала будут работать исключительно на природном газе, а потом постепенно переключатся на малые модульные реакторы Oklo. В текущей ситуации операторы ЦОД, возможно, не смогут выполнить свои природоохранные обязательства — но с политикой новой администрации это может и не стать проблемой.

Хотя на китайском рынке ИИ-ускорителей по-прежнему доминирует NVIDIA, Huawei намерена отнять у неё значительную его долю. Для этого китайский разработчик намерен помочь китайским ИИ-компаниям внедрять чипы собственного производства для инференса, сообщает The Financial Times. Для обучения ИИ-моделей китайские производители в массе своей применяют чипы NVIDIA. Huawei пока не готова заменить продукты NVIDIA в этом деле из-за ряда технических проблем, в том числе из-за проблем с интерконнектом ускорителей при работе с крупными моделями.

Предполагается, что в будущем именно инференс станет пользоваться большим спросом, если темпы обучения ИИ-моделей замедлятся, а приложения вроде чат-ботов будут распространены повсеместно. Если инференс нужен постоянно, то к обучению ИИ-моделей прибегают лишь время от времени. По словам сотрудников и клиентов Ascend, компания сосредоточена на менее сложном, но, возможно, более прибыльном пути. Но поскольку ускорители NVIDIA и Huawei используют разные программные экосистемы, последняя предлагает бизнесам ПО для обеспечения совместимости.

Продукция Huawei продвигается при поддержке китайского правительства, внутри страны именно эта компания считается наиболее серьёзным конкурентом NVIDIA. И хотя китайские компании всё более ограничены в доступе к аппаратным решениям NVIDIA из-за санкций, они охотно покупают даже урезанные чипы H20, которые всё равно считают более предпочтительным вариантом, чем китайские альтернативы.

Источник изображения: Huawei

Задача Huawei — убедить разработчиков отказаться от платформы CUDA, во многом благодаря которой NVIDIA и смогла добиться успеха на рынке. От проблем с ПО страдает и AMD — по словам экспертов, именно оно не позволяет раскрыть потенциал ускорителей Instinct MI300X. Впрочем, готовящаяся к релизу версия Huawei Ascend 910C должна решить эти проблемы, поскольку новое поколение ускорителей получит ПО, упрощающее работу разработчиков. Тем временем китайские Baidu и Cambricon добились определённых успехов в разработке собственных ИИ-ускорителей, а ByteDance обратилась за помощью к Broadcom.

По оценкам SemiAnalysis, в прошлом году NVIDIA заработала $12 млрд на продажах своей продукции в Китае, поставив 1 млн ускорителей H20, т.е. вдвое больше, чем Ascend 910B. Впрочем, отрыв, по словам экспертов, быстро сокращается, поскольку Huawei наращивает производство. Отмечается, что рост доли Huawei на рынке ИИ-ускорителей отчасти сдерживается лишь недостаточным предложением её продукции. По мнению экспертов, наращивать производство будет трудно, поскольку Китайское вынужден использовать устаревшее оборудование из-за санкций США.

Специализация на инференсе может свидетельствовать и об особом векторе развития китайских ИИ-систем, отличающемся от американского. Китайские компании не участвуют в гонке Meta✴, xAI и OpenAI по созданию мегакластеров на базе решений NVIDIA. Зато большей эффективности в задачах инференса можно добиться даже с более слабыми чипами. Снизив стоимость работы ИИ-моделей, можно будет сохранять конкурентоспособность даже в таких условиях.

В прошлом месяце китайский стартап DeepSeek представил ИИ-модель V3, обеспечивающую низкие затраты на обучение и инференс в сравнении с сопоставимыми по возможностям моделями из США. DeepSeek утверждает, что Huawei успешно адаптировала V3 к Ascend. Ранее сообщалось, что Huawei охотно направляет к клиентам специалистов для помощи с переходом с NVIDIA на Ascend.

Президент США Дональд Трамп (Donald Trump) объявил во вторник об инвестициях частного сектора в размере до $500 млрд на финансирование инфраструктуры искусственного интеллекта (ИИ), стремясь превзойти конкурирующие страны в критически важных для бизнеса технологиях, пишет Reuters.

Трамп сообщил на брифинге в Белом доме, что OpenAI, Softbank и Oracle планируют создать совместное предприятие под названием Stargate, которое построит «физическую и виртуальную инфраструктуру для поддержки следующего поколения ИИ», включая ЦОД по всей стране. О проекте Stargate по созданию 5-ГВт ИИ ЦОД за $100 млрд сообщалось ещё весной прошлого года, но тогда речь шла о совместном предприятии Microsoft и OpenAI.

К президенту присоединились глава SoftBank Масаёси Сон (Masayoshi Son), гендиректор OpenAI Сэм Альтман (Sam Altman) и председатель директоров Oracle Ларри Эллисон (Larry Ellison), чтобы объявить о создании нового предприятия, которое Трамп назвал «крупнейшим проектом инфраструктуры ИИ в истории». Эти компании, наряду с другими акционерами Stargate инвестируют для начала $100 млрд в проект, а оставшиеся инвестиции, как ожидается, будут сделаны в течение следующих четырёх лет. Ожидается, что проект создаст 100 тыс. рабочих мест в США, сказал Трамп.

Источник изображения: Taylor Vick/unsplash.com

SoftBank, OpenAI и Oracle указаны как «первоначальные инвесторы в акционерный капитал» в Stargate. Microsoft также участвует в Stargate в качестве технологического партнера, равно как и Arm с Nvidia. Фонд MGX с на Ближнего Востока присоединится к SoftBank в его инвестициях. Первой публичной сделкой MGX была инвестиция в OpenAI.

Эллисон сообщил, что первый гигаваттный ЦОД площадью 92,9 тыс. м² уже строится в техасском Абилине (Abilene). Он сказал, что будет построено двадцать ЦОД, площадью 46,5 тыс. м² каждый. SoftBank будет нести финансовую ответственность за Stargate, а OpenAI — операционную ответственность. Четвёртый партнёр, MGX, также внесёт свой вклад в финансирование СП. Масаёси Сон станет председателем Stargate, заявила OpenAI.

После публикации этой новости акции Oracle подскочили примерно на 7 %, побив рекорд роста в течение дня, установленный 26 декабря прошлого года. Акции Oracle увеличились за последний год примерно на 56 %.

Oracle заявила, что проект Stargate «обеспечит американское лидерство в области ИИ, создаст сотни тысяч рабочих мест в Америке и принесет огромную экономическую выгоду всему миру. Этот проект не только поддержит реиндустриализацию Соединенных Штатов, но и предоставит стратегические возможности для защиты национальной безопасности Америки и ее союзников».

Ранее в этом месяце миллиардер Хуссейн Саджвани (Hussain Sajwani) из ОАЭ пообещал , что его компания DAMAC инвестирует $20 млрд в американские ЦОД.

Новый отчёт Национальной лаборатории возобновляемой энергии США (NREL), подведомственной Министерству энергетики страны (DoE), говорит, что к 2035 году на федеральных землях можно будет развернуть проекты возобновляемой энергетики общей мощностью 51–84 ГВт. Вместе они способны обеспечить порядка 10 % поставок «чистой» энергии, необходимых США для достижения нулевого уровня выбросов, сообщает Datacenter Dynamics.

Как свидетельствует доклад, прогнозы основаны на геопространственной модели высокого разрешения, учитывающей технический потенциал и максимальный объём доступных ресурсов на федеральных землях, пригодных для развития энергетики. Для более реалистичной оценки NREL обратилась к пяти федеральным структурам, от Министерства обороны США (DoD) до Службе охраны рыбных ресурсов и диких животных (FWS).

В отчёте указывается, что федеральные земли обладают значительным потенциалом в контексте возобновляемой энергетики с общей мощностью 7,7 ТВт: 5,75 ТВт для солнечной энергии, 875 ГВт — ветряной, 130 ГВт — гидротермальной, 975 ГВт — геотермальных циркуляционных систем (ГЦС). В случае применения более строгих ограничений на размещение объектов потенциал таких земель падает до 1750 ГВт для солнечных установок, а на ветряные и вовсе останется только 70 ГВт.

Впрочем, для достижения целевых показателей, упомянутых в докладе, этого будет вполне достаточно. Всего потребуется не более 810 тыс. га — менее 0,5 % всех федеральных земель и 5 % от площади, доступной для застройки в принципе. Из них лишь около 330 тыс. га (0,2 % федеральных земель) будут подвергнуты существенному изменению.

Источник изображения: Milada Vigerova/unsplash.com

Ушедшая администрация США распорядилась выделить часть земель Министерства обороны и Министерства энергетики в аренду застройщикам, занимающимся кампусами ИИ ЦОД гигаваттной ёмкости, а также проектам, связанным с «чистой» энергетикой. Также предусматривается совершенствование сетей электропередачи, примыкающих к этим участкам. Сегодня ЦОД считаются одними из крупнейших пользователей возобновляемой энергии в США. Однако возобновляемая энергетика в стране развивается недостаточно быстро для того, чтобы обеспечить растущие потребности дата-центров.

При этом дефицит инфраструктуры для электропередачи и долгое время подключения к ним возобновляемых источников энергии ведут к тому, что операторы ЦОД стали заключать соглашения с альтернативными поставщиками энергии, использующими для генерации природный газ и ядерное топливо. Новые атомные реакторы планируется устанавливать даже на территории старых атомных и угольных электростанций.

Публичное акционерное общество «Транснефть» направило повторный иск к американской Cisco Systems и её российскому юрлицу ООО «Сиско Солюшенз», занимавшемуся дистрибьюцией и продажами оборудования вендора, о взыскании 56 млн руб., сообщили «Ведомости» со ссылкой на данные картотеки арбитражных дел.

Сумма взыскания отражает убытки «Транснефти» из-за досрочного одностороннего прекращения Cisco Systems и ООО «Сиско Солюшенз» предоплаченных услуг технической поддержки лицензий в соответствии со ст. 15 и 393 ГК РФ.

Прошлый иск «Транснефти» от 6 сентября 2024 года был оставлен без движения до 24 октября 2024 г. из-за нарушения требований при подаче заявления, в том числе отсутствия приложенных документов, подтверждающих соблюдение истцом претензионного или иного досудебного порядка. Позже его вернули к заявителю.

Источник изображения: Tingey Injury Law Firm/unsplash.com

Суд тогда сообщил, что к заявленным требованиям должны быть применены меры по досудебному урегулированию спора. Как было указано в судебном документе, одновременно с подачей иска, 6 сентября, в адрес Cisco Systems была направлена претензия со сроком рассмотрения до 7 октября включительно. То есть исковое заявление было загружено в систему «Мой Арбитр» до истечения установленного законом тридцатидневного срока. Ответа на указанную претензию в материалах дела нет, отметили в суде.

3 декабря «Транснефть» подала апелляцию на решение суда вернуть иск к Cisco и Девятый арбитражный апелляционный суд отменил решение суда первой инстанции. После этого «Транснефтью» был подан иск на новое рассмотрение.

Индустрию ЦОД в 2025 году будет буквально лихорадить. Развитие ИИ грозит невыполнением обязательств, взятых операторами относительно достижения целей устойчивого развития. Более того, власти, вероятно, столкнутся с враждебностью общественности, выступающей против новых ИИ-проектов, сообщает Uptime Institute. Необходимо будет пересмотреть и способы доставки и распределения электроэнергии. Соответствующие прогнозы Uptime Institute связаны с ростом спроса на дата-центры из-за бума ИИ-технологий и связанных с ними облачных сервисов.

Аналитики предполагают, что ресурсоёмкость новых ЦОД и их выбросы парниковых газов приведут к усилению сопротивления людей, проживающих вблизи дата-центров. Это приведёт к противостоянию с властями, которых обычно интересует экономические выгода от ЦОД. Ещё одной проблемной темой является использование воды и земли дата-центрами. При этом ЦОД зависимы от налоговых льгот и предоставляют довольно мало рабочих мест, поэтому местные жители и экоактивисты вряд ли будут их развитию.

В Uptime Institute напоминают, что многие правительства установили цели по ограничению выбросов парниковых газов до нуля, но допускают, что бум ИИ почти наверняка сделает эти цели недостижимыми. При этом власти, похоже, убеждены в экономической целесообразности развития ИИ. Свежим примером является эпохальный план Великобритании, объявившей о намерении превратиться в ИИ-сверхдержаву.

Источник изображения: Patrick Hendry/unsplash.com

Также аналитики прогнозируют, что ЦОД придётся активно участвовать в управлении энергосетями из-за растущего спроса на электричество. Им наверняка придётся более тесно сотрудничать с коммунальными компаниями, а в худшем случае самим добывать и хранить электроэнергию и быть готовыми поделиться её. Так, Microsoft внедрила в кампусе ЦОД в Дублине «интерактивные» ИБП, энергию из которых можно отдавать в общую сеть, что поможет компенсировать колебания поставок энергии из возобновляемых источников. Там же строится частная газовая электростанция. Вероятно, так будут поступать многие операторы, по запросу отдавая электроэнергию в общие сети.

В целом, как прогнозируют в Uptime Institute, сектору придётся перестраиваться из-за потребностей ИИ-инфраструктуры. Плотность уже превышает 40 кВт на стойку, а суперускорители NVIDIA GB200 NVL72 и вовсе требуют 120 кВт. Рост плотности и ёмкости создаёт проблемы в инфраструктуре управления питанием. Без пересмотра архитектуры многие ЦОД могут превратиться в подстанции или электростанции, построенные возле относительно небольших кампусов. Поэтому придётся переходить к новым топологиям распределения энергии и принимать другие меры, на что потребуется время. 2025 году может стать поворотным, поскольку новые инвестиции позволят сделать реформы возможными.

Источник изображения: NIKLAS LINIGER/unspalsh.com

Также Uptime Institute прогнозирует, что ИИ-модели станут всё чаще обучать в облаках, а компании будут арендовать ресурсы вместо закупки собственного вычислительного оборудования. Некоторые эксперты, впрочем, подвергают целесообразность развёртывания крупных ИИ-моделей в облаке сомнению — в Canalys, например, уверены, что бизнес обратится к поставщикам колокейшн-услуг и специализированных операторов вроде CoreWeave.

В целом операторы ЦОД, по мнению экспертов, начнут уделять больше внимания ускорителям не от NVIDIA. Предполагется, что рынок ИИ-решений в 2025 году станет более разнообразным. Кроме того, инфреренс требует намного меньше ресурсов, чем обучение моделей, поэтому тут вполне сгодится продукция, например, Cerebras и SambaNova.

В Uptime Institute заключили, что 2025 год станет проверкой компетенции операторов ЦОД и их способности ориентироваться в новых вызовах, связанных с ИИ. Нужно будет не только справляться с новыми задачами, но и добиваться целей устойчивого развития. Совместить это будет очень непросто.

В то время как крупные корпорации, специализирующиеся на ИИ, присматриваются к Индии в поисках выгодных возможностей, недавние меры экспортного контроля США вызвали обеспокоенность по поводу дальнейшего расширения вычислительных мощностей в этой стране, передаёт DIGITIMES.

Напомним, администрация США ввела в действие требование AI Diffusion rule («Правило распространения ИИ»), которое предусматривает лицензирование ИИ-чипов, используемых в дата-центрах. Фактически все страны разделены на три уровня. Верхний предполагает неограниченный доступ к ИИ-чипам и мощным ИИ-моделям: такими привилегиями смогут воспользоваться члены G7 и некоторые другие государства. Страны второго уровня, к которым относится Индия, смогут получить до 1700 новейших ИИ-ускорителей без специального разрешения. В целом же им разрешено приобретать вычислительную мощность, эквивалентную до 320 тыс. передовых GPU в течение следующих двух лет. Государства третьего уровня, такие как Китай, Иран, Россия и Северная Корея, подпадают под полный запрет на поставку современных ИИ-решений.

Источник изображения: unsplash.com / Levi Meir Clancy

По оценкам, общая вычислительная ИИ-мощность в Индии на сегодняшний день эквивалентна 25 тыс. передовых GPU. Страна анонсировала инициативу IndiaAI, в рамках которой планируется приобрести около 10 тыс. ускорителей для дальнейшего расширения экосистемы ИИ. Это позволит удовлетворить потребности в ресурсах в краткосрочной перспективе. Однако из-за значительного размера рынка Индии в будущем, как ожидается, возникнет необходимость в закупке гораздо большего количества ИИ-чипов.

Президент Индийской ассоциации электроники и полупроводниковой продукции (IESA) Ашок Чандак (Ashok Chandak) заявил, что масштабные ИИ ЦОД, которым требуются сотни тысяч ускорителей, могут столкнуться с задержками развития или необходимостью сокращения запланированной вычислительной ёмкости. Такая ситуация негативно отразится на конкурентоспособности местных предприятий на мировом рынке. Кроме того, обязательное лицензирование может привести к бюрократическим проблемам и увеличению расходов.

Эксперты говорят, что решение американских властей ввести ограничения на приобретение Индией передовых ИИ-чипов несколько удивительно, учитывая, что в последние годы США активно поддерживали усилия этой страны по развитию ее полупроводникового потенциала в контексте геополитической напряжённости. С другой стороны, новая мера экспортного контроля вполне объяснима с точки зрения исторических связей Индии и России. Аналитики считают, что введённые меры экспортного контроля могут ускорить усилия Индии по разработке собственных ИИ-решений.

KKR & Co. намерена приобрести долю в Gulf Data Hub, одном из крупнейших операторов дата-центров на Ближнем Востоке. Богатый ресурсами регион постепенно превращается для мировых фондов в площадку для инвестиций на фоне роста спроса на инфраструктуру ЦОД, сообщает Bloomberg. Финансовые детали пока не раскрываются, но компании объявили о необходимости потратить $5 млрд на развитие инфраструктуры в регионе и по всему миру.

В прошлом году KKR заявляла, что рост спроса на дата-центры для ИИ и облачных вычислений придаст импульс расходам в соответствующем секторе — до $250 млрд ежегодно. KKR и её конкуренты Blackstone и Brookfield Asset Management агрессивно накачивают деньгами рынок ЦОД.

Gulf Data Hub, основанная в 2012 году, имеет штаб-квартиру в Дубае. Компания владеет семью ЦОД в стране, а также соседней Саудовской Аравии. Новые площадки планируется построить и в других странах Персидского залива. Сделка с KKR стала одной из крупных международных инвестиций в бизнесы ОАЭ. Ранее KKR, имеющая офисы в Дубае и Эр-Рияде, инвестировала в нефтепроводы и авиакомпании.

Источник изображения: Piotr Chrobot/unsplash.com

Благодаря огромным энергетическим резервам и большим запасом средств Персидский залив становится всё более привлекательным регионом для инвестиций. Доступ региона к дешёвой энергии и его расположение на «перекрёстке» континентов считаются дополнительными преимуществами, а ОАЭ и Саудовская Аравия соревнуются за право стать главным региональным ИИ-хабом. По словам KKR, сегодня Ближний Восток является одним из самых привлекательных регионов для инвестиций «вдолгую».

В 2008 году KKR сформировала отдельную команду для инвестиций в инфраструктурные объекты. Портфолио соответствующих проектов компании к осени прошлого года достигло порядка $77 млрд. KKR потратила $29 млрд в ходе 22 инвестиций в ЦОД, ВОЛС и сопутствующие бизнесы. Ещё $15 млрд было потрачено на энергетику и коммунальные компании.

Стартап d-Matrix создал ИИ-ускоритель Corsair, оптимизированный для быстрого пакетного инференса больших языковых моделей (LLM). Архитектура ускорителя основана на модифицированных ячейках SRAM для вычислений в памяти (DIMC), работающих на скорости порядка 150 Тбайт/с. Новинка, по словам компании, отличается производительностью и энергоэффективностью, пишет EE Times. Массовое производство Corsair начнётся во II квартале. Среди инвесторов d-Matrix — Microsoft, Nautilus Venture Partners, Entrada Ventures и SK hynix.

d-Matrix фокусируется на пакетном инференсе с низкой задержкой. В случае Llama3-8B сервер d-Matrix (16 четырёхчиплетных ускорителей в составе восьми карт) может производить 60 тыс. токенов/с с задержкой 1 мс/токен. Для Llama3-70B стойка d-Matrix (128 чипов) может производить 30 тыс. токенов в секунду с задержкой 2 мс/токен. Клиенты d-Matrix могут рассчитывать на достижение этих показателей для размеров пакетов порядка 48–64 (в зависимости от длины контекста), сообщила EE Times руководитель отдела продуктов d-Matrix Шри Ганесан (Sree Ganesan).

Источник изображений: d-Matrix

Производительность оптимизирована для исполнения моделей в расчёте до 100 млрд параметров на одну стойку. По словам Ганесан, это реалистичный сценарий использования LLM. В таких сценариях решение d-Matrix обеспечивает 10-кратное преимущество в интерактивности (время до получения токена) по сравнению с решениями на базе традиционных ускорителей, таких как NVIDIA H100. Corsair ориентирован на модели размером менее 70 млрд параметров, подходящих для генерации кода, интерактивной генерации видео или агентского ИИ, которые требуют высокой интерактивности в сочетании с пропускной способностью, энергоэффективностью и низкой стоимостью.

Ранние версии архитектуры d-Matrix использовали MAC-блоки на базе SRAM-ячеек, дополненных большим количеством транзисторов для операций умножения. Сложение же выполнялось в аналоговом виде с использованием разрядных линий, измерения тока и аналого-цифрового преобразования. В 2020 году компания выпустила чиплетную платформу Nighthawk на основе этой архитектуры. «[Nighthawk] продемонстрировал, что мы можем значительно повысить точность по сравнению с традиционными аналоговыми решениями, но мы всё ещё отстаем на пару процентных пунктов от традиционных решений типа GPU», — сказал EE Times генеральный директор d-Matrix Сид Шет (Sid Sheth).

Однако потенциальным клиентам не понравилось, что при таком подходе возможно снижение точности, так что в Corsair компания вынужденно сделала выбор в пользу полностью цифрового сумматора. ASIC d-Matrix включает четыре чиплета, каждый из которых содержит по четыре вычислительных блока, объединённых посредством DMX Link по схеме каждый-с-каждым, и по одному планировщику и RISC-V ядру. Внутри каждого вычислительного блока есть 16 DIMC-ядер, состоящих из наборов SRAM-ячеек (64×64), а также два SIMD-ядра и движок преобразования данных. Суммарно доступен 1 Гбайт SRAM с пропускной способностью 150 Тбайт/с.

ASIC объединён со 128 Гбайт LPDDR5 (до 400 Гбайт/с) посредством органической подложки (без дорогостоящего кремниевого интерпозера). Хотя текущее поколение ASIC включает только четыре чиплета именно из-за ограничений подложки, в будущем их количество увеличится. Внешние интерфейсы ASIC представлены стандартным PCIe 5.0 x16 (128 Гбайт/с) и фирменным интерконнектом DMX Link (1 Тбайт/с) для объединения чиплетов.

FHFL-карта Corsair включает два ASIC d-Matrix (т.е. всего восемь чиплетов) и имеет TDP на уровне 600 Вт. Ускоритель работает с форматами данных OCP MX (Microscaling Formats) и обеспечивает до 2400 Тфлопс в MXINT8-вычислениях или 9600 Тфолпс в случае MXINT4. Две карты Corsair можно объединить посредством 512-Гбайт/с мостика DMX Bridge. Их, по словам компании, достаточно для задействования тензорного параллелизма. Дальнейшее масштабирование возможно посредством PCIe-коммутации. Именно поэтому d-Matrix работает с GigaIO и Liqid. В одно шасси можно поместить восемь карт Corsair, а в стойку, которая будет потреблять порядка 6–7 кВт — 64 карты.

d-Matrix уже разрабатывает ASIC следующего поколения Raptor, который должен выйти в 2026 году. Raptor будет ориентирован на «думающие» модели и получит ещё больше памяти за счёт размещения DRAM непосредственно поверх вычислительных чиплетов. SRAM-чиплеты Raptor также перейдут с 6-нм техпроцесса TSMC, который используется при изготовлении Corsair, к 4 нм без существенных изменений микроархитектуры. По словам компании, она потратила два года на работу с TSMC, чтобы создать 3D-упаковку для нового поколения ASIC.

Как отмечает EETimes, команда разработчиков ПО d-Matrix в два раза больше команды разработчиков оборудования (120 против 60). Стратегия компании в области ПО заключается в максимальном использовании open source экосистемы, включая PyTorch, OpenAI Triton, MLIR, OpenBMC и т.д. Вместе они образуют программный стек Aviator, который отвечает за конвертацию моделей в числовые форматы d-Matrix, применяет к ним фирменные методы разрежения, компилирует их, распределяет нагрузку по картам и серверам, а также управляет исполнением моделей, включая обслуживание большого количества запросов.

CoreWeave и IBM заключили соглашение о сотрудничестве, в рамках которого стартап поставит IBM один из первых своих ИИ-суперкомпьютеров на базе NVIDIA GB200 NVL72 с интерконнектом Quantum-2 InfiniBand. В качестве хранилища будет использоваться высокопроизводительная All-Flash СХД IBM Storage Scale System. IBM будет использовать облачную платформу CoreWeave для обучения семейства больших языковых моделей (LLM) Granite.

Источник изображения: CoreWeave

Сообщается, что облачная платформа CoreWeave специально создана для обеспечения ведущей в отрасли производительности, надёжности и отказоустойчивости с безопасностью корпоративного уровня. Фирменный набор ПО и облачные сервисы предоставляют инструменты, необходимые для управления самой сложной и масштабной ИИ-инфраструктурой. В рамках соглашения о сотрудничестве клиенты CoreWeave получат доступ к платформе IBM Storage.

По словам вице-президента по ИИ в IBM Research, платформа CoreWeave позволит дополнить возможности IBM при разработке передовых, производительных и экономичных моделей для поддержки корпоративных приложений и ИИ-агентов. В свою очередь, IBM Storage Scale System расширяет возможности CoreWeave. «В рамках сотрудничества мы будем использовать этот суперкомпьютер для продвижения открытых технологий, таких как Kubernetes, которые будут поддерживать вычисления ИИ в гибридной облачной среде», — добавил представитель IBM.

Вероятно, IBM не хватает собственных вычислительных ресурсов — в ноябре появилась информация о том, что компания готова арендовать у AWS ИИ-ускорители за почти полмиллиарда долларов.