Облачная платформа AWS официально представила инстансы EC2 Trn2 и Trn2 UltraServer — самые высокопроизводительные решения EC2, ориентированные на ИИ-приложения, машинное обучение и задачи инференса. В основу положены фирменные ускорители Amazon Trainium2 второго поколения.

ИИ-ускорители Trainium2 содержат восемь ядер NeuronCore и 96 ГиБ памяти HBM с пропускной способностью 2,9 Тбайт/с. Ядра могут адресоваться и использоваться по отдельности или же пары физических ядер могут быть сгруппированы в один логический блок. Trainium2 обеспечивает FP8-быстродействие до 1,3 Пфлопс, а FP8-производительность в разреженных вычислениях достигает 5,2 Пфлопс.

Инстансы EC2 Trn2 содержат 16 ускорителей Trainum2, связанных посредством интерконнекта NeuronLink. В сумме это даёт 128 ядер NeuronCore и 1,5 ТиБ памяти HBM с суммарной пропускной способностью 46 Тбайт/с. Производительность на операциях FP8 достигает 20,8 Пфлопс. Каждый инстанс включает 192 vCPU, 2 ТиБ памяти и адаптеры AWS Elastic Fabric Adapter (EFA) v3 на 3,2 Тбит/с.

Источник изображений: AWS

Утверждается, что инстансы Trn2 обеспечивают в четыре раза более высокую производительность, в четыре раза большую пропускную способность памяти и в три раза большую ёмкость памяти, нежели инстансы Trn1. Кроме того, экземпляры Trn2 предлагают на 30–40 % лучшее соотношение цены и производительности, чем EC2 P5e и P5en на базе GPU. Инстансы Trn2 доступны в регионе AWS US East (Огайо), а в ближайшем будущем появятся и в других зонах.

В свою очередь, платформа UltraServer включает четыре инстанса Trn2 (64 ускорителя Trainum2) с интерконнектом NeuronLink с низкой задержкой. В сумме это даёт 512 ядер NeuronCore и 6 ТиБ памяти HBM с суммарной пропускной способностью 185 Тбайт/с. Быстродействие на операциях FP8 составляет 83 Пфлопс (332 Пфлопс в разреженных вычислениях). Новые узлы используют СЖО.

Десятки тысяч ускорителей Trainium2 могут формировать кластеры EC2 UltraCluster. В частности, такую систему в рамках инициативы Project Rainier компания Amazon намерена создать в партнёрстве со стартапом Anthropic, который специализируются на технологиях генеративного ИИ. Интересно, что ИИ-суперкомпьютер Project Rainier будет распределённым — его узлы разместятся сразу в нескольких ЦОД. ВОЛС между дата-центрами организует Lumen. Одной из причин от попытки построить один гигантский кампус называется невозможность быстро получить достаточно энергии в одном месте, хотя у компании уже есть площадка рядом с АЭС.

Недавно Amazon объявила о намерении удвоить инвестиции в Anthropic, доведя их до $8 млрд. Создание системы Rainier планируется завершить в следующем году. Ожидается, что она станет одним из крупнейших в мире вычислительных кластеров для обучения моделей ИИ. По заявлениям AWS, комплекс обеспечит в пять раз более высокую производительность по сравнению с платформой, которую Anthropic использовала до сих пор для разработки своих языковых моделей. Достанутся ли Anthropic и ресурсы ещё облачного ИИ-суперкомпьютера Project Ceiba, который получит 21 тыс. суперчипов NVIDIA Blackwell, не уточняется.

Кроме того, по сообщению The Register, компания Amazon приоткрыла завесу тайны над ИИ-ускорителями следующего поколения — изделиями Trainium3. По сравнению с предшественниками они, как утверждается, обеспечат четырёхкратное увеличение быстродействия. Говорится, что Trainium3 станет первым специализированным ускорителем для ИИ и машинного обучения, созданным на основе 3-нм техпроцесса. Эффективность по сравнению с Trainium2 увеличится примерно на 40 %. Ожидается, что на коммерческом рынке изделия Trainium3 появятся в конце 2025 года.

Компания Marvell Technology, занимающаяся полупроводниковыми инфраструктурными решениями, объявила о расширении стратегического партнёрства с Amazon Web Services (AWS). Стороны заключили соглашение сроком на пять лет, включающее сотрудничество в работе над несколькими продуктами AWS, а также использование облачной инфраструктуры техногиганта, сообщает пресс-служба Marvell.

Соглашение касается широкого спектра решений Marvell, предназначенных для дата-центров. В том числе речь идёт о поставке кастомизированных ИИ-чипов для AWS, оптических и электрических DSP, PCIe-ретаймеров, оптических сетевых решениях, чипсетов для коммутаторов и др. Компетенции Marvell позволят AWS усовершенствовать собственные продукты, сетевое оборудование и СХД, добившись большей эффективности и снижения стоимости эксплуатации.

Источник изображения: LinkedIn Sales Solutions/unsplash.com

Для автоматизации проектирования электроники (EDA) в Marvell приняли подход cloud first, разработка ведётся с использованием облака AWS, где компании доступны практически неограниченные вычислительные ресурсы. В Marvell уже заявили, что решения AWS EDA помогут компании быстро, гибко и безопасно масштабировать проектирование полупроводников с лучшим в своём классе временем выхода на рынок. Сотрудничество играет на руку и AWS — продукты Marvell активно используются в инфраструктуре Amazon.

Развитие энергоёмких ИИ-систем кардинально меняет структуру ЦОД в Европе. Если когда-то Ирландия была «сердцем» IT-индустрии континента, то теперь страна может потерять свои преимущества. Дело в том, что энергетическая инфраструктура страны и ЦОД гиперскейл-уровня с трудом поспевают за ростом спроса на ИИ-технологии — это ставит под угрозу её положение «общеевропейского ЦОД», сообщает eWeek.

Ирландия давно стала ключевым игроком на рынке дата-центров, а Дублин — локацией с высокой концентрацией ЦОД гиперскейлеров. По информации Synergy Research Group, в этом отношении ирландская столица занимает третье место после Северной Вирджинии и Лондона.

Amazon, Microsoft и Google используют масштабные сети ЦОД для своих облачных сервисов. Но из-за роста спроса на электричество в связи с развитием ИИ энергосистема страны работает на пределе возможностей. Не так давно сообщалось, что ирландские ЦОД увеличили энергопотребление на 473 % за восемь лет.

Эксперты предполагают, что потребности ИИ в электричестве вырастут вдвое уже к 2026 году, что окажет огромное давление на энергосистему Ирландии. Недостаток модернизированных сетей в стране побудил местного сетевого оператора EirGrid ввести мораторий на новые заявки для подключения ЦОД с ноября 2021 года.

Источник изображения: Datacenters.com

Уже сейчас на дата-центры приходится 21 % энергопотребления в Ирландии, впервые по этому показателю они обошли городские домохозяйства. Местные регуляторы предупреждают о дефиците энергии и увеличении потребительских расходов на неё из-за высокой скорости роста спроса — он растёт быстрее, чем развивается инфраструктура.

Пока в Ирландии ищут выход из сложившегося положения, другие страны Евросоюза способны использовать в своих интересах рост спроса на ЦОД. У Франции в резерве значительные мощности ядерной энергетики, а на севере Европе подходящий для ЦОД климат и немало источников возобновляемой энергии. По данным McKinsey, регионы с доступной низкоуглеродной энергетикой будут играть в индустрии ЦОД ключевую роль в ближайшие годы. Техногиганты стремятся минимизировать затраты и добиться нулевых показателей выбросов, многие из них уже нацелились на Северную Европу и Францию.

Следующие несколько лет станут решающими для Ирландии — станет понятно, способна ли страна модернизировать энергетическую инфраструктуру, чтобы сохранить доминирование в облачном бизнесе — или она уступит позиции другим европейским игрокам. IT-гиганты AWS, Google и Microsoft даже готовы прокладывать собственные линии электропередач в стране из-за нехватки государственных. Кроме того, Equinix и Microsoft тестируют в Ирландии генерацию экобезопасной энергии на местах, а Microsoft и вовсе разрешили построить собственную газовую электростанцию.

Уходящая администрация действующего президента США Джо Байдена (Joe Biden) объявила об ограничениях экспорта в Китай высокопроизводительной HBM-памяти, критически важной для производства ИИ-ускорителей. Запрет коснётся более сотни китайских организаций, сообщает The Register.

Ограничения, обновлённые и анонсированные Бюро промышленности и безопасности (BIS) в минувший понедельник, препятствуют экспорту HBM в ряд стран, в частности — в КНР. Модули такой памяти производятся всего несколькими поставщиками в мире, включая южнокорейские Samsung и SK Hynix, а также американскую Micron. В модулях HBM применяются передовые технологии упаковки, недоступные КНР. В Китае активно ведутся работы по импортозамещению технологий. В частности, над собственными HBM-модулями трудится ChangXin Memory Technologies (CXMT).

Источник изображения: Debbie Molle/unsplash.com

HBM чрезвычайно важна для обучения ИИ и инференса и гораздо эффективнее (G)DDR, хотя она дороже и потребляет больше энергии. В последних поколениях оборудования память порой даже важнее FP-производительности. Например, в версиях NVIDIA H200 и AMD MI325X HBM3 заменена на более быструю HBM3e. Особенно результаты заметны при эксплуатации больших языковых моделей (LLM). Однако для моделей поменьше достаточно более простых и доступных ускорителей NVIDIA и AMD с памятью GDDR.

По новым правилам производители памяти должны будут получать специальные экспортные лицензии для продажи HBM китайскому бизнесу. Как показал опыт Cerebras и Groq, при выполнении некоторых технических условий можно обойтись и SRAM. Оба разработчика добились отличных показателей при инференсе, даже в сравнении с решениями с HBM. Пока неизвестно, сможет ли SMIC предложить собственное решение аналогичного класса. В любом случае, запрет на экспорт в Китай HBM не означает завершение масштабных китайских ИИ-проектов.

При Байдене США уже ввели множество ограничений на экспорт, чтобы лишить Китай доступа к технологиям, связанным с передовыми полупроводниками и ИИ-ускорителями, в том числе на поставки высокопроизводительных чипов и литографических EUV-машин для их выпуска. Тем не менее, успехи КНР в сфере ИИ ставят под сомнение эффективность санкций.

Российская компания Delta Computers анонсировала систему Delta Spider. Это, как утверждается, первый в РФ модульный восьмипроцессорный сервер на аппаратной платформе Intel Xeon Sapphire Rapids.

В составе Delta Spider применяются чипы с 60 ядрами, значение TDP которых может достигать 385 Вт. Возможны конфигурации с двумя, четырьмя и восемью процессорами, что в сумме даёт до 480 ядер. Процессоры объединены шиной UPI. Поддерживается память DDR5-4400/4800, объём которой в максимальной конфигурации составляет 32 Тбайт (128 × 256 Гбайт).

Доступны базовые варианты Spider L и Spider XL в формате 7OU и 13OU соответственно. Допускается установка соответственно 16 и 32 SSD типоразмера SFF (U.2; NVMe) толщиной 7 мм или 8 и 16 SSD толщиной 15 мм. В модуле управления предусмотрены ещё два посадочных места для SSD (U.2; NVMe) толщиной 7 мм. Версия Spider L располагает 12 слотами для карт PCIe 5.0 х16 HHHL, модификация Spider XL — 24 слотами.

Источник изображений: Delta Computers

Серверы оборудованы гибридной системой охлаждения (вода+воздух) Delta Hybrid Cooling с возможность горячей замены вентиляторов, которая позволяет процессорам постоянно работать в Boost-режиме. Питание осуществляется от централизованного шинопровода OCP (12 В). Модуль управления наделён двумя портами USB 3.0, разъёмом 1GbE RJ-45, интерфейсами D-Sub и Mini-DP, а также сервисным портом USB Type-C. Применяется разработанное в России микропрограммное обеспечение Delta BIOS и Delta BMC.

По заявлениям Delta Computers, платформа Delta Spider подходит для высоконагруженных приложений, таких как системы управления предприятием (ERP и CRM), автоматизированные банковские системы (ABS), аналитические сервисы принятия решений реального времени, биллинговые и платежные системы, а также иных in-memory приложений.

В Калуге бывший завод Samsung перепрофилировали. По данным «Ведомостей», теперь объект арендован российским дистрибутором VVP Group и на нём уже стартовал сбор серверов под брендом «Гравитон». Впрочем, официальных сведений о выпуске серверов «Гравитон» на данном заводе пока нет — представители бренда не комментируют новость, а VVP Group не отвечает на запрос журналистов.

В своё время на калужском заводе Samsung выпускала все телевизоры и мониторы для российского рынка. Оттуда же шли поставки в Казахстан, Молдавию, Монголию, Азербайджан, Армению, Белоруссию и Грузию. После заморозки компанией поставок комплектующих в Россию в 2022 году были приостановлены и поставки компонентов на собственный завод.

В 2024 году подразделение ООО «Самсунг электроникс рус Калуга», владеющее объектом, передало его в аренду VVP Group, последняя сначала наладила сдачу помещений в субаренду, а потом запустила первое контрактное производство телевизоров для «М.Видео-Эльдорадо». По оценкам экспертов речь может идти о выпуске до полумиллиона единиц продукции в год, благодаря чему завод вернётся к полной загрузке мощностей.

Источник изображения: Homa Appliances/unsplash.com

По данным самой «Гравитон», под соответствующим брендом сейчас выпускается по 20 тыс. серверов на собственных объектах, дополнительно «Гравитон» с лета 2024 года заказывает выпуск на сторонней площадке OpenYard, расположенной в Рязанской области. Всего запланировано выпускать более 50 тыс. плат для клиентских устройств и серверного оборудования.

В сентябре «Гравитон» стал заказывать выпуск мониторов и печатных плат под своим брендом (тоже для мониторов). Пробная партия составила 1 тыс. мониторов, а до конца I квартала следующего года предполагается выпустить 60 тыс. изделий. Бренд «Гравитон» принадлежит ООО «Революционные технологии», по 50 % которого находятся в собственности у Александра Башлыкова и вендора 3Logic Group (ООО «Новый ай ти проект»).

В 2022 году зарубежные производители серверов начали покидать Россию и многие продукты доступны лишь через параллельный импорт, из-за чего возник дефицит. По мнению экспертов для компенсации дефицита нужны объёмные поставки компонентов от процессоров до материнских плат и систем охлаждения, а также глубокая интеграция оборудования с ПО. В 2023 году российский рынок серверов составил около 150 млрд руб., но в текущем году он, вероятно, вырастет ещё на 10 %.

Российский производитель IT-оборудования Delta Computers анонсировал Ethernet-коммутатор Delta Dragonfly типа Bare Metal, предназначенный для развёртывания высокоскоростных инфраструктур уровня ядра сети, а также уровней агрегации и доступа в средних и крупных компаниях.

Решение выполнено в форм-факторе 1U с габаритами 630 × 439 × 43 мм. Задействованы ASIC Broadcom Tomahawk 3 (коммутационная ёмкость — 12,8 Тбит/с), а также процессор Intel Xeon Emerald Rapids. Предусмотрены четыре слота для модулей оперативной памяти DDR5-5600.

Для Delta Dragonfly доступны модификации DN5032, DN4032, DN3032, DN4424, а также DN3424 с поддержкой соответственно 32 портов QSFP-DD 400 Гбит/с, 32 портов QSFP-56 200 Гбит/с, 32 портов QSFP-28 100 Гбит/с, 24 портов QSFP-56 200 Гбит/с и четырёх портов QSFP-DD 400 Гбит/с, а также 24 портов QSFP-28 100 Гбит/с и четырёх портов QSFP-DD 400 Гбит/с. Все варианты располагают двумя разъёмами SFP+ 10 Гбит/с.

Источник изображений: Delta Computers

Коммутаторы могут получать питание от двух блоков CRPS, общей DC-шины OCP (12 В) или от сети 48–60 В телеком-стандарта (Telco Rack). В системе охлаждения задействованы пять вентиляторов. Применяется созданные в России прошивки Delta BIOS и Delta BMC. Утверждается, что Delta Dragonfly является оптимальным выбором для ЦОД, корпоративных сред и HPC-платформ.

Кроме того, компания Delta Computers представила высокоскоростной PCIe-коммутатор Delta Firebird, обеспечивающий возможность объединения до шести устройств по интерфейсу PCIe 5.0 x16 в кластер. Горизонтальная масштабируемость на базе PCIe 5.0 позволяет создавать разнообразные конфигурации кластеров высоконагруженных систем. Изделие выполнено в формате 1U с размерами 481 × 629 × 43 мм. Возможно питание от двух блоков CRPS или от централизованного шинопровода OCP на 12 В. Применено встроенное ПО Delta BMC.

Оба коммутатора могут быть использованы в стандартных 19″ серверных стойках и в OCP-шасси формата 21″.

Решения виртуализации «Базис» стали основой «Облака КИИ» — первого на российском рынке защищённого облака, построенного на отечественных решениях и способным размещать объекты критической информационной инфраструктуры (КИИ).

Решения были успешно проверены на совместимость с другими компонентами импортозамещённого облака: сетевым оборудованием, серверами и СХД, а также системным ПО, таким как российские ОС. Кроме того, клиентам «Облака КИИ» в ближайшее время станут доступны для использования и другие решения, входящие в экосистему «Базис»: платформа виртуализации рабочих мест Basis Workplace, DevOps-конвейер для организации полного цикла разработки и тестирования Basis Digital Energy, средство резервного копирования кластеров Kubernetes и виртуальных машин Basis Virtual Protect.

«Облако КИИ» — первое в России мультитенантное защищённое облако, построенное на отечественных программных и аппаратных решениях, было запущено провайдером РТК-ЦОД в октябре текущего года. На данный момент это единственный такой продукт на рынке. Клиенты уже могут заказать IaaS-сервисы, т.е. разместить в облаке, например, системы геолокации и мониторинга, управления складом и логистики, аналитики производства, а также медицинские, банковские и другие ИС. На следующий год запланировано появление PaaS- и SaaS-сервисов.

Источник изображения: «РТК-ЦОД»

Безопасность «Облака КИИ» подтверждена аттестатом соответствия требованиям Приказа ФСТЭК №239, что позволяет размещать в нем объекты КИИ до 2 категории значимости включительно и обеспечивать защищённое подключение к нему пользователей. Вместе с тем данное облако аттестовано в соответствии с требованиями по обработке персональных данных 1 уровня защищённости, а также требованиями по защите информации государственных информационных систем 1 класса. Пользователями сервисов «Облака КИИ» в первую очередь могут быть организации-субъекты КИИ, но продукт также подойдёт крупным коммерческим компаниям, которые уделяют особое внимание защите своих информационных систем.

«За последние два года количество атак на средний и крупный бизнес, даже не относящийся к КИИ, увеличивается на десятки процентов ежегодно. Причём растёт количество не только случаев кражи чувствительных сведений или кибервымогательства, но и диверсий, когда целью злоумышленников является уничтожение данных или нанесение максимального ущерба инфраструктуре компании-цели. Виртуализация является одним из ключевых слоёв современной инфраструктуры, поэтому мы уделяем максимум внимания безопасности экосистемы «Базиса» — внедряем лучшие практики безопасной разработки, тестируем продукты на уязвимости, сертифицируем их и регулярно проходим инспекционный контроль ФСТЭК. Уверен, именно эти усилия привели к тому, что экосистема «Базис» был выбрана для первого в России отечественного облака КИИ», — отметил Давид Мартиросов, генеральный директор «Базис».

«Мы в РТК-ЦОД накопили огромный опыт в части хранения и обработки информации, а также обеспечения безопасности данных крупнейших государственных организаций и бизнеса. Объединив свой опыт с экспертизой наших партнёров, таких как «Базис», мы создали уникальный для российского рынка продукт. Альтернативой ему для бизнеса может быть самостоятельное создание защищённого частного облака, что потребует привлечения дорогостоящих специалистов, значительных вложений времени и ресурсов при отсутствии гарантии результата. Бизнес это понимает, и мы видим значительный интерес со стороны рынка, который уже превратился в первые успешные сделки», — прокомментировал Александр Обухов, директор по продуктам РТК-ЦОД.

Продукт РТК-ЦОД «Облако КИИ» в 2024 году получил награду CNews Awards в номинации «Проект года», REFORUM AWARDS в номинации «Компания, которая поменяла рынок», а также премию «Приоритет 2024» за развитие технологического суверенитета России.

Nebius, бывшая материнская компания «Яндекса», объявила о проведении частного размещения акций, в рамках которого она привлекла $700 млн, пишет Bloomberg. По словам гендиректора Nebius Аркадия Воложа, в финансировании приняли участие десятки известных инвесторов, включая существующего партнёра, производителя чипов NVIDIA, венчурную фирму из Кремниевой долины Accel и компанию по управлению инвестициями Orbis Investment.

В рамках частного размещения Nebius выпустит 33,3 млн акций по цене $21 за единицу, что включает премию в 3 % к средней цене акции с момента возобновления торгов 21 октября на Nasdaq. Nebius также заявила, что не будет проводить обратный выкуп акций, который был одобрен после закрытия сделки по разделению активов с «Яндексом» до возобновления торгов на Nasdaq. По словам Воложа, финансирование в размере $700 млн даст Nebius дополнительные возможности для более быстрого и масштабного создания кластеров ускорителей, облачных платформ и других инструментов для разработчиков ИИ.

Источник изображений: Nebius

Nebius планирует инвестировать в расширение инфраструктуры ИИ в Европе $1 млрд к середине 2025 года, но Волож заявил, что в конечном итоге сумма инвестиций может быть и больше. Nebius арендует ЦОД в Канзас-Сити (штат Миссури), и может расширить деятельность в США, где базируется более половины клиентов компании. Ранее компания запустила первый ИИ-кластер во Франции на базе NVIDIA H200, а также объявила о планах втрое увеличить ёмкость дата-центра в Финляндии.

Волож выразил надежду, что Nebius получит ранний доступ к столь ожидаемым чипам Blackwell от NVIDIA, но инвестиции не гарантируют этого. «Сделка не касается GPU, — сообщил он. — Но она, конечно, демонстрирует наши тесные отношения, которые, как мы надеемся, повлияют на нашу деятельность». Волож также ожидает, что ещё больше инвестиций удастся привлечь в 2025 году. В рамках сделки партнёр Accel Мэтт Вейганд (Matt Weigand) войдёт в совет директоров Nebius. Изначально он будет иметь статус наблюдателя, пока не будет официально избран на ежегодном собрании акционеров компании в 2025 году.

На фоне этих новостей акции Nebius подскочили в понедельник на предварительных торгах примерно на 16 % до $25,50 с $21,99 в пятницу. В связи с укреплением финансового положения Nebius улучшила свой финансовый прогноз, ожидая достичь к концу 2025 года годовой ставки доходности (annualized run rate, ARR) от $750 млн до $1 млрд. Предыдущий прогноз составлял от $500 млн до $1 млрд.

В этом году в России значительно увеличились инвестиции разработчиков вычислительной техники в развитие ИИ-оборудования, пишет «Коммерсантъ» со ссылкой на данные участников рынка. По оценкам экспертов, на разработку сервера с ИИ с постановкой на производство уходит в среднем 100 млн руб.

В консорциуме АНО «Вычислительная техника» (АНО ВТ, объединяет 33 разработчика вычислительной техники, в том числе «Аквариус», Yadro, ГК «Элемент» и др.) сообщили о росте объёма инвестиций в оборудование для ИИ на 40 %. По данным консорциума, доля вложений в это направление в финансировании разработок составила в этом году 14,2 %, а выпуск ИИ-оборудования увеличился на 10,5 %. Как ожидают в АНО ВТ, в течение трех лёт на оборудование для ИИ будет приходиться в среднем 23,7 % выручки разработчиков электроники.

О 40-процентном росте инвестиций в разработку серверов для ИИ сообщили и в Fplus. На данный момент компания разработала четыре модели ИИ-серверов, которые будут внесены в реестр Минпромторга. В Kraftway тоже отметили увеличение инвестиций в оборудование для ИИ в 2024 году. Компания планирует в 2025 году больше инвестировать в разработку и производство СХД для нейросетей, поскольку с развитием ИИ уже со следующего года к этому оборудованию, как ожидается, возникнет серьёзный интерес.

Источник изображения: Fplus

В компании «Гравитон» сообщили о разработке нескольких платформ для ИИ, которые появятся на рынке в 2025 году. По данным компании, за девять месяцев 2024 года спрос госкомпаний на ИИ-серверы вырос вдвое. В НТЦ «Модуль» отметили значительный рост интереса к своей продукции, в том числе, к ИИ-серверам, и рассказали о планах увеличить в следующем году выпуск собственных нейроускорителей в различном исполнении.