Консорциум Ultra Accelerator Link (UALink) объявил о расширении состава совета директоров представителями Alibaba Cloud, Apple и Synopsys. Новые члены совета будут использовать свои отраслевые знания для продвижения разработки и внедрения в отрасли UALink — высокоскоростного масштабируемого интерконнекта для производительных ИИ-кластеров следующего поколения, указано в пресс-релизе. Фактически UALink занят созданием более открытой альтернативы NVLink.

С момента основания в конце октября 2024 года количество участников UALink выросло до более чем 65 компаний, сообщил Куртис Боуман (Kurtis Bowman), председатель совета директоров UALink. Новые участники совета директоров заявили, что совместная работа над интерконнектом для ускорителей будет способствовать повышению эффективности выполнения рабочих нагрузок ИИ. Представитель Apple отметил, что UALink демонстрирует большие перспективы в решении проблем подключения и создании новых возможностей ИИ-индустрии.

В консорциум входит широкий круг компаний, от поставщиков облачных услуг и OEM-производителей до разработчиков ПО и полупроводниковых компонентов во главе с AMD, AWS, Astera Labs, Cisco, Google, HPE, Intel, Meta✴ и Microsoft, представляющих основные области разработки решений для повышения производительности нагрузок ИИ.

Источник изображения: UALink

Ожидается, что выпуск спецификации UALink 1.0 состоится в I квартале 2025 года. Она предусматривает пропускную способность до 200 Гбит/с на линию и возможность объединения до 1024 ИИ-ускорителей в пределах одного домена.

По неофициальным данным, Apple работает с Broadcom над разработкой серверного ИИ-ускорителя для обслуживания ИИ-сервисов в своих ОС. По словам трёх анонимных источников The Information, чип создаётся в рамках проекта Baltra и будет запущен в производство в 2026 году. Ранее компании уже работали над 5G-технологиями.

Деталей пока немного. На одной из конференций в этом году представитель Apple заявил, что ИИ-экосистема Apple Intelligence должна работать как на самих устройствах компании, так и в частном облаке Apple Private Cloud Compute на базе чипов M2 Ultra. Они используются для инференса, тогда как для обучения ИИ-моделей Apple использует ускорители Google TPU. Первые слухи о том, что компания разрабатывает серверные ускорители, появились в мае 2024 года.

Источник изображения: Apple

У компании богатый опыт разработки Arm-чипов, а Broadcom, помимо прочего, продаёт лицензии на различные IP-блоки и уже не раз помогала гиперскейлерам в создании кастомных чипов. Не так давно Broadcom анонсировала новую технологию упаковки 3.5D eXtreme Dimension System in Package (3.5D XDSiP), которая как раз ориентирована на создание высокопроизводительных кастомных чипов. Она позволяет объединить два 3D-стека, пару I/O чиплетов и до 12 модулей памяти HBM3 в одной упаковке, занимающей более 6000 мм². Производство первых чипов по этой технологии ожидается в 2026 году.

Созданием собственных ИИ-ускорителей заняты практически все крупные гиперскейлеры. Google первой занялась созданием собственных ускорителей и теперь в её портфолио есть уже шесть поколений TPU, Meta✴ трудится над MTIA, AWS предлагает Trainium2 и Inferentia2, Microsoft анонсировала Maia 100, Alibaba разработала Hanguang 800, а ByteDance и OpenAI пока ещё только создают будущие ускорители, причём при помощи всё той же Broadcom. Впрочем, для многих из них это попытка снизить зависимость от NVIDIA, выручка которой бьёт все рекорды.

Операторы дата-центров тратят немало ресурсов на борьбу с микрочастицами пыли, грязи и пыльцы. По данным Datacenter Dynamics, приходится использовать специальные фильтры, которые после окончания срока службы как правило отправляются на свалки. Поэтому K&N Filtration и Apple совместно создали многоразовые, экобезопасные фильтры для ЦОД. О разработке было объявлено весной этого года.

Эффективность фильтров обычно измеряется показателем MERV, свидетельствующим о размере и типе частиц, задерживаемых соответствующими блоками. Для дата-центров с воздушным или комбинированным охлаждением используются фильтры MERV 8, 11 или 13, но некоторые операторы могут использовать и решения вплоть до MERV 20. Обычные фильтры меняются три-четыре раза в год. По расчётам K&N Filtration, индустрия ЦОД в США отправляет в утиль до 60 тыс. т таких отходов ежегодно.

Источник изображений: K&N

Новые моющиеся фильтры способны прослужить много лет, позволив сэкономить немало средств. Они концептуально похоже на многоразовые фильтры для двигателей, но последние выпускаются на основе хлопка, а фильтры для ЦОД используют синтетический материал, не требующий обработки маслом после мытья. К тому же новый фильтр задерживает микрочастицы на поверхности, благодаря чему его легко чистить. В K&N Filtration утверждают, что их продукт — единственный в своём роде на рынке. Многоразовые фильтры других типов выпускаются, но они не предназначены для ЦОД.

Apple помогла довести конструкцию до совершенства — компании сотрудничают в данной сфере ещё с 2019 года. Всего было испытано более 20 вариантов прежде, чем Apple приняла окончательную версию. По словам K&N Filtration, многоразовые фильтры неоднократно пробовали использовать в ЦОД, но только совместная разработка с участием Apple нашла реальное применение на рынке. Теперь новинки используется в пяти дата-центрах Apple в США, а также продаются другим операторам. Доступны версии MERV 8, 11 и 14, а всю систему легко настроить под экологические требования конкретного ЦОД.

В отчёте Apple об устойчивом развитии за 2023 год говорится, что компания установился 38 тыс. новых фильтров, что помогло избежать отправки на свалку 25 т использованных фильтров каждый гож. Также на 35 % удалось сократить потребление энергии вентиляторами. K&N Filtration утверждает, что фильтры способны прослужить 15 лет и экологически значительнее привлекательнее даже одноразовых вариантов с аналогичным временным ресурсом.

Новые фильтры можно мыть с помощью обычного шланга с холодной водой под низким давлением, очистка происходит за 30–90 с. Впрочем, в зависимости от качества воздуха, процесс может занять и больше времени. Хотя приоритетным для производителя по-прежнему остаётся производство автомобильных фильтров, теперь компания активно занимается разработками и для дата-центров.

ИИ-инфраструктура Apple Private Cloud Compute использует не только базовую ИИ-модель собственной разработки и серверы Apple для инференса, работающие на собственных чипах Apple, но и облако Google Cloud Compute, обратил внимание ресурс HPCWire.

Сведения об ML-платформе Apple AXLearn указывают на гибридный подход к работе с ИИ, при котором Apple объединяет свои собственные серверы с возможностями Google Cloud, сообщил HPCwire, отметив, что новая инфраструктура является для Apple большим шагом вперёд. Например, Google и Microsoft, активно работают над развёртыванием ИИ ещё с конца 2022 года. Выпуск собственных систем знаменует возвращение Apple в сектор серверного оборудования после того, как в 2011 году она прекратила выпуск Xserve.

Источник изображения: Apple

Apple сообщила в своём блоге, что AXLearn использует фреймворк Google JAX и компилятор XLA и позволяет обучать модели с высокой эффективностью и масштабируемостью на различном оборудовании и облачных платформах, включая фирменные ИИ-ускорители Google TPU, а также облачные и локальные ускорители на базе GPU (конкретные модели не уточняются). У Apple есть две новые собственные ИИ-модели, одна из которых имеет 3 млрд параметров и используется для ИИ приложений на устройствах, а также более крупная LLM для запуска на серверах.

Модели, разработанные с помощью фреймворка TensorFlow, созданного Google, были обучены на TPU Google. При этом AXLearn включает оркестратор, который пока работает только с Google Cloud. Впрочем, Apple оговаривается, что «теоретически его можно расширить для работы на платформах других облачных провайдеров». Инференс же выполняется исключительно на собственных серверах компании, причём для обработки запроса пользователя каждый раз создаётся новый временный инстанс, который безвозвратно удаляется вместе с данными после завершения задачи, а для передачи информации используется сквозное шифрование.

Apple в рамках объявленного на WWDC 2024 сотрудничества c OpenAI интегрирует чат-бот ChatGPT в голосового помощника Siri, а также в другие инструменты iOS и остальных платформ. Поскольку существуют риски утечки данных на сторонней платформе, устройства Apple будут направлять запрос на разрешение пользователя отправлять данные в ChatGPT.

В ходе конференции Worldwide Developer Conference (WWDC), состоявшейся в понедельник, компания Apple упомянула о том, что её серверы на собственных чипах и ОС используются для новых ИИ-сервисов Apple Intelligence. Как отмечает The Register, прямо компания не говорила ни о CPU, ни об ОС и никогда не подтверждала слухи об ИИ-серверах собственной разработки, но отсылки ко всем этим компонентам оказались разбросаны по презентациям на WWDC.

Новые функции завязаны на Apple Private Cloud Compute — серверную экосистему, где IT-гигант применяет большие ИИ-модели, которые справляются с некоторыми задачами намного лучше, чем компактные модели на пользовательских устройствах. В компании отмечают, что Private Cloud Compute использует мощные и безопасные кастомные серверы в своих ЦОД. Также упоминается термин «вычислительный узел», но нет точных данных о том, является ли он синонимом слова «сервер».

Источник изображения: Apple

Подчёркивается, что облачные мощности используют те же аппаратные технологии обеспечения безопасности, что и, например, iPhone, включая Secure Enclave и Secure Boot. Машины используют новую защищённую ОС на базе iOS и macOS, где отсутствуют некоторые административные компоненты. К минимуму свели даже телеметрию, обычно критически важную для поддержания работы облака. Другими словами, доступ к данным получит только пользователь, доступа не будет даже у системных администраторов.

Если в ряде случаев возможностей смартфона или планшета будет не хватать для конкретной ИИ-задачи, Apple будет определять, какой необходимый минимум данных нужен для решения задачи и отправлять их в зашифрованным виде в облаке. В облаке для каждой такой задачи будет создавать зашифрованный же анклав, который после обработки данных и отправки результата пользователю (тоже с шифрованием) будет полностью удалён. Другими словами, исходные фото, видео и другой контент никогда не будут покидать устройства пользователя, а их отслеживание и расшифровка весьма проблематичны.

Уже сейчас в своих облаках Arm-чипы AWS, Google, Oracle и Microsoft. По соотношению цена/производительность они нередко лучше, чем чипы Intel или AMD, во всяком случае при решении некоторых задач, в том числе инференса, поэтому вполне логично, если к таким же решениям прибегнет и Apple.

На предстоящей конференции для разработчиков WWDC 2024, которая пройдёт в июне, Apple, как ожидается, представит новую версию iOS 18 с множеством функций генеративного ИИ. Некоторые из них будут выполняться локально, но часть будет использовать ИИ-модели, развёрнутые в ЦОД Apple.

Как сообщает Bloomberg со ссылкой на информированные источники, компания в рамках программы Apple Chips in Data Centers (ACDC) начала обновлять инфраструктуру, оснащая свои ЦОД серверами с чипами собственной разработки M2 Ultra для обеспечения более эффективной работы ИИ-моделей. По словам источников, за последние три года компания инвестировала сотни миллионов долларов в новую облачную инициативу.

Источник изображения: Apple

Чип M2 Ultra включает вычислительный модуль Neural Engine для запуска ИИ-моделей. В ближайшем будущем в ЦОД будут также устанавливаться серверы с чипами M4, представленными на прошлой неделе. Ранее на этой неделе The Wall Street Journal сообщал, что Apple в рамках ACDC разрабатывает собственные серверные ИИ-ускорители для инференса.

Пока Apple планирует использовать для новых облачных сервисов собственные ЦОД, но в конечном итоге перенесёт часть нагрузок на «сторонние объекты». На это намекнул финансовый директор Лука Маэстри (Luca Maestri). «У нас есть собственные мощности ЦОД, а затем мы используем мощности третьих сторон, — сказал он после того, как его попросили рассказать об ИИ-инфраструктуре. — Эта модель исторически хорошо работала для нас, и мы планируем продолжать в том же духе и в дальнейшем».

Компания Apple занимается разработкой собственных ИИ-полупроводников для дата-центров, передаёт The Wall Street Journal. В перспективе это поможет ей в «гонке вооружений», развернувшейся на рынке ИИ-решений. И у Apple есть ресурсы для создания передовых ИИ-чипов.

В последние десять лет компания уже выбилась в лидеры полупроводниковой индустрии, представляя всё новые чипсеты для мобильных устройств и компьютеров Mac-серии. Как свидетельствуют источники СМИ, серверный проект Project ACDC (Apple Chips in Data Center) задействует компетенции компании в деле создания решений для ЦОД. Недавно сообщалось, что Apple наняла создателя ИИ-кластеров Google. Реализацию проекта Apple начала несколько лет назад, но данных о том, когда будут готовые первые чипы, пока нет.

По имеющимся данным, компания уже тесно сотрудничает с TSMC. Предполагается, что чипы для серверов Apple будут оптимизированы для запуска ИИ-моделей, а не их обучения — на этом рынке по-прежнему будет доминировать NVIDIA. Время поджимает, поскольку Google и Microsoft уже имеют собственные ИИ-ускорители, хотя и разных классов — TPU и Maia 100. Обе компании имеют компетенции в области LLM, а Microsoft весьма дружна с OpenAI, которая тоже не прочь заняться «железом».

Источник изображения: GR Stocks/unsplash.com

Такое положение дел не устраивает инвесторов Apple, поскольку компания не продемонстрировала никаких впечатляющих успехов в соответствующей сфере, в то время как цена акций конкурентов продолжает расти на фоне новостей об их достижениях. В Apple пытаются убедить инвесторов, что это лишь временное явление и скоро грядут анонсы, связанные с ИИ. Опыт Apple в сфере разработки современных полупроводников должен помочь в создании ИИ-чипов. Сегодня компания представила 3-нм процессор M4 с самым мощным, по её словам, NPU в мире.

Хотя компания добилась определённых успехов в разработке чипов для потребительской и профессиональной электроники, определённые задачи даются ей с трудом. Например, она всё ещё бьётся над созданием собственного беспроводного модуля. Хотя в Apple предпочли бы, чтобы большинство ИИ-вычислений осуществлялись силами самих чипов, некоторые задачи будут по-прежнему выполняться в облаке, где и пригодятся новые полупроводники. Это позволит компании лучше контролировать свою стратегию развития в сфере ИИ.

Компания Apple, по сообщению ресурса Datacenter Dynamics, приняла на работу Сумита Гупту (Sumit Gupta), бывшего руководителя Google. Он займёт пост директора по продуктам Apple Cloud, на котором займётся развитием облачных технологий, а также решений, связанных с ИИ и машинным обучением.

Гупта работал в Google в течение трёх последних лет, исполняя, в частности, обязанности руководителя отдела управления продуктами Google Infrastructure. В числе прочего Гупта отвечал за общую стратегию, бизнес-операции и взаимодействие с клиентами по таким направлениям как базы данных, аналитика, управление ресурсами, чипы TPU и Arm, хранилища и сети.

Источник изображения: Google

Гупта также занимал должность старшего директора Google по управлению продуктами для инфраструктуры ИИ и машинного обучения. Под его руководством была сформирована программно-аппаратная инфраструктура для больших языковых моделей (LLM), включая семейство Gemini/Bard. Ранее он в течение шести лет работал в IBM, занимая должность директора по стратегии в области ИИ и технического директора по ИИ. А в 2007–2015 гг. Гупта занимал должность главного менеджера дата-центров для задач ИИ в NVIDIA.

В Apple Гупта возглавит формируемую команду специалистов по инфраструктуре и облачным технологиям. В описании вакансии Apple говорится, что компания создаёт мультиоблачную платформу, которая будет поддерживать все ключевые сервисы, включая музыку, телевидение, приложения ИИ и машинного обучения. Отмечается, что инфраструктура Apple включает в себя основные платформенные и управляемые сервисы, необходимые для разработки, развёртывания и широкомасштабного внедрения публичного облака.

В требованиях к соискателям в числе прочего упомянут предпочтительный опыт работы в рамках облачных платформ Google Cloud и (или) Amazon Web Services (AWS). Необходимо хорошее техническое понимание инфраструктурных услуг и облачных технологий. Диапазон базовой заработной платы для этой должности составляет от $188 тыс. до $351 тыс. в год.

Для питания своих дата-центров и колокейшн-мощностей Apple использовала в 2023 году 2,344 ТВт∙ч электроэнергии. Datacenter Dynamics сообщает, что компании принадлежит семь собственных ЦОД, а также неизвестное число колокейшн-площадок по всему миру, энергопотребление тех и других на 100 % компенсируется покупкой PPA-сертификатов.

В докладе Environmental Progress Report компания сообщила, что объект в Месе (штат Аризона) был крупнейшим потребителем, на него пришлось 488 ГВт∙ч, 82 % потреблённого электричества приходится на солнечную энергию, включая 4,76 МВт, которые получаются на территории самого кампуса. Ещё 18 % получают за счёт энергии ветра. ЦОД в Мейдене (Северная Каролина) использовал 453 ГВт·ч, 82 % приходится на солнечную энергию и 12 % — на ветряную.

В Рино (Невада) кампус потребил 440 ГВт∙ч, энергия обеспечена полностью за счёт солнца, в том числе 20 МВт от проекта Fort Churchill Solar Array, в котором используются искривлённые зеркала для концентрации света на фотоэлектрических ячейках. В Прайнвилле (Орегон) использовано 269 ГВт∙ч — 60 % получено за счёт ветряной энергии, 38 % — за счёт солнечной, а ещё 2 % — от малых ГЭС. Компания начала использовать микро-ГЭС в 2013 году, проект Earth By Design реализован рядом с ирригационным каналом. В компании утверждают, что теперь имеется уже два таких проекта.

Источник изображения: Apple

Два дата-центра в Китае использовали в общей сложности 171 ГВт∙ч, на солнечную и ветряную энергию приходится по 50 %. Правда, согласно местным законам, Apple не считается оператором этих ЦОД. На ЦОД в Виборге (Дания) пришлось 40 ГВт∙ч. Точных данных по распределению энергии не имеется, зато в Apple сообщили, что этот дата-центр не нуждается в резервных дизельных генераторах. В 2019 году компания отказалась от строительства второго ЦОД в стране, проект оценивался в $921 млн.

Что касается колокейшн-ёмкостей, то в США и за их пределами компания использовала 387 и 96 ГВт∙ч соответственно — на них приходится около 20,6 % IT-энергопотребления компании. Кстати, впервые в истории Apple использование электричества её колокейшн-объектами упало с 487,9 ГВт∙ч в 2022 году. В предыдущие пять лет до 2022 года оно росло в среднем на 14,49 % ежегодно.

В доклад не вошла отчётность об использовании Apple облаков. Компания давно пользуется услугами Google Cloud и, похоже, это крупнейший клиент платформы, а прошлом году на базе облака Google начата разработка ИИ-моделей. Самое приблизительное представление даёт статистика 2019 года. Тогда сообщалось, что более $30 млн/мес. тратится на облако AWS.

Облачная платформа AWS сообщила о доступности инстансов Amazon EC2 M2 Pro Mac. В основу положены компьютеры небольшого формфактора Apple Mac mini, оснащённые фирменными процессорами M2 Pro.

В состав платформы включены устройства Mac mini с чипами M2 Pro, которые содержат 12 ядер CPU, 19-ядерный блок GPU и 32 Гбайт унифицированной памяти с малой задержкой и пропускной способностью в 200 Гбайт/с. Предусмотрен также движок Apple Neural Engine с 16 ядрами.

По заявлениям Amazon, новые инстансы обеспечивают увеличение производительности приблизительно на 35 % по сравнению с M1 Mac. Решение предназначено для компиляции, тестирования, сборки и подписывания Xcode-приложений для платформ Apple (macOS, iOS, iPadOS, tvOS, watchOS и Safari).

Источник изображения: Amazon

Как и другие экземпляры EC2 Mac, инстансы EC2 M2 Pro Mac поддерживают аренду выделенного хоста с минимальной продолжительностью 24 часа. Клиенты, применяющие инстансы на базе Mac mini, сообщают о сокращении времени сборки до четырёх раз, увеличении числа параллельных сборок до трёх раз и уменьшении количества сбоев, связанных с оборудованием, до 80 %.