Компания Samsung Electronics объявила о разработке первых в отрасли чипов высокопроизводительной памяти HBM3E в виде 12-ярусных стеков общей ёмкостью 36 Гбайт. Изделия ориентированы на применение в системах ИИ с большой вычислительной нагрузкой.

Новые чипы Samsung HBM3E обеспечивают пропускную способность до 1280 Гбайт/с. По этому показателю, как утверждается, решения более чем на 50 % превосходят доступные на рынке 8-слойные стеки HBM3.

Источник изображения: Samsung

При изготовлении чипов Samsung применяет технологию термокомпрессии в комплексе с диэлектрической плёнкой. В результате, суммарная высота полученных 12-слойных изделий эквивалентна высоте 8-слойных. Samsung добилась наименьших в отрасли зазоров в стеке — всего 7 мкм, а также устранила пустоты между слоями. Это позволило поднять плотность вертикальной компоновки более чем на 20 % по сравнению с 8-слойными продуктами HBM3.

Кроме того, при производстве стеков Samsung использует между слоями памяти контактные выступы разного размера. Небольшие выступы служат для передачи сигналов, тогда как более крупные улучшают отвод тепла. Такой подход, по заявлениям Samsung, также способствует снижению доли брака.

В целом, как утверждается, внедрение 12-слойной памяти HBM3E по сравнению с 8-слойными изделиями даёт возможность увеличить скорость обучения ИИ-моделей на 34 %, тогда как количество одновременно обслуживаемых пользователей систем инференса может вырасти в 11,5 раз. Пробные поставки новых чипов уже начались, а массовое производство намечено на I половину 2024 года.

Нужно отметить, что буквально на днях компания Micron объявила о начале массового производства 8-слойной памяти HBM3E на 24 Гбайт с пропускной способностью более 1,2 Тбайт/с. Кроме того, Micron уже в марте начнёт распространять образцы 12-ярусных чипов HBM3E ёмкостью 36 Гбайт.

Компания Micron Technology объявила о начале массового производства передовой памяти HBM3E. Речь идёт об изделиях ёмкостью 24 Гбайт, предназначенных для ИИ-ускорителей NVIDIA H200, которые появятся на коммерческом рынке во II квартале нынешнего года.

Чипы Micron HBM3E выполнены в виде 8-ярусного стека. Заявленная скорость передачи данных превышает 9,2 Гбит/с на контакт, а общая пропускную способность сборки превосходит 1,2 Тбайт/с. Вместе с тем, как утверждается, изделия потребляют примерно на 30 % меньше энергии по сравнению с решениями конкурентов.

Источник изображения: Videocardz / Micron

Micron подчёркивает, что чипы HBM3E объёмом 24 Гбайт позволяют дата-центрам беспрепятственно масштабировать различные ИИ-нагрузки — от обучения сложных нейронных сетей до ускорения инференса. Изделия выполнены по технологии 1β (1-бета) — самому передовому техпроцессу компании. Кроме того, применены другие современные методики упаковки чипов, включая усовершенствованную технологию сквозных соединений TSV (Through-Silicon Via).

Micron также сообщила, что уже в марте нынешнего года начнёт распространять образцы 12-ярусных чипов HBM3E ёмкостью 36 Гбайт. Они, как и изделия на 24 Гбайт, обеспечат пропускную способность свыше 1,2 Тбайт/с при высокой энергетической эффективности.

Компания Samsung Electronics в ходе ежегодного мероприятия Memory Tech Day сообщила о начале поставок образцов микросхем памяти HBM3E нового поколения с кодовым названием Shinebolt. Утверждается, что изделия Shinebolt обеспечивают прирост производительности примерно на 50 % по сравнению с чипами HBM3E предыдущего поколения (Icebolt). Пропускная способность в расчёте на контакт достигает 9,8 Гбит/с против 6,4 Гбит/с у Icebolt.

Источник изображения: Samsung

Таким образом, общая пропускная способность микросхем Shinebolt составляет до 1,228 Тбайт/с. Это позволяет использовать память в высоконагруженных системах, обрабатывающих приложения генеративного ИИ и машинного обучения. С целью повышения плотности компоновки и улучшения тепловых характеристик Samsung оптимизировала свою технологию непроводящей пленки (NCF): это позволило минимизировать зазоры между слоями чипа и максимизировать теплопроводность. Samsung планирует производить 12-ярусные чипы Shinebolt с максимальной ёмкостью 36 Гбайт.

Среди других продуктов, представленных компанией Samsung на мероприятии Memory Tech Day, — 32-гигабитные чипы DDR5 DRAM, первая в отрасли память GDDR7 с пропускной способностью 32 Гбит/с и архитектура PBSSD для создания решений «петабайтного класса».

Компания SK hynix объявила о разработке самой высокопроизводительной в мире памяти HBM3E, предназначенной для использования в современных ИИ-системах. Образцы изделий уже поставляются отдельным заказчикам для оценки технических характеристик.

HBM3E — это пятое поколение памяти данного типа, приходящее на смену изделиям HBM, HBM2, HBM2E и HBM3. HBM3E представляет собой улучшенную версию HBM3. Массовое производство HBM3E компания SK hynix намерена организовать в первой половине следующего года.

Источник изображения: SK hynix

По заявлениям разработчика, память HBM3E соответствует самым высоким отраслевым стандартам скорости передачи данных. Таким образом, изделия подходят для применения в наиболее нагруженных ИИ-платформах. Кроме того, при создании памяти были учтены жёсткие требования в плане рассеяния тепла. Утверждается, что изделия HBM3E способны перемещать информацию со скоростью до 1,15 Тбайт/с.

При изготовлении чипов компания SK hynix применяет технологию Advanced Mass Reflow Molded Underfill (MR-MUF), представляющую собой метод объединения нескольких чипов памяти на одной подложке посредством спайки. Это даёт возможность улучшить теплоотведение приблизительно на 10%. Говорится об обратной совместимости с HBM3, что упрощает внедрение новой памяти.

По оценкам, доля SK hynix на мировом рынке памяти HBM по итогам 2022 года составила приблизительно 50 %. В текущем году, как ожидается, этот показатель окажется на уровне 46–49 %, в 2024 году — 47–49 %.

Компания TrendForce опубликовала свежий прогноз по глобальному рынку чипов памяти HBM: аналитики полагают, что спрос на эту продукцию будет быстро расти на фоне стремительно развивающихся ИИ-технологий. Объём поставок HBM в 2024 году может увеличиться на 105 % по сравнению с 2023-м, при этом ожидается смещение фокуса с изделий HBM2e в сторону HBM3.

В 2022 году, как отмечает TrendForce, около 70 % поставок пришлось на чипы HBM2e, тогда как доля HBM3 составила только 8 %. В 2023-м, как ожидается, эти показатели окажутся на уровне 50 % и 39 % соответственно. А в 2024 году решения HBM3 уйдут в отрыв, показав  результат примерно 60 % против 25 % у HBM2e.

Источник изображения: TrendForce

Анализ TrendForce показывает, что 2023–2024 гг. станут ключевыми для развития ИИ, что вызовет значительный рост спроса на чипы HBM. Однако надвигающийся бум производства HBM поставил поставщиков в затруднительное положение: им необходимо найти баланс между удовлетворением потребностей клиентов и недопущением формирования складских излишков из-за перепроизводства. Ещё одной проблемой является потенциальный риск «раздутого» бронирования, поскольку заказчики, ожидающие нехватку HBM, могут переоценить свои потребности.

В настоящее время SK hynix удерживает лидерство в производстве HBM, выступая в качестве основного поставщика таких чипов для ускорителей NVIDIA. Доля SK hynix по итогам 2022 года составила приблизительно 50 %. Ещё 40 % досталось Samsung, оставшиеся 10 % — Micron. В 2023 году, полагает TrendForce, доли SK hynix и Samsung будут колебаться в пределах 46–49 %, а доля Micron составит 4–6 %. В следующем году, согласно прогнозам, позиции SK hynix и Samsung окажутся в диапазоне 47–49 %. Micron будет удерживать 3–5 % отрасли.

Несмотря на то, что поставщики ещё не завершили разработку своих ценовых политик на 2024 год, TrendForce не исключает возможности дальнейшего снижения цен на продукты HBM2 и HBM2e. А вот цены на HBM3, по прогнозам, останутся такими же, как и в 2023 году.

Чем активнее внедряются ИИ-системы, тем важнее становится роль памяти HBM и DDR5, а в особенности её энергоэффективность. Так, в крупномасштабных системах на базе NVIDIA A100 на долю памяти может приходиться до 40 % потребляемой энергии. Неудивительно, что крупные производители памяти объединяют свои усилия с академическими кругами, чтобы разработать более экономичную память нового поколения.

В частности, Samsung на базе CXL и 12-нм техпроцесса уже разработала чипы DDR5 ёмкостью 16 Гбайт, который на 23 % экономичнее в сравнении с аналогичными чипами предыдущего поколения. В содействии с Сеульским национальным университетом (Seoul National University) Samsung продолжает вести работы по дальнейшему снижению энергопотребления. Сам университет также ведёт исследования в этом направлении и уже разработал новую технологию DRAM Translation Layer. Ожидается, что её внедрение поможет снизить энергопотребление DRAM ещё на 31,6 %.

Источник: SK Hynix

Не отстаёт от Samsung и другой крупный производитель устройств памяти, компания SK Hynix. Она представила новое поколение LPDDR5X, в котором применен техпроцесс High-K Metal Gate (HKMG). Благодаря материалу с оптимизированной диэлектрической проницаемостью удалось впятеро повысить заряд в ячейке, снизив при этом токи утечки. В итоге новая память LPDDR5X от SK Hynix может похвастаться на 33 % более высокой производительностью при 20 % экономии в энергопотреблении, в сравнении с предыдущим поколением.

Компания Alphawave Semi анонсировала успешное воплощение в «кремнии» своих PHY-контроллеров HBM3 и UCIe. Что немаловажно, новые IP-блоки производятся с использованием 3-нм техпроцесса TSMC, что делает их весьма экономичными решениями и открывает путь к ещё более быстрым чиплетным платформам для рынка ЦОД и гиперскейлеров.

Компания, по её собственным словам, стала первым в мире разработчиком, представившим PHY для UCIe, который работает на скорости 24 Гбит/с на линию и обеспечивает совокупную пропускную способность 7,9 Тбит/с на миллиметр. При этом благодаря применению 3-нм техпроцесса TSMC он же обеспечивает и беспрецедентную экономичность, расходуя всего 0,3 пДж/бит.

Изображение: Alphawave Semi

Новый IP совместим с другими разработками Alphawave Semi, в частности, может работать вместе с блоками PCIe и CXL. Также он поддерживает продвинутые технологии упаковки, такие, как TSMC Chip-on-Wafer-on-Substrate (CoWoS) и Integrated Fan-Out (InFO), в том числе использующие органический субстрат, что удешевляет интеграцию.

Соответствующими скоростными характеристиками может похвастаться и PHY-контроллер HBM3. Он поддерживает 16 каналов, работающих на скорости 8,6 Гбит/с, при этом очень компактен и экономичен и полностью совместим со стандартами JEDEC. Благодаря возможностям тонкой подстройки контроллер можно идеально подогнать к потребностям конкретных решений, включая ИИ и HPC.

Согласно заявлению Alphawave Semi, два новых IP-блока станут ключевыми в чиплетном IP-портфолио компании. Благодаря им крупные гиперскейлеры и владельцы ЦОД-инфраструктуры смогут гибко проектировать и реализовывать кастомные SoC, отвечающие всем современным требованиям.

Celestial AI, получившая $100 млн инвестиций, объявила о разработке интерконнекта Photonic Fabric, покрывающего все ниши: межкристалльного (chip-to-chip), межчипового (package-to-package) и межузлового (node-to-node) обмена данными.

На рынке уже есть решения вроде Lightmatter Passage или Ayar Labs TeraPhy I/O. Тем не менее, Celestial AI привлекла внимание множества инвесторов, в том числе Broadcom. Последняя поможет в разработке прототипов, которые должны увидеть свет в течение 18 месяцев. В основе технологий Celestial AI лежит сочетание кремниевой фотоники и техпроцесса CMOS (TSMC, 4 или 5 нм), разработанных совместно с Broadcom.

При этом речь идёт не об обычном «глупом» интерконнекте — разработчики говорят о блоках маршрутизации и коммутации на любом «конце» волокна. Разработка позволит объединить в одной упаковке несколько ASIC или даже SoC посредством оптического интерпозера или моста OMIB (multi-chip interconnect bridge). Celestial AI утверждает, что её технологии эффективнее, чем у конкурентов, и позволяет объединить несколько чипов с теплопакетами в районе сотен ватт.

Источник здесь и далее: Celestial AI

Пока что технология опирается на 56-Гбит/с трансиверы SerDes. С четырьмя портами на узел и четырьмя линиями на порт речь идёт о пропускной способности до 1,8 Тбит/с на 1 мм² чипа, что позволяет «прокормить» полноценную сборку из четырёх кристаллов HBM3. Второе поколение Photonic Fabric будет использовать уже 112-Гбит/с SerDes-блоки, что поднимет пропускную способность вчетверо, до 7,2 Тбит/с на мм².

Интерконнект Celestial AI не зависит от проприетарных протоколов, в его основе лежат стандарты Compute Express Link (CXL) и Universal Chiplet Interconnect (UCIe), а также JEDEC HBM. В настоящее время сдерживающим фактором разработчики называют сами шины PCIe и UCIe. Их интерконнект, считают они, способен на большее.

TrendForce отметила в своём новом исследовании, что в связи с резким ростом популярности приложений генеративного ИИ ведущие провайдеры облачных решений, включая Microsoft, Google, AWS, а также китайские технологические гиганты, такие как Baidu и ByteDance, значительно увеличили приобретение ИИ-серверов, необходимых для обучения и оптимизации ИИ-моделей.

Ажиотаж вокруг генеративного ИИ стал стимулом для разработки более мощных ИИ-серверов и роста этого сегмента рынка. Как полагают аналитики TrendForce, производители будут расширять использование в ИИ-системах передовых технологий, применяя мощные ускорители вычислений и высокопроизводительную память HBM в сочетании с современными методами упаковки чипов. Согласно прогнозу TrendForce, в течение 2023–2024 гг. вырастет спрос на HBM, а также на 30–40 % увеличатся мощности для выпуска чипов с использованием передовых методов упаковки.

Источник изображения: NVIDIA

TrendForce отметила, что для повышения вычислительной эффективности ИИ-серверов и увеличения пропускной способности памяти ведущие производители ИИ-микросхем, включая NVIDIA, AMD и Intel, наращивают использование HBM. В настоящее время у чипов NVIDIA A100/H100 имеется 80 Гбайт памяти HBM2e/HBM3. В суперчипе GH200 Grace Hopper используется ускоритель NVIDIA H100 с 96 Гбайт памяти HBM3.

В чипах серии AMD Instinct MI300 тоже используется память HBM3: у версии MI300A её ёмкость составляет 128 Гбайт, а у более продвинутой версии MI300X — 192 Гбайт. Также ожидается, что Google в рамках расширения ИИ-инфраструктуры начнёт в конце 2023 года в партнёрстве с Broadcom производство обновлённых тензорных чипов TPU, тоже с использованием памяти HBM.

Источник изображения: AMD

Согласно прогнозу TrendForce, в 2023 году будет выпущено ИИ-ускорителей с общим объёмом памяти HBM в пределах 290 млн Гбайт, что означает рост год к году на 60 %. В 2024 рост объёмов выпуска памяти HBM составит 30 % или более. Также будет расти спрос на передовые технологии упаковки чипов для сферы ИИ и высокопроизводительных вычислений (HPC). При этом преобладающим методом для ИИ-чипов будет Chip on Wafer on Substrate (CoWoS) от TSMC, позволяющий разместить на одной подложке до 12 стеков памяти HBM.

По оценкам TrendForce, с начала 2023 года спрос на CoWoS вырос почти на 50 % на фоне роста популярности ускорителей NVIDIA A100 и H100. Ожидается, что к концу года ежемесячный выпуск TSMC чипов с применением CoWoS вырастет до 12 тыс. Во второй половине 2023 года возможности заказа выпуска чипов с применением CoWoS будут ограничены в связи с растущим спросом на ИИ-чипы со стороны AMD, Google и других компаний.

Высокий спрос на использование CoWoS сохранится до 2024 года с прогнозируемым ростом производственных мощностей по упаковке этим методом на 30–40 % с учётом готовности соответствующего оборудования. Аналитики TrendForce не исключают возможности использования NVIDIA альтернативных технологий упаковки для производства ускорителей в случае сохранения высокого спроса на системы ИИ. Речь идёт о разработках компаний Samsung и Amkor.

Исследование, проведённое компанией TrendForce, говорит о том, что многие поставщики облачных услуг (CSP) начали крупномасштабные инвестиции в ИИ-оборудование. Связано это с развитием платформ интеллектуального Интернета вещей (AIoT), периферийных вычислений и появлением приложений вроде ChatGPT.

По оценкам TrendForce, в 2022 году на ИИ-серверы, оснащённые GPGPU-ускорителями, приходилось менее 1 % от суммарного объёма поставок серверов в мировом масштабе. В текущем году, как ожидается, отгрузки таких систем вырастут на 8 %. В целом, в период с 2022 по 2026 гг. прогнозируется показатель CAGR (среднегодовой темп роста в сложных процентах) на уровне 10,8 %.

В 2022-м примерно 66,2 % от всех закупок ИИ-серверов пришлось на четырёх IT-гигантов — Google, AWS, Meta✴ и Microsoft. Среди китайских гиперскейлеров лидером по закупкам таких серверов в 2022 году стала компания ByteDance с долей 6,2 %. Далее следуют Tencent, Alibaba и Baidu с результатом 2,3 %, 1,5 % и 1,5 % соответственно.

Источник изображения: TrendForce

В плане аппаратного обеспечения, как отмечается, для ИИ-нагрузок применяются преимущественно ускорители H100, A100 и A800 разработки NVIDIA, а также решения MI250 и MI250X производства AMD. Причём изделие A800 разработано специально для китайского рынка. По оценкам TrendForce, NVIDIA контролирует около 80 % соответствующего сегмента, а AMD — оставшиеся 20 %.

ИИ-ускорители используют HBM. По оценкам TrendForce, на долю такой памяти в настоящее время приходится около 1,5 % от общего объёма рынка DRAM. Ведущими поставщиками HBM являются Samsung, SK hynix и Micron. Согласно прогнозам TrendForce, рынок HBM будет устойчиво расти: показатель CAGR здесь составит более 40–45 % в период с 2023 по 2025 год. Ожидается, что SK hynix станет доминирующим поставщиком HBM3, поскольку только она способна массово производить такие решения, которые взяты на вооружение компанией NVIDIA.

Если объединить потребности ChatGPT и других приложений Microsoft, то в 2023 году корпорация может заказать около 25 000 ИИ-серверов. Baidu, в свою очередь, может закупить около 2000 ИИ-серверов для своего бота ERNIE и других интеллектуальных приложений.