В III квартале 2024 фискального года, завершившегося в октябре 2023-го, компания NVIDIA заработала впечатляющие $14,5 млрд на решениях для дата-центров. Как сообщает Tom’s Hardware, значительная часть выручки приходится на передовые ускорители H100 для ИИ и HPC-систем.

Данные опубликовала компания Omdia, отслеживающая активность на рынке IT-решений. Согласно её анализу, крупнейшими покупателями ускорителей H100 стали гиперскейлеры вроде Meta✴ и Microsoft, значительно обогнавших по объёмам закупок Google, Amazon, Oracle и Tencent. Если Microsoft и Meta✴ приобрели по 150 тыс. ускорителей, то их «коллеги» по IT-рынку — по 50 тыс. При этом гиперскейлерам отдаётся очевидный приоритет при выполнении заказов.

В Omdia пришли к выводу, что до конца года будет поставлено почти 650 тыс. H100. В то же время срок выполнения новых заказов на серверы на базе ускорителей компании вырос с 36 до 52 недель. Так, Dell, HPE и Lenovo не могут полностью удовлетворить свои потребности в ускорителях для своих серверов в кратчайшие сроки. В итоге год к году поставки серверов в количественном выражении рухнут на 17–20 %, однако общая выручка поднимется на 6–8 %.

Источник изображения: Omdia

В 2027 году рынок серверов должен вырасти до $195,6 млрд, причём основное предпочтение будет отдаваться специализированным вариантам под конкретные задачи, оснащённым специальными сопроцессорами. Запрос на серверы с кастомными конфигурациями становится новой нормой по мере того, как заказчики осознали экономическую эффективность применения сопроцессоров и ускорителей. Пионерами в этой сфере стали компании, связанные с ИИ и медиаконтентом, но привлекательность таких решений, как ожидается, в ближайшем будущем будет оценена и в других секторах.

По мере того, как генеративный ИИ становится всё популярнее, растёт и дефицит вычислительных ресурсов, что создаёт значимые барьеры для новичков, желающих заняться бизнесом в этой сфере. Как сообщает DigiTimes, проблему, возможно, помогут решить облачные игровые сервисы, располагающие огромным числом высокопроизводительных ускорителей, которые можно использовать для ИИ-проектов.

Например, тайваньское подразделение японского сервис-провайдера Ubitus располагает десятками тысяч ускорителей — столько имеют немногие бизнесы в IT-отрасли. По мнению некоторых экспертов, облачные игровые сервисы скоро могут принять участие в разработках, связанных с генеративным ИИ. По классификации SemiAnalysis IT-компании делились на две группы: «богатые» ускорителями и «бедные». В первую группу входят немногочисленные компании, владеющие более 20 тыс. ускорителей A100 или H100, например, Google, Anthropic, X, Meta✴, Inflection и OpenAI, причём у некоторых есть и более 100 тыс. ускорителей.

Изображение: NVIDIA

В первой половине ноября 2023 года Ubitus объявила о сотрудничестве с Национальным университетом Тайваня в области ИИ-вычислений — компания, возможно, является крупнейшим на острове оператором ускорителей, изначально предназначенных для облачных игровых проектов. Фактически излишки ресурсов уже направляются на работу с большими языковыми моделями (LLM), в частности, на китайском языке. По некоторым данным, IT-гиганты вроде Google уже предлагали компании рассмотреть возможность участия в развитии ИИ-отрасли на Тайване.

При этом тайваньские эксперты подчёркивают, что для облачных игр обычно применяют флагманские GPU серии RTX — они гораздо менее производительны в ИИ-задачах, но и на порядок дешевле специализированных ускорителей. Впрочем, в Ubitus утверждают, что преимущественно используют ускорители именно такого типа, включая H100, A100 и L40S в PCIe-исполнении.

Спрос на ИИ-ускорители NVIDIA так высок, что производитель чипов не может удовлетворить его в полной мере. В результате, как сообщает The Korean Economic Daily, создатель ведущего поискового портала Южной Кореи — компания Naver Corporation — для ряда ИИ-нагрузок перешла с использования ускорителей NVIDIA на Intel Xeon Sapphire Rapids, как из-за дефицита, так и по причине роста цен на продукцию.

По данным СМИ, Naver Corp. начала использовать решения Intel для ИИ-серверов картографического сервиса Naver Place. Корейский IT-гигант использует ИИ-модель для распознавания ложных данных в случаях, когда пользователи ведут поиск по ключевым запросам вроде «ближайшие рестораны» в приложении Naver Map. Ранее именно продукты NVIDIA применялись для обработки таких данных. Впрочем, речь идёт в первую очередь об инференсе, а для обучения моделей компания всё равно вынуждена использовать ИИ-ускорители.

Приобрести ИИ-ускорители NVIDIA, включая H100, стало очень сложно, а цены на последние с начала года выросли в Южной Корее вдвое. Но даже если у вас есть средства, время с момента размещения заказа на ускорители до их получения уже увеличилось до 52 недель, так что быстро обновить парк серверов не выйдет. При этом ускорители способны справляться с ИИ-задачами на порядок быстрее CPU.

Источник изображения: Naver

Как утверждают отраслевые эксперты, Intel усовершенствовала технологии работы с ИИ-системами, желая угодить клиентам, ищущим альтернативы ускорителям NVIDIA. Например, Naver в течение месяца тестировала ИИ-сервер на основе процессоров компании перед его вводом в эксплуатацию. Вероятно, южнокорейский IT-гигант продолжит использовать CPU Intel новых поколений.

По мнению экспертов, сотрудничество Naver и Intel может привести к ослаблению позиций NVIDIA на рынке чипов для ИИ-вычислений. По некоторым данным, Microsoft объединила усилия с AMD, чтобы помочь последней в экспансии на рынке ИИ-процессоров. Компании сотрудничают для конкуренции с NVIDIA, контролирующей около 80 % мирового рынка ИИ-чипов.

Как заявил недавно на конференции Code Conference технический директор Microsoft Кевин Скотт (Kevin Scott), приобрести ускорители компании NVIDIA для ИИ и HPC-вычислений уже не так сложно, как ещё несколько месяцев назад. По данным портала Tom’s Hardware, проблема доступности и поставок активно решается производителем.

По словам того же Скотта, ещё не так давно спрос намного превышал предложение всех производителей ускорителей. Хотя дефицит ещё не исчез, ситуация улучшается буквально с каждой неделей. В последнее время драйвером огромного спроса на ускорители были техногиганты, включая Microsoft, активно осваивающие рынок ИИ-продуктов, в том числе для сторонних клиентов. Для тренировки больших языковых моделей (LLM), обычно используются ускорители именно NVIDIA, в результате чего спрос на них в 2023 году стремительно взлетел, а рост стоимости акций «зелёных» с начала года составил 190 %.

Источник изображения: NVIDIA

В ходе недавнего отчёта о доходах NVIDIA сообщила о намерении повысить объёмы поставок в следующем году. Параллельно появилась информация о том, что трафик одного из самых популярных чат-ботов, ChatGPT от OpenAI, существенно падал в течение трёх месяцев подряд. OpenAI использует облачную платформу Microsoft Azure, так что нагрузка на неё в последнее время не столь велика. По словам Скотта, занимающегося в числе прочего и распределением ресурсов, эта задача в последние кварталы была чрезвычайно трудной, но теперь выполнять свои обязанности стало намного легче.

Скотт не стал комментировать слухи о том, что Microsoft якобы разрабатывает собственные ИИ-чипы, но подтвердил, что компания прилагает немалые усилия в работе над полупроводниковыми проектами и инвестировала в них немало средств. При этом он признал, что в последние годы NVIDIA остаётся ведущим партнёром Microsoft в ИИ-секторе, но подчеркнул, что компания будет выбирать наилучшие решения для своих систем, какое бы происхождение они ни имели.

Нехватка кадров в «Ростелекоме» привела к решению автоматизировать ряд процессов с помощью искусственного интеллекта (ИИ) собственной разработки. Как сообщает «Коммерсантъ», будут частично автоматизированы разработка ПО, аналитика и тестирование. Впрочем, эксперты опасаются, что масштабное стимулирование властями подготовки IT-специалистов может привести к избытку кадров на фоне внедрения ИИ и снижению зарплат.

О намерении компенсировать дефицит специалистов ИИ-разработками сообщил на днях вице-президент «Ростелекома» по IT. По его словам, подготовкой к этому необходимо заниматься уже сейчас, чтобы получить результат через два–три года. Позже в компании уточнили, что речь идёт о проекте «Лукоморье», касающегося полного цикла разработки ПО, от бизнес-анализа и проектирования до тестирования и создания документации. При этом в компании обещают не заменять ею действующих IT-специалистов.

Источник изображения: julien Tromeur/unsplash.com

По данным «Ростелекома», «Лукоморье» найдёт применение как в проектах самой компании, так и в сторонних бизнесах, которые тоже будут приобретать новые решения для устранения кадрового голода. Хотя бюджет проекта остаётся в секрете, некоторые эксперты оценивают его в сумму от в 1,5 млрд руб., а некоторые и вовсе говорят о «миллиардах рублей»ещё на этапе обучения нейросети, причём на реализацию даже базового проекта уйдут годы.

Глава Минцифры считает, что дефицит IT-специалистов в России составляет 500–700 тыс. человек. Поэтому многие крупные компании обращаются к ИИ. Например, чат-бот GigaChat от Сбербанка пополнился инструментом разработки и дополнения кода GigaCode. Активно развивает собственные технологии соответствующего профиля и «Яндекс». При этом эксперты уверены, что нейросети послужат лишь вспомогательным инструментом, а полного исключения людей из работы ожидать не стоит. Впрочем, допускается появление новых IT-специальностей, связанных именно с ИИ, а готовых специалистов действительно может оказаться в избытке.

Некоторые эксперты прогнозируют избыток IT-специалистов в течение следующих 10 лет, что приведёт к падению зарплат в отрасли. Согласно весенним прогнозам Goldman Sachs, ИИ позволит автоматизировать порядка 300 млн рабочих мест в мире, а в McKinsey предполагают, что уже в ближайшее время в США автоматизируют до 30 % рабочего времени, сообщает «Коммерсантъ».

Компания Cisco отрапортовала о работе в последней четверти и 2023 финансовом году в целом, который был закрыт 29 июля. По ключевым показателям зафиксирован заметный рост. Так, выручка за трёхмесячный период достигла $15,2 млрд, что на 16 % больше прошлогоднего результата, равного $13,1 млрд.

В общем объёме продаж на продукты пришлось $11,65 млрд; ещё $3,55 млрд принесли сервисы. С географической точки зрения американский рынок остаётся крупнейшим с продажами на уровне $9,08 млрд. Регион EMEA (Европа, Ближний Восток и Африка) обеспечил $3,93 млрд, рынок APJC (Азиатско-Тихоокеанский рынок, Япония и Китай) — $2,20 млрд.

Источник изображения: Cisco

Чистая прибыль Cisco в IV квартале 2023 финансового года достигла $4,0 млрд против $2,8 млрд годом ранее. Таким образом, по данному показателю отмечен рост на 41 %. Прибыль в пересчёте на одну ценную бумагу за год взлетела на 43 % — с 68 до 97 центов.

Отмечается, что Cisco практически избавилась от огромного количества невыполненных заказов, которые она накопила в период пика пандемии COVID-19, спровоцировавшего многочисленные сбои в каналах поставок. Задержки в отгрузках продуктов во многих случаях достигали нескольких месяцев. При этом сама Cisco не только недополучала средства от поставок оборудования, но и была вынуждена приостанавливать для таких заказчиков оказание сопутствующих услуг, что также приводило к сокращению денежных потоков.

По итогам 2023 финансового года в целом Cisco получила $57,0 млрд выручки — на 11 % больше по сравнению с предыдущим годом ($51,6 млрд). Чистая прибыль поднялась на 7 % — с $11,8 млрд до $12,6 млрд.

Ещё в прошлом месяце контрактный производитель полупроводников TSMC заявил о том, что спрос на чипы упал во всех сегментах рынка, за одним исключением — чипы для ИИ по-прежнему пользуются высоким спросом. Как сообщает Barron’s, в первую очередь речь идёт о чипах NVIDIA, доминирующих на рынке соответствующих решений.

Растущий спрос на генеративные ИИ-системы привёл к тому, что ускорители H100 стали самым ценным ресурсом. Как заявляют в Amazon Web Services (AWS), спрос на них устойчиво превышает предложение. Своей точкой зрения на проблему поделился и технический директор облачного ИИ-провайдера CoreWeave Брайан Вентуро (Brian Venturo). Компания одной из первых начала предлагать доступ к H100 и имеет тесные связи с NVIDIA — последняя инвестировала в стартап не менее $100 млн.

По словам Вентуро, если в I квартале 2023 года можно было довольно легко получить новые ускорители, то уже в апреле ситуация кардинально изменилась буквально за неделю — сроки выполнения заказов стали переноситься на конец года. H100 потребовались облачным провайдерам, крупным корпорациям и лабораториям, занимающимся ИИ-решениями. Сейчас H100 практически невозможно приобрести. Желающие сделать заказ сегодня могут рассчитывать на поставки в I или II квартале 2024 года. CoreWeave уже оформляет заказы, которые NVIDIA должна выполнить во II и III кварталах 2024 года.

Источник изображения: NVIDIA

При этом решения других компаний, включая AMD, по данным CoreWeave, не пользуются таким спросом. Продукты NVIDIA не просто имеют лучшую аппаратную составляющую, но и развитое и повсеместно распространённое ПО — у стартапов просто нет времени для внедрения решений AMD или Google TPU. NVIDIA годами инвестировала в программную платформу CUDA и теперь, как считает Вентуро, на 10 лет опережает конкурентов.

В кратко- и среднесрочной перспективе CoreWeave не видит появления значимых конкурентов NVIDIA. Так, TPU или AWS Trainium являются весьма специфическими решениями, не подходящими для обычных стартапов, которым требуются быстрые результаты. В этом в CoreWeave видят преимущество для своего бизнеса — компания не только имеет довольно стабильный доступ к ускорителям NVIDIA, но и готова предложить соответствующую вычислительную инфраструктуру малым игрокам.

Сама CoreVeawe активно приобретает всё больше продуктов NVIDIA, привлекая в долг средства для покупки чипов под залог уже имеющихся ускорителей. Как сообщалось в июле, в Техасе компания намерена потратить $1,6 млрд на создание дата-центра для своего ИИ-супероблака. Тем временем NVIDIA инвестирует не только в CoreVeawe — она поддержала конкурента компании, вложив средства в развитие ИИ-стартапа Lambda Labs.

Облачный провайдер Amazon Web Services (AWS) объявил о введении платы в размере $0,005/час за каждый публичный IPv4-адрес с 1 февраля 2024 года, причём независимо от того, привязан ли адрес к какому-либо инстансу или сервису или же нет. Нововведение касается всех служб AWS, включая EC2, RDS, EKS, а также любых других, которым может быть назначен и привязан общедоступный IPv4-адрес во всех регионах AWS, в том числе AWS China и GovCloud.

«IPv4-адреса становятся все более дефицитным ресурсом, и стоимость приобретения одного публичного IPv4-адреса выросла более чем на 300 % за последние 5 лет», — пояснил руководитель AWS Джефф Барр (Jeff Barr). «Это изменение отражает наши собственные затраты, а также призвано побудить вас быть немного более экономным при использовании IPv4 и подумать об ускорении перехода на IPv6», — добавил он. Напомним, что Amazon купила в 2019 году 4 млн адресов IPv4 за $108 млн. А всего по состоянию на конец 2020 года стоимость IPv4-адресов, принадлежащих Amazon, превысила $2 млрд.

Источник изображения: Pixabay

С клиентов не будет взиматься плата за их собственные IP-адреса, управляемые посредством Amazon BYOIP. Годовой бесплатный пробный период в AWS будет включать 750 часов использования публичных IPv4-адресов в месяц. Чтобы помочь клиентам определить будущие расходы, компания теперь будет добавлять информацию об адресах в отчёт о затратах (AWS Cost and Usage Reports, CUR). Также была представлена новая функция Public IP Insights для анализа и аудита используемых IPv4-адресов.

Последние свободные IPv4-адреса закончились ещё в 2019 году, и с тех пор их стоимость неуклонно растёт, что привлекает мошенников, стремящихся заработать на этом. Чтобы хоть на время справиться с нехваткой IPv4-адресов, Сет Шон (Seth Schoen), известный по работе в EFF и Let’s Encnrypt, предложил забрать 300 млн зарезервированных для особых нужд IPv4-адресов. В свою очередь Китай ускоряет внедрение IPv6, планируя полностью перейти на этот протокол к 2030 году.

Microsoft подчеркнула в квартальном отчёте для инвесторов важность обеспеченности достаточным количеством ускорителей вычислений для стабильной работы облачных сервисов искусственного интеллекта (ИИ). Компания добавила уровень обеспеченности GPU в перечень факторов риска сбоев, с которым она может столкнуться, если не будет иметь надлежащую инфраструктуру.

Этот факт отражает растущий спрос ведущих технологических компаний на ИИ-ускорители, необходимые для предоставления доступа к ИИ-сервисам небольшим предприятиям.

Microsoft увеличила объём капвложений в облачные системы в IV квартале 2023 финансового года, включая расходы на ускорители вычислений, и планирует наращивать их в дальнейшем, стремясь удовлетворить растущий спрос на облачные сервисы искусственного интеллекта (ИИ).

Источник изображения: NVIDIA

«Наши центры обработки данных зависят от наличия разрешённой и пригодной для строительства земли, предсказуемых поставок энергии, сетевых материалов и серверов, включая ускорители вычислений (GPU) и другие компоненты», — указано в квартальном отчёте Microsoft. До этого GPU не упоминались в таком разрезе в предыдущих годовых отчётах Microsoft. Также нет упоминания GPU в таком смысле в недавних годовых отчётах других крупных технологических компаний, таких как Alphabet, отметил ресурс CNBC.

В рамках партнёрства с Microsoft компания OpenAI использует облако Azure для выполнения вычислений для ИИ-чат-бота ChatGPT и различных ИИ-моделей. Microsoft также начала использовать ИИ-модели OpenAI для улучшения с помощью генеративного ИИ своих продуктов, таких как приложения Outlook и Word, а также поисковая система Bing. Это повлекло за собой рост потребности компании в ИИ-ускорителях. Чтобы обеспечить в полной мере своих клиентов вычислительными ресурсами, Microsoft подписала соглашение о сотрудничестве с CoreWeave об использовании его оборудования для обработки своих ИИ-нагрузок.

Хотя европейский сектор строительства ЦОД переживает эпоху расцвета, из-за быстрого роста спроса на новые мощности увеличилось и количество проблем. В частности, как сообщает The Register, не хватает строительных материалов, а также тяжёлой строительной техники. Между тем в ближайшие годы потребуются буквально тысячи новых ЦОД.

Как сообщается в докладе Aggreko, спрос на новые ЦОД значительно превышает предложение, причём многим подрядчикам приходится переносить сроки сдачи объектов. Для составления доклада Aggreko опросила 700 отраслевых специалистов в Великобритании и ряде стран ЕС. По данным британской Savills, в Европе в ближайшие три года планируют построить намного меньше ЦОД, чем необходимо. В компании уверяют, что уже к середине десятилетия потребуется не менее 3 тыс. новых дата-центров. Удовлетворить их будет непросто по ряду причин.

Источник: Aggreko

Виной всему не только нехватка строительных материалов и техники, на которую претендуют и другие отрасли, но и, например, проблемы с подключением к энергосетям и нехватка квалифицированных кадров. Также в числе препятствий упоминается и ужесточение контроля природоохранными ведомствами, поскольку строительству и эксплуатации ЦОД обычно сопутствуют высокие углеродные выбросы. А в случае разногласий между застройщикам и муниципальными властями возведение объекта может быть приостановлено на неопределённый срок.

Источник: Aggreko

В некоторых местах наличие доступа к энергии оказалось важнее цены на неё. Кроме того, сказывается недостаток опыта в использовании источников возобновляемой энергии — не считая рисков, связанных с самим использованием таких источников. Также важным фактором является и цена земельных участков, особенно в Германии, Франции и Нидерландах. Антирекордсменами по срокам сдачи ЦОД стали Нидерланды и Швеция, где задержка может превышать два месяца.

Ожидается, что с учётом нарастающего спроса рынок станет ещё более неустойчивым — в Aggreko предлагают использовать в некоторых случаях компромиссные решения, например, создание временных машинных залов ещё до завершения строительства всего объекта. Признаётся необходимость спотовых покупок материалов и техники для удовлетворения краткосрочного спроса и аренды некоторого оборудования вроде генераторов, а также наращивание запасов оборудования и иных мер, в том числе увеличение сроков сдачи проектов.