Спрос на ИИ-ускорители NVIDIA так высок, что производитель чипов не может удовлетворить его в полной мере. В результате, как сообщает The Korean Economic Daily, создатель ведущего поискового портала Южной Кореи — компания Naver Corporation — для ряда ИИ-нагрузок перешла с использования ускорителей NVIDIA на Intel Xeon Sapphire Rapids, как из-за дефицита, так и по причине роста цен на продукцию.

По данным СМИ, Naver Corp. начала использовать решения Intel для ИИ-серверов картографического сервиса Naver Place. Корейский IT-гигант использует ИИ-модель для распознавания ложных данных в случаях, когда пользователи ведут поиск по ключевым запросам вроде «ближайшие рестораны» в приложении Naver Map. Ранее именно продукты NVIDIA применялись для обработки таких данных. Впрочем, речь идёт в первую очередь об инференсе, а для обучения моделей компания всё равно вынуждена использовать ИИ-ускорители.

Приобрести ИИ-ускорители NVIDIA, включая H100, стало очень сложно, а цены на последние с начала года выросли в Южной Корее вдвое. Но даже если у вас есть средства, время с момента размещения заказа на ускорители до их получения уже увеличилось до 52 недель, так что быстро обновить парк серверов не выйдет. При этом ускорители способны справляться с ИИ-задачами на порядок быстрее CPU.

Источник изображения: Naver

Как утверждают отраслевые эксперты, Intel усовершенствовала технологии работы с ИИ-системами, желая угодить клиентам, ищущим альтернативы ускорителям NVIDIA. Например, Naver в течение месяца тестировала ИИ-сервер на основе процессоров компании перед его вводом в эксплуатацию. Вероятно, южнокорейский IT-гигант продолжит использовать CPU Intel новых поколений.

По мнению экспертов, сотрудничество Naver и Intel может привести к ослаблению позиций NVIDIA на рынке чипов для ИИ-вычислений. По некоторым данным, Microsoft объединила усилия с AMD, чтобы помочь последней в экспансии на рынке ИИ-процессоров. Компании сотрудничают для конкуренции с NVIDIA, контролирующей около 80 % мирового рынка ИИ-чипов.

Как заявил недавно на конференции Code Conference технический директор Microsoft Кевин Скотт (Kevin Scott), приобрести ускорители компании NVIDIA для ИИ и HPC-вычислений уже не так сложно, как ещё несколько месяцев назад. По данным портала Tom’s Hardware, проблема доступности и поставок активно решается производителем.

По словам того же Скотта, ещё не так давно спрос намного превышал предложение всех производителей ускорителей. Хотя дефицит ещё не исчез, ситуация улучшается буквально с каждой неделей. В последнее время драйвером огромного спроса на ускорители были техногиганты, включая Microsoft, активно осваивающие рынок ИИ-продуктов, в том числе для сторонних клиентов. Для тренировки больших языковых моделей (LLM), обычно используются ускорители именно NVIDIA, в результате чего спрос на них в 2023 году стремительно взлетел, а рост стоимости акций «зелёных» с начала года составил 190 %.

Источник изображения: NVIDIA

В ходе недавнего отчёта о доходах NVIDIA сообщила о намерении повысить объёмы поставок в следующем году. Параллельно появилась информация о том, что трафик одного из самых популярных чат-ботов, ChatGPT от OpenAI, существенно падал в течение трёх месяцев подряд. OpenAI использует облачную платформу Microsoft Azure, так что нагрузка на неё в последнее время не столь велика. По словам Скотта, занимающегося в числе прочего и распределением ресурсов, эта задача в последние кварталы была чрезвычайно трудной, но теперь выполнять свои обязанности стало намного легче.

Скотт не стал комментировать слухи о том, что Microsoft якобы разрабатывает собственные ИИ-чипы, но подтвердил, что компания прилагает немалые усилия в работе над полупроводниковыми проектами и инвестировала в них немало средств. При этом он признал, что в последние годы NVIDIA остаётся ведущим партнёром Microsoft в ИИ-секторе, но подчеркнул, что компания будет выбирать наилучшие решения для своих систем, какое бы происхождение они ни имели.

Нехватка кадров в «Ростелекоме» привела к решению автоматизировать ряд процессов с помощью искусственного интеллекта (ИИ) собственной разработки. Как сообщает «Коммерсантъ», будут частично автоматизированы разработка ПО, аналитика и тестирование. Впрочем, эксперты опасаются, что масштабное стимулирование властями подготовки IT-специалистов может привести к избытку кадров на фоне внедрения ИИ и снижению зарплат.

О намерении компенсировать дефицит специалистов ИИ-разработками сообщил на днях вице-президент «Ростелекома» по IT. По его словам, подготовкой к этому необходимо заниматься уже сейчас, чтобы получить результат через два–три года. Позже в компании уточнили, что речь идёт о проекте «Лукоморье», касающегося полного цикла разработки ПО, от бизнес-анализа и проектирования до тестирования и создания документации. При этом в компании обещают не заменять ею действующих IT-специалистов.

Источник изображения: julien Tromeur/unsplash.com

По данным «Ростелекома», «Лукоморье» найдёт применение как в проектах самой компании, так и в сторонних бизнесах, которые тоже будут приобретать новые решения для устранения кадрового голода. Хотя бюджет проекта остаётся в секрете, некоторые эксперты оценивают его в сумму от в 1,5 млрд руб., а некоторые и вовсе говорят о «миллиардах рублей»ещё на этапе обучения нейросети, причём на реализацию даже базового проекта уйдут годы.

Глава Минцифры считает, что дефицит IT-специалистов в России составляет 500–700 тыс. человек. Поэтому многие крупные компании обращаются к ИИ. Например, чат-бот GigaChat от Сбербанка пополнился инструментом разработки и дополнения кода GigaCode. Активно развивает собственные технологии соответствующего профиля и «Яндекс». При этом эксперты уверены, что нейросети послужат лишь вспомогательным инструментом, а полного исключения людей из работы ожидать не стоит. Впрочем, допускается появление новых IT-специальностей, связанных именно с ИИ, а готовых специалистов действительно может оказаться в избытке.

Некоторые эксперты прогнозируют избыток IT-специалистов в течение следующих 10 лет, что приведёт к падению зарплат в отрасли. Согласно весенним прогнозам Goldman Sachs, ИИ позволит автоматизировать порядка 300 млн рабочих мест в мире, а в McKinsey предполагают, что уже в ближайшее время в США автоматизируют до 30 % рабочего времени, сообщает «Коммерсантъ».

Компания Cisco отрапортовала о работе в последней четверти и 2023 финансовом году в целом, который был закрыт 29 июля. По ключевым показателям зафиксирован заметный рост. Так, выручка за трёхмесячный период достигла $15,2 млрд, что на 16 % больше прошлогоднего результата, равного $13,1 млрд.

В общем объёме продаж на продукты пришлось $11,65 млрд; ещё $3,55 млрд принесли сервисы. С географической точки зрения американский рынок остаётся крупнейшим с продажами на уровне $9,08 млрд. Регион EMEA (Европа, Ближний Восток и Африка) обеспечил $3,93 млрд, рынок APJC (Азиатско-Тихоокеанский рынок, Япония и Китай) — $2,20 млрд.

Источник изображения: Cisco

Чистая прибыль Cisco в IV квартале 2023 финансового года достигла $4,0 млрд против $2,8 млрд годом ранее. Таким образом, по данному показателю отмечен рост на 41 %. Прибыль в пересчёте на одну ценную бумагу за год взлетела на 43 % — с 68 до 97 центов.

Отмечается, что Cisco практически избавилась от огромного количества невыполненных заказов, которые она накопила в период пика пандемии COVID-19, спровоцировавшего многочисленные сбои в каналах поставок. Задержки в отгрузках продуктов во многих случаях достигали нескольких месяцев. При этом сама Cisco не только недополучала средства от поставок оборудования, но и была вынуждена приостанавливать для таких заказчиков оказание сопутствующих услуг, что также приводило к сокращению денежных потоков.

По итогам 2023 финансового года в целом Cisco получила $57,0 млрд выручки — на 11 % больше по сравнению с предыдущим годом ($51,6 млрд). Чистая прибыль поднялась на 7 % — с $11,8 млрд до $12,6 млрд.

Ещё в прошлом месяце контрактный производитель полупроводников TSMC заявил о том, что спрос на чипы упал во всех сегментах рынка, за одним исключением — чипы для ИИ по-прежнему пользуются высоким спросом. Как сообщает Barron’s, в первую очередь речь идёт о чипах NVIDIA, доминирующих на рынке соответствующих решений.

Растущий спрос на генеративные ИИ-системы привёл к тому, что ускорители H100 стали самым ценным ресурсом. Как заявляют в Amazon Web Services (AWS), спрос на них устойчиво превышает предложение. Своей точкой зрения на проблему поделился и технический директор облачного ИИ-провайдера CoreWeave Брайан Вентуро (Brian Venturo). Компания одной из первых начала предлагать доступ к H100 и имеет тесные связи с NVIDIA — последняя инвестировала в стартап не менее $100 млн.

По словам Вентуро, если в I квартале 2023 года можно было довольно легко получить новые ускорители, то уже в апреле ситуация кардинально изменилась буквально за неделю — сроки выполнения заказов стали переноситься на конец года. H100 потребовались облачным провайдерам, крупным корпорациям и лабораториям, занимающимся ИИ-решениями. Сейчас H100 практически невозможно приобрести. Желающие сделать заказ сегодня могут рассчитывать на поставки в I или II квартале 2024 года. CoreWeave уже оформляет заказы, которые NVIDIA должна выполнить во II и III кварталах 2024 года.

Источник изображения: NVIDIA

При этом решения других компаний, включая AMD, по данным CoreWeave, не пользуются таким спросом. Продукты NVIDIA не просто имеют лучшую аппаратную составляющую, но и развитое и повсеместно распространённое ПО — у стартапов просто нет времени для внедрения решений AMD или Google TPU. NVIDIA годами инвестировала в программную платформу CUDA и теперь, как считает Вентуро, на 10 лет опережает конкурентов.

В кратко- и среднесрочной перспективе CoreWeave не видит появления значимых конкурентов NVIDIA. Так, TPU или AWS Trainium являются весьма специфическими решениями, не подходящими для обычных стартапов, которым требуются быстрые результаты. В этом в CoreWeave видят преимущество для своего бизнеса — компания не только имеет довольно стабильный доступ к ускорителям NVIDIA, но и готова предложить соответствующую вычислительную инфраструктуру малым игрокам.

Сама CoreVeawe активно приобретает всё больше продуктов NVIDIA, привлекая в долг средства для покупки чипов под залог уже имеющихся ускорителей. Как сообщалось в июле, в Техасе компания намерена потратить $1,6 млрд на создание дата-центра для своего ИИ-супероблака. Тем временем NVIDIA инвестирует не только в CoreVeawe — она поддержала конкурента компании, вложив средства в развитие ИИ-стартапа Lambda Labs.

Облачный провайдер Amazon Web Services (AWS) объявил о введении платы в размере $0,005/час за каждый публичный IPv4-адрес с 1 февраля 2024 года, причём независимо от того, привязан ли адрес к какому-либо инстансу или сервису или же нет. Нововведение касается всех служб AWS, включая EC2, RDS, EKS, а также любых других, которым может быть назначен и привязан общедоступный IPv4-адрес во всех регионах AWS, в том числе AWS China и GovCloud.

«IPv4-адреса становятся все более дефицитным ресурсом, и стоимость приобретения одного публичного IPv4-адреса выросла более чем на 300 % за последние 5 лет», — пояснил руководитель AWS Джефф Барр (Jeff Barr). «Это изменение отражает наши собственные затраты, а также призвано побудить вас быть немного более экономным при использовании IPv4 и подумать об ускорении перехода на IPv6», — добавил он. Напомним, что Amazon купила в 2019 году 4 млн адресов IPv4 за $108 млн. А всего по состоянию на конец 2020 года стоимость IPv4-адресов, принадлежащих Amazon, превысила $2 млрд.

Источник изображения: Pixabay

С клиентов не будет взиматься плата за их собственные IP-адреса, управляемые посредством Amazon BYOIP. Годовой бесплатный пробный период в AWS будет включать 750 часов использования публичных IPv4-адресов в месяц. Чтобы помочь клиентам определить будущие расходы, компания теперь будет добавлять информацию об адресах в отчёт о затратах (AWS Cost and Usage Reports, CUR). Также была представлена новая функция Public IP Insights для анализа и аудита используемых IPv4-адресов.

Последние свободные IPv4-адреса закончились ещё в 2019 году, и с тех пор их стоимость неуклонно растёт, что привлекает мошенников, стремящихся заработать на этом. Чтобы хоть на время справиться с нехваткой IPv4-адресов, Сет Шон (Seth Schoen), известный по работе в EFF и Let’s Encnrypt, предложил забрать 300 млн зарезервированных для особых нужд IPv4-адресов. В свою очередь Китай ускоряет внедрение IPv6, планируя полностью перейти на этот протокол к 2030 году.

Microsoft подчеркнула в квартальном отчёте для инвесторов важность обеспеченности достаточным количеством ускорителей вычислений для стабильной работы облачных сервисов искусственного интеллекта (ИИ). Компания добавила уровень обеспеченности GPU в перечень факторов риска сбоев, с которым она может столкнуться, если не будет иметь надлежащую инфраструктуру.

Этот факт отражает растущий спрос ведущих технологических компаний на ИИ-ускорители, необходимые для предоставления доступа к ИИ-сервисам небольшим предприятиям.

Microsoft увеличила объём капвложений в облачные системы в IV квартале 2023 финансового года, включая расходы на ускорители вычислений, и планирует наращивать их в дальнейшем, стремясь удовлетворить растущий спрос на облачные сервисы искусственного интеллекта (ИИ).

Источник изображения: NVIDIA

«Наши центры обработки данных зависят от наличия разрешённой и пригодной для строительства земли, предсказуемых поставок энергии, сетевых материалов и серверов, включая ускорители вычислений (GPU) и другие компоненты», — указано в квартальном отчёте Microsoft. До этого GPU не упоминались в таком разрезе в предыдущих годовых отчётах Microsoft. Также нет упоминания GPU в таком смысле в недавних годовых отчётах других крупных технологических компаний, таких как Alphabet, отметил ресурс CNBC.

В рамках партнёрства с Microsoft компания OpenAI использует облако Azure для выполнения вычислений для ИИ-чат-бота ChatGPT и различных ИИ-моделей. Microsoft также начала использовать ИИ-модели OpenAI для улучшения с помощью генеративного ИИ своих продуктов, таких как приложения Outlook и Word, а также поисковая система Bing. Это повлекло за собой рост потребности компании в ИИ-ускорителях. Чтобы обеспечить в полной мере своих клиентов вычислительными ресурсами, Microsoft подписала соглашение о сотрудничестве с CoreWeave об использовании его оборудования для обработки своих ИИ-нагрузок.

Хотя европейский сектор строительства ЦОД переживает эпоху расцвета, из-за быстрого роста спроса на новые мощности увеличилось и количество проблем. В частности, как сообщает The Register, не хватает строительных материалов, а также тяжёлой строительной техники. Между тем в ближайшие годы потребуются буквально тысячи новых ЦОД.

Как сообщается в докладе Aggreko, спрос на новые ЦОД значительно превышает предложение, причём многим подрядчикам приходится переносить сроки сдачи объектов. Для составления доклада Aggreko опросила 700 отраслевых специалистов в Великобритании и ряде стран ЕС. По данным британской Savills, в Европе в ближайшие три года планируют построить намного меньше ЦОД, чем необходимо. В компании уверяют, что уже к середине десятилетия потребуется не менее 3 тыс. новых дата-центров. Удовлетворить их будет непросто по ряду причин.

Источник: Aggreko

Виной всему не только нехватка строительных материалов и техники, на которую претендуют и другие отрасли, но и, например, проблемы с подключением к энергосетям и нехватка квалифицированных кадров. Также в числе препятствий упоминается и ужесточение контроля природоохранными ведомствами, поскольку строительству и эксплуатации ЦОД обычно сопутствуют высокие углеродные выбросы. А в случае разногласий между застройщикам и муниципальными властями возведение объекта может быть приостановлено на неопределённый срок.

Источник: Aggreko

В некоторых местах наличие доступа к энергии оказалось важнее цены на неё. Кроме того, сказывается недостаток опыта в использовании источников возобновляемой энергии — не считая рисков, связанных с самим использованием таких источников. Также важным фактором является и цена земельных участков, особенно в Германии, Франции и Нидерландах. Антирекордсменами по срокам сдачи ЦОД стали Нидерланды и Швеция, где задержка может превышать два месяца.

Ожидается, что с учётом нарастающего спроса рынок станет ещё более неустойчивым — в Aggreko предлагают использовать в некоторых случаях компромиссные решения, например, создание временных машинных залов ещё до завершения строительства всего объекта. Признаётся необходимость спотовых покупок материалов и техники для удовлетворения краткосрочного спроса и аренды некоторого оборудования вроде генераторов, а также наращивание запасов оборудования и иных мер, в том числе увеличение сроков сдачи проектов.

Американский транснациональный инвестиционный банк TD Cowen опубликовал отчёт с прогнозом рекордных показателей на рынке аренды ЦОД в 2023 году в связи с высоким спросом на ИИ-сервисы. Согласно данным TD Cowen, за последние 90 дней было подписано договоров об аренде ЦОД на общую мощность 2,1 ГВт, что связано с ростом популярности ИИ-приложений.

Сообщается, что за последние три месяца Google подписала сделку на аренду ЦОД мощностью 600 МВт в Техасе, в то время как Microsoft подписала сделку на аренду на 420 МВт в Лисбурге (штат Вирджиния), сделку в Далласе на аренду оборудования на 360 МВт и в Чикаго на 300 МВт. По оценкам TD Cowen, мощность ЦОД сторонних компаний в США составляет около 10 ГВт.

Один из операторов сообщил TD Cowen, что объём аренды за последние 90 дней вырос с 500 МВт до более чем 1 ГВт. Гиперскейлеры также начали оформлять предварительную аренду мощностей за 2–3 года до сдачи объекта, тогда как в прошлом году это делали за год-полтора до ввода ЦОД в эксплуатацию. Те, кто сможет предоставить ёмкости в течение 2 лет и менее, теперь могут повышать цены.

Источник изображения: Pixabay

«На наш взгляд, это отражает растущую нехватку мощностей ЦОД, поскольку гиперскейлеры стремятся защитить свой доступ к будущим мощностям», — сообщает TD Cowen. Это также привело к тому, что теперь тоже заранее арендуют мощности за полгода до сдачи объекта, поскольку им приходится конкурировать с гиперскейлерами в борьбе за доступ к ограниченным ресурсам. Поскольку рабочие нагрузки ИИ менее чувствительны к задержкам, их можно размещать в любом регионе страны. Например, NVIDIA планировала арендовать 50 МВт мощностей в Хиллсборо (Орегон), но когда поняла, что это сделать не удастся, сообщила операторам, что готова арендовать ёмкость в любом месте.

Если в 2022 году цены на аренду ЦОД выросли из-за удорожания их строительства, то сейчас они увеличились из-за ограниченного предложения и высокого спроса. Банк также отметил проблемы с цепочками поставок. По его данным, один оператор недавно разместил заказ на генераторы Caterpillar мощностью 3 МВт, срок поставки которых составит 130 недель (~2,5 года), примерно такой же срок поставки и у трансформаторов. И эти сроки, как ожидается, увеличатся, поскольку волна договоров аренды ЦОД, подписанных за последние несколько месяцев, вскоре трансформируется в новые заказы на поставку оборудования.

В Сингапуре пошли на ослабление моратория, запрещавшего строительство новых дата-центров. Как сообщает DataCenter Dynamics, страна распределила первые за несколько лет 80 МВт — они достались Equinix, Microsoft, AirTrunk (в паре с ByteDance) и GDS. Ранее представители технологического сектора Сингапура жаловались, что страна упустила «представляющийся раз в жизни» шанс стать мировым хабом для дата-центров.

Мораторий на строительство новых ЦОД появился в 2019 году — исключение составили проекты, уже получившие одобрение местных властей. Год назад запрет был смягчён, поскольку появилась возможность подать новые заявки. Всего таковых набралось более 20, так что в ближайшие год-полтора будут распределены новые мощности для ЦОД — страна по-прежнему намерена стать «глобальным цифровым хабом», намереваясь при этом добиться нулевого углеродного выброса.

Источник изображения: Mike Enerio/unsplash.com

Победителями, как сообщается, стали компании, лучше всех способные достичь желаемых Сингапуром экономических и экологических результатов. В частности, победители смогли предложить наиболее энергоэффективные решения для машинного обучения, ИИ и HPC, в том числе с новыми системами охлаждения. Также победители выразили готовность взять на себя «иные экономические обязательства» помимо прямых инвестиций. Впрочем, есть ещё один предварительно одобренный проект морского дата-центра.

Microsoft запустила первый в стране облачный регион Azure в 2010 году, последний ЦОД AirTrunk был открыт в Сингапуре в 2020 году, а Equinix, владеющая пятью ЦОД в стране, ввела в эксплуатацию последний из них уже после введения моратория. И только GDS построит дата-центр в Сингапуре впервые. В русле этой политики вполне ожидаемо, что Сингапур намеревается потратить более $7 млрд на расширение системы подводных интернет-кабелей и провести в ближайшие 10 лет комплексную модернизацию интернет-инфраструктуры.