Хотя многие компании считают облако лучшим выбором для обучения и запуска больших приложений ИИ, лишь небольшая часть существующей облачной инфраструктуры на данный момент имеет соответствующие вычислительные мощности, пишет The Wall Street Journal (WSJ). «Сейчас существует довольно большой дисбаланс между спросом и предложением», — сообщил Четан Капур (Chetan Kapoor), директор по управлению продуктами в подразделении AWS EC2. Ниди Чаппелл (Nidhi Chappell), генеральный менеджер Azure AI Infrastructure, отметила наличие «неутолимого» спроса на запуск больших языковых моделей (LLM).

Однако основная часть текущей облачной инфраструктуры не была создана для запуска таких больших и сложных систем. Облако позиционировалось как удобная альтернатива локальным серверам, которую можно легко масштабировать под свои цели с оплатой по факту использования. Большая часть современного облачного пространства состоит из серверов с CPU общего назначения, предназначенных для одновременного выполнения нескольких рабочих нагрузок. И гораздо меньше имеется GPU-серверов и кластеров, оптимизированных для ИИ и больших рабочих нагрузок. При этом AWS, Google, Meta✴ и Microsoft уже увеличили срок эксплуатации имеющегося оборудования с трёх–четырёх до шести лет.

Источник изображения: Google

По словам Капура, оптимизированная для ИИ-нагрузок инфраструктура составляет лишь небольшой процент от общего объёма облачных ресурсов компании, хотя темпы её роста гораздо выше, чем у других сегментов. Капур сообщил, что в течение следующих 12 мес. компания развернёт несколько ИИ-кластеров. Microsoft Azure и Google Cloud Platform заявили WSJ, что тоже работают над тем, чтобы сделать ИИ-инфраструктуру большей частью своего парка. Вместе с тем в Microsoft отметили, что не собираются отказываться от серверов общего назначения, которые по-прежнему ценны для компаний.

А вот Dell ожидает, что высокая стоимость облачных вычислений может подтолкнуть компании к локальному развёртыванию систем. «Существующие экономические модели, в первую очередь, публичной облачной среды, не были оптимизированы для того типа спроса и уровня активности, который мы увидим, когда люди перейдут на ИИ-системы», — заявил технический директор Dell Джон Роес (John Roese). По его словам, в локальной среде компании смогут сэкономить на расходах на сеть и хранение данных. С этим не согласны облачные провайдеры, утверждающие, что у них есть доступные по цене предложения, и что в долгосрочной перспективе on-premise системы обойдутся дороже в связи с необходимостью обновления оборудования.

HPE и вовсе строит собственный публичный облачный сервис для обучения моделей ИИ на базе суперкомпьютера, который будет доступен во второй половине 2023 года. «Он специально создан для крупномасштабных сценариев использования ИИ», — заявил Джастин Хотард (Justin Hotard), исполнительный вице-президент и глава сегмента HPC & AI. Впрочем, поставщики оборудования сходятся во мнении, что ИИ-индустрия всё ещё находится на начальном этапе, и что в конечном итоге решение может быть гибридным, когда только часть вычислений будет выполняться в облаке.

Хотя проблемы с поставками электронных компонентов в последнее время постепенно отходят на второй план, в некоторых секторах IT-индустрии они так и не решены до конца. Как сообщает Network World со ссылкой на ассоциацию профессионалов рынка ЦОД (AFCOM), 44 % опрошенных операторов дата-центров сталкиваются с перебоями или отключениями, вызванными дефицитом самых необходимых запасных частей и компонентов.

Примечательно, что в 2021 году о подобных проблемах говорили только 25 % опрошенных, причём ситуация усугубляется стремлением многих операторов ЦОД расширять свой бизнес ускоренными темпами. Как сообщает AFCOM в докладе State of the Data Center 2023, 94 % опрошенных столкнулись с теми или иными проблемами при организации поставок для своих ЦОД, 59 % — с дефицитом основного оборудования вроде серверов и коммутаторов, 51 % — систем энергоснабжения, включая генераторы и ИБП, 34 % жалуются на нехватку систем безопасности, в том числе защищённых дверей и камер, а 35 % — на дефицит строительных материалов вроде бетона. Некоторые операторы сталкиваются с несколькими проблемами сразу.

Источник изображения: dendoktoor/pixabay.com

По мнению экспертов, в последнее время многие инвестиционные компании приобрели дата-центры и теперь пытаются нарастить их мощности настолько быстро, насколько возможно, что тоже усугубляет дефицит. Иногда доходит до того, что почти готовые ЦОД не могут ввести в эксплуатацию из-за одного компонента. Например, в некоторых случаях ИБП и генераторы доставляют 50 недель вместо привычных ранее 8-10, а на поставку чиллеров может уйти и 70 недель — почти полтора года.

При этом сами операторы превращают ситуацию на рынке из плохой в катастрофическую, скупая комплектующие на всякий случай и скапливая запасы фактически ненужного оборудования на складах. Дефицит больше затронул гиперскейлеров и колокейшн-сервисы, чем корпоративных заказчиков с локальными ЦОД. Последние настроены эксплуатировать оборудование как можно дольше и чаще готовы неспешно ожидать поставок. Впрочем, действительно рекомендуется иметь некоторый запас необходимых запчастей на случай экстренных ситуаций.

Эксперты рекомендуют искать поставщиков-партнёров, которые имеют чёткий план на случай перебоев с поставками по воздуху или железным дорогам. Не стоит отказываться и от рынка б/у оборудования — даже устаревшее на несколько поколений и несущее другие проблемы «железо» во многих случаях лучше, чем полное отсутствие оборудования. Этот рынок тем более стоит рассматривать потому, что гиперскейлеры довольно часто поставляют на него оборудование.

Наконец, одним из важнейших советов является приобретение схожего оборудования у разных вендоров. Известно, что многие предпочитают приобретать железо одного производителя, но в ситуации, когда выбирать не из чего, особо разборчивым быть не приходится.

Эбен Кристофер Аптон, основатель и директор по программному обеспечению Raspberry Pi Foundation, объявил о постепенном увеличении объёмов производства одноимённых одноплатных компьютеров. Как сообщает The Register, он пообещал довести количество выпускаемых изделий до 1 млн единиц в месяц.

Дефицит Raspberry Pi сформировался в конце 2021 года и начал ослабевать только к концу 2022-го. Проблемы с поставками этих популярных мини-компьютеров возникли из-за пандемии COVID-19 и глобальной нехватки полупроводниковой продукции. В пике стоимость модели 4B достигала €100–€150 в зависимости от объёма набортной памяти. Энтузиасты даже создали трекер для отслеживания доступности «малинки» в онлайн-магазинах.

Источник изображения: Raspberry Pi Foundation

Отмечается, что в I квартале 2023 года отгрузки Raspberry Pi оказались на уровне 800 тыс. штук — это худший результат с 2015 года. Обычно такое количество устройств потребители приобретают за один месяц. Однако уже в мае ситуация начала стабилизироваться: объём производства составил примерно 600 тыс. единиц. В июне этот показатель планируется довести до 800 тыс., а в июле — до 1 млн. Аптон заявил, что производство будет оставаться на этом уровне «столько, сколько необходимо», чтобы удовлетворить спрос и закрыть невыполненные заказы, которые сформировались в условиях дефицита.

Нехватка электронных компонентов привела к росту стоимости одноплатных компьютеров, включая Raspberry Pi 4, Raspberry Pi Compute Module 4 и Raspberry Pi Zero. Ситуацией смогли воспользоваться конкуренты, но и они были вынуждены бороться с дефицитом и даже менять компонентную базу. Несмотря на все сложности, Аптон выразил уверенность, что нехватка Raspberry Pi осталась в прошлом, а 2023-й станет «самым сильным годом» для одноплатных компьютеров.

Российские участники рынка магистральной инфраструктуры связи, по сообщению газеты «Коммерсантъ», выражают опасения по поводу постепенной деградации телеком-инфраструктуры РФ. Одна из причин заключается в нехватке импортного оборудования, на которое возник дефицит. Кроме того, существуют сложности финансового характера.

В «Стратегии развития телеком-отрасли до 2035 года» говорится, что запас ёмкости магистральных сетей связи российских операторов может быть полностью исчерпан к 2026 году — с учётом того, что ежегодный рост трафика превышает 25 %.

Средний срок эксплуатации волоконно-оптических линий связи (ВОЛС) составляет 20–25 лет, тогда как основная часть таких каналов в России была развёрнута в 1995–2005 гг. и уже загружена более чем на 75 %. Таким образом, в период до 2035 года сформируется острая потребность в замене магистральных сетей, но с этим могут возникнуть трудности.

Источник изображения: pixabay.com

Для решения проблем участники рынка предлагают снизить ставки НДС для отрасли с 20 % до 10 %, а страховых взносов — с 22 % до 7,6 % (по аналогии с IT-компаниями). Дополнительно может быть определён повышающий коэффициент по расходам на амортизацию телеком-оборудования. Кроме того, обсуждается возможность предоставления льгот на доступ к электросетям с целью снижения затрат операторов на энергию.

Для развития ВОЛС также предлагается реализовать ряд проектов в формате государственно-частного партнёрства с привлечением средств Фонда национального благосостояния. Речь идёт прежде всего об обеспечения эффективного обмена трафиком с дружественными странами. В частности, упомянуты проекты магистральной сети Москва — Пекин (6,8 тыс. км), Москва — Дели (5,9 тыс. км), Транскаспийский транспортный маршрут (315 км), Мурманск — Владивосток (вдоль Северного морского пути, 12,6 тыс. км).

Однако на практике прокладка этих линий может быть затруднена из-за дефицита оптоволокна, предупреждают участники отрасли. Кроме того, в начале 2023 года, писал «Коммерсантъ», консорциум «Телекоммуникационные технологии» просил ввести пошлины в размере 20 % на зарубежные DWDM-решения. Такие решения позволяют расширить пропускную способность ВОЛС.

Компания Inspur и другие китайские производители серверов повысили цены на выпускаемые серверы для ИИ, сообщает ресурс DigiTimes со ссылкой на местные СМИ,. Это решение связано с введением США ограничений на поставки в Китай передовых ускорителей вычислений компании NVIDIA.

Ещё в апреле этого года из Китая начали поступать сообщения инсайдеров о том, что Inspur повысит цены на свои серверы ИИ примерно на 20 % после того, как NVIDIA прекратила из-за американских санкций поставки в Поднебесную ускорителей NVIDIA A100 и H100. Источники китайского издания The Paper, осведомлённые о бизнесе китайского производителя суперкомпьютеров Sugon, недавно также подтвердили рост цен на его ИИ-серверы, но не указали насколько значительным было увеличение стоимости этих продуктов.

Впрочем, из Китая поступает и другая информация. Некоторые источники DigiTimes сообщают, что поставщики серверов повысили цены только на оборудование на базе ИИ-ускорителей NVIDIA, а цены на другие серверные продукты остались прежними.

Источник изображения: Inspur

По данным китайского инвестиционного банка Pacific Securities, в 2022 году на долю топ-8 поставщиков серверов приходилось 92 % китайского рынка серверов ИИ. При этом у лидера рынка Inspur доля составляла 37 %. Согласно раскрытой финансовой информации Inspur, компания NVIDIA была её крупнейшим поставщиком чипов. В 2019 году ведущими поставщиками чипов для Inspur были Intel и NVIDIA.

Проблемы с чипами для серверов в Китае начались в прошлом году после введения США запрета на поставку компаниями NVIDIA и AMD ускорителей вычислений, соответствующих определённым критериям производительности, таких как NVIDIA A100 и H100, а также AMD Instinct MI250.

На североамериканском рынке сложилась необычная ситуация — компании, желающие заполучить колокейшн-мощности, столкнулись с тем, что их либо нет совсем, либо за них придётся платить намного больше, чем обычно. По данным Network World, растущие аппетиты гиперскейлеров ставят под вопрос возможность доступа к необходимой инфраструктуре для всех участников рынка.

Как сообщают эксперты datacenterHawk, на долю гиперскейлеров приходится уже 80 % арендуемых в североамериканских ЦОД мощностей. Особенную активность большие игроки демонстрировали в прошлом и позапрошлом годах, забирая почти все доступные мощности. По мнению экспертов, хотя темпы роста на североамериканском рынке замедлились, спрос на мощности ЦОД остаётся рекордным, поскольку на основных региональных рынках свободны лишь 2,88 % мощностей, на вторичных рынках — 5 %.

Источник изображения: TheDigitalArtist/pixabay.com

Другими словами, свободных мест в ЦОД, особенно на крупных рынках вроде Северной Вирджинии или штата Вашингтон, почти не осталось. Если пару лет назад на рынке имелось до 10 провайдеров, способных предоставить до 4 МВт ёмкости, то теперь таковых не более четырёх, а цены выросли на 5–20 %. Причём мощности часто полностью забронированы гиперскейлерами, что не оставляет возможностей более мелким компаниям.

Источник: datacenterHawk

Операторы не могут удовлетворить спрос, и вряд ли свободные ёмкости вскоре появятся. Одна только Серверная Вирджиния обгоняет по ёмкости сверхкрупных дата-центров Европу и Китай. Хотя операторы работают над расширением своей инфраструктуры, ключевые компоненты — землю, энергию и финансирование — в последние два года становится всё труднее получить, так что темпы строительства падают, а его стоимость — растёт. Эксперты предрекают сохранение такого положения в ближайшие 3–5 лет. Многим компаниям приходится просто оптимизировать свои нагрузки или уменьшать их.

Теперь операторы ищут необходимые ресурсы для развёртывания ЦОД за пределами крупных агломераций и даже вне США — индустрия ЦОД в Латинской Америке переживает стремительное развитие. Во многом это обусловлено прогнозируемым постпандемийным ростом внедрения передовых технологий на континенте, что приведёт и к росту спроса на колокейшн-сервисы в Мексике, Бразилии, Чили и Колумбии в следующее десятилетие. При этом страны вроде Мексики будут не только сами потреблять новые мощности, но и, вероятно, обслуживать близлежащие государства.

Microsoft и Oracle изучают возможность аренды серверов друг у друга на случай, если у них вдруг не будет хватать вычислительных мощностей для выполнения ИИ-нагрузок крупных облачных клиентов, пишет DataCenter Dynamics со ссылкой на The Information. Уточняется, что решение по сделке Oracle и Microsoft, которая позволила бы решить проблему нехватки серверов с высокопроизводительными ускорителями, пока не принято.

Компании заключили соглашение о сотрудничестве ещё в 2019 году, чтобы предоставить клиентам возможность совместно выполнять вычисления в их облачных сервисах. Это потребовало создания прямых оптоволоконных каналов между ЦОД Oracle и Microsoft. Сформированная инфраструктура может быть использована для совместного использования серверных мощностей, сообщил ресурсу The Information источник, знакомый с этим вопросом.

Microsoft уже некоторое время работает над собственным ИИ-чипами Athena, а пока вынуждена скупать ускорители NVIDIA, которых, судя по всему, ей уже не хватает. У Oracle тоже достаточно тесные отношения с NVIDIA — последняя выбрала именно облако Oracle Cloud Infrastructure (OCI) для первичного запуска сервиса DGX Cloud. Причём зарабатывает на этом сервисе в первую очередь сама NVIDIA.

Источник изображения: Microsoft

Ранее сообщалось, что Microsoft ограничивала доступ к ИИ-серверам для ряда своих внутренних команд, чтобы отдать ресурсы своим клиентам. Одна из таких компаний — OpenAI, разработавшая ИИ-чат-бот ChatGPT и нейронную сеть Dall-E. Microsoft инвестировала в OpenAI миллиарды долларов, получив взамен эксклюзивную лицензию на предоставление её услуг в облаке Azure. Как сообщают источники, Oracle выясняла, возможна ли перепродажа решений OpenAI напрямую её клиентам по аналогии с тем, как она перепродаёт пакет приложений Microsoft 365.

Рынок ЦОД Северной Вирджинии продолжают преследовать неприятности. Помимо того, что местные жители активно выступают против старых и новых дата-центров, в местной округе наметилась масштабная нехватка электроэнергии. Как сообщает The Register, в регионе буквально не хватает линий электропередач для снабжения всех ЦОД энергией.

По данным Digital Realty, владеющей и обслуживающей более 290 ЦОД, местная энергоснабжающая компания Dominion Energy разослала оповещение ключевым местным потребителям, сообщив, что проблемы с электроснабжением в регионе закончатся не раньше 2026 года. При этом проблема заключается не в нехватке генерирующих мощностей, а именно в дефиците линий электропередач для достаточного энергообеспечения ЦОД. Текущая ёмкость дата-центров в штате составляет порядка 1,7 ГВт.

Источник изображения: Matthew Henry/unsplash.com

Округ Лаудон (Loudoun County) фактически является крупнейшим в мире хабом для дата-центров с общей полезной площадью ЦОД в миллионы квадратных метров. Округ нередко называют «ключевым игроком» в мировой цифровой экономике. Одни только налоги на недвижимость от сектора ЦОД должны составить в фискальном 2023 году почти $600 млн — этого достаточно, чтобы покрыть все расходы властей округа.

Проблемы с энергоснабжением могут означать, что многие планируемые проекты переедут в соседние округа Принс-Уильям (Prince William) и Фокир (Fauquier), а то и вовсе в соседний штат Мэриленд. Dominion Energy как минимум частично обслуживает и Принс-Улильям, а вот округ Фредерик в Мэриленде подключен к другой энергосети.

Источник изображения: Álvaro Serrano/unsplash.com

Известно, что беспрецедентный рост нагрузки на сеть Dominion начался в 2018 году на фоне стремительного развития дата-центров и всё ещё не остановился, поэтому в существующие планы развития энергосетей придётся вносить корректировки. На днях Dominion Energy признала, что не сможет обслуживать потребности города Эшберна (Ashburn) в округе Лаудон, где расположена т.н. «Аллея дата-центров». Это будет означать не только остановку уже стартовавших многомиллиардных проектов строительства ЦОД, но и снижение налоговых поступлений.

Как сообщает портал DataCenter Dynamics, по прогнозам Wells Fargo, компания может остановить поставки энергии новым ЦОД до 2025 или 2026 года — если проектам, до завершения строительства которых осталось не более полугода, энергии может хватить, то совсем новые объекты, возможно, электричества не получат, несмотря на ранее полученные от Dominion гарантии. А строительство ЦОД, запланированных на 2023-2024 годы, может быть значительно отложено. Впрочем, в Wells Fargo считают, что с нехваткой электричества могут в скором времени столкнуться и уже существующие в регионе кампусы ЦОД.