Взрывной рост ИИ сделал индустрию ЦОД одной из самых привлекательных сфер для вложения средств. Как сообщает The Register, NVIDIA совместно с другими инвесторами намерена вложить $160 млн в техасского оператора дата-центров Applied Digital, ранее известного как Applied Blockchain. Это не первый заметный игрок на рынке майнинговых ЦОД, которые переключился на ИИ и получил поддержку NVIDIA.

Акции Applied Digital торгуются на Nasdaq, но по данным Silicon Angle, в данном случае компания привлекла финансирование посредством т.н. «частного размещения» (private placement), которое предусматривает прямую передачу акций инвесторам без посредничества биржи. При этом в сделке обычно участвуют заранее одобренные компании. Applied Digital выпустила 49,38 млн акций по $3,24 за каждую.

Applied Digital занимается строительством дата-центров с СЖО для высокоплотных вычислений. Компания также сдаёт в аренду кластеры ускорителей, в частности, NVIDIA H200 и A40. Облачное подразделение — довольно весомая часть бизнеса Applied Digital. В финансовом году, закончившемся 31 марта, на его долю пришлось $29 млн из $165,6 млн общей выручки. За четыре последних месяца в эксплуатацию введено четыре новых ИИ-кластера, а ещё два запустят в ближайшие месяцы.

Источник изображения: Applied Digital

В августе Applied Digital объявила о строительстве 400 МВт ёмкостей для неназванного американского облачного оператора. Речь идёт о строящемся 100-МВт кампусе в Эллендейле (Северная Дакота) и двух других объектах. По данным СМИ, $160 млн новых инвестиций потратят на создание основы для раундов долгового финансирования, а оно уже будет истрачено на расширение кампуса ЦОД в Северной Дакоте и облачные инициативы компании. Интересно, что именно в этом штате две неизвестных компании готовы потратить $250 млрд на гигантские ИИ ЦОД.

Поскольку передовые ускорители NVIDIA стоят порядка $30-40 тыс. каждый, некоторые операторы вынуждены обращаться за крупными займами. Так, в июле оператор CyrusOne занял $7,9 млрд для покупки новейших ускорителей, не считая $1,8 млрд, привлечённых ещё весной. В мае CoreWeave привлекла $1,1 млрд, а несколькими неделями позже убедила инвесторов одолжить ещё $7,5 млрд. Lambda Labs начала текущий год с раунда финансирования на $320 млн, ещё $500 млн она привлекла весной и теперь планирует закупить десятки тысяч новых ускорителей.

Помимо традиционных венчурных инвесторов вроде BlackRock, Magnetar Capital и Coatue, в некоторых из подобных проектов участвует и сама NVIDIA, ранее уже поддерживавшая CoreWeave, которая прославилась тем, что взяла в долг $2,3 млрд под залог ускорителей, чтобы купить ещё больше ускорителей. Мотивация NVIDIA очевидна — продавать ускорители компания сможет до тех пор, пока на них есть спрос, а спрос может обеспечить только строительство новых дата-центров.

IT-гигант Amazon Web Services (AWS) намерен инвестировать ещё $2 млрд в дата-центры в штате Телингана на юге Индии. По данным Datacenter Dynamics, гиперскейлер уже обсуждает с властями штата условия расширения своего парка ЦОД на данной территории.

По словам представителя местных властей, Amazon проявила интерес к инвестициям $2 млрд в дата-центры в Телингане, причём они не ограничатся столицей штата — Хайдарабадом. В ходе обсуждений выяснилось, что компания намерена направлять инвестиции в следующие 4–5 лет, особый акцент будет сделан на строительстве ЦОД.

Облачный регион AWS запустила в Хайдарабаде в ноябре 2022 года, а планы его создания обнародовали ещё в 2020 году. Всего компания рассчитывает вложить в город и штат $2,8 млрд. Планы расширения региона ЦОД в Хайдарабаде обнародовали в августе 2024 года, после визита представителей властей штата в Калифорнию для встречи с топ-менеджерами AWS. Местные власти сообщают, что основным драйвером расширения мощностей стали технологии ИИ. Amazon осознаёт их потенциал и готовит серьёзные вложения в регион. В свою очередь, Телинган готова предоставить многочисленные локации для новых кампусов.

Источник изображения: Motamarri Phani/unsplash.com

В 2023 году сообщалось, что AWS намерена вложить почти $13 млрд в расширение в Индии облачной инфраструктуры. До этого в 2016 году в Мумбаи был запущен облачный регион с тремя зонами доступности.

Broadcom представила новейшую версию платформы для управления виртуальными машинами и оркестрации контейнеров VMware Cloud Foundation (VCF) 9, назвав её «будущим» своей платформы частного облака, которая ускорит переход клиентов от разрозненных ИТ-архитектур к унифицированной и интегрированной частной облачной платформе с меньшими затратами и рисками. Основной упор в новой версии сделан на создание частных облаков и, конечно же, ИИ.

Broadcom заявила, что VMware Cloud Foundation — первая в отрасли облачная платформа, сочетающая масштабируемость и гибкость публичного облака с безопасностью, устойчивостью и производительностью частного облака и низкой совокупной стоимостью владения. VCF поддержит цифровые инновации клиентов с более быстрой модернизацией инфраструктуры, унифицированным облачным опытом, а также лучшей киберустойчивостью и безопасностью, говорит Broadcom. Компания сослалась на спонсируемое ею исследование IDC, в котором сообщалось, что VCF обеспечивает в среднем на 34 % более низкие затраты на инфраструктуру, на 42 % более низкую общую стоимость эксплуатации и 564 % окупаемости инвестиций в течение трёх лет.

Источник изображений: blogs.vmware.com

VCF помогает организациям быстро перейти на современную и интегрированную инфраструктуру, снижая сложность и время простоя, связанные с ручной миграцией существующих сред в частную облачную платформу. С VMware Cloud Foundation 9 Broadcom добавила возможность клиентам импортировать конфигурации NSX, vDefend, Avi Load Balancer и сложные топологии хранения в существующие среды VCF, а также использовать и интегрировать старые версии существующей инфраструктуры. Этому будет способствовать новый интуитивно понятный пользовательский интерфейс — VCF 9 включает в себя портал самообслуживания с единой консолью управления (вместо десятка с лишним панелей ранее), которая упрощает операции и автоматизацию. Кроме того, компания представила VMware Cloud Foundation (VCF) Advanced Services, каталог готовых к развёртыванию решений, упрощающих работу клиентов в своих частных облачных средах.

VMware Cloud Foundation 9

Обновлений платформы целое множество. Так, расширение пула DRAM посредством NVMe SSD (CXL) в VCF 9 позволит значительно улучшить работу приложений с интенсивным использованием данных, такие как ИИ, СУБД и аналитика в реальном времени, а также сократит задержку и ускорит передачу информации, что имеет решающее значение для задач обучения и инференса. Также это позволяет масштабировать производительность без чрезмерных затрат. А удалённая репликация снимков между vSAN поддерживает глубокую историю неизменяемых снимков, сокращая время простоя и упрощая оркестрацию аварийного восстановления, в том числе в изолированных on-premise окружениях.

Также в VCF 9 включена функциональность VMware Cloud Director, благодаря чему в рамках одной платформы можно поддерживать несколько организаций или, например, групп разработки, сегментируя инфраструктуру на основе их конкретных требований к доступу, управлению рабочими нагрузками, безопасности и конфиденциальности. Кроме того, значительно упростилось создание виртуальных частных облаков (VPC), которые теперь можно формировать буквально в один клик, не занимаясь ручной настройкой VLAN и интеграцией с существующими сетями. Возможности VPC можно расшириить службами VMware vDefend и VMware Avi Load Balancer, которые также получили существенные обновления.

Например, Avi Load Balancer лучше оптимизирован для сред VCF и Kubernetes и интегрирован со службой Tanzu Application Service. По словам Broadcom, это сокращает время развёртывания с недель до минут и повышает прозрачность работы на уровне L4–L7. Kubernetes-системы получат расширенными возможности по управлению трафиком и конвейерами CI/CD.

vDefend был расширен с помощью распределённого анализа влияния правил брандмауэра и распределённой же системы IPS. Он поддерживает крупные и сложные среды, позволяя провести быструю оценку и профилирование угроз, в том числе в изолированных (air-gapped) окружениях. А в рамках Project Cypress компания готовит для vDefent интеллектуального помощника на базе генеративного ИИ, который будет проактивно находить возможные вектора атак, предлагать возможные варианты защиты, выявлять малоэффектвные политики безопасности и т.д. Пообщаться с ним можно будет на естественном языке. А гипервизор VMware может выступать в качестве датчика угроз для быстрой оценки защиты инфраструктуры.

Broadcom также сообщила об обновлении платформы VMware Private AI Foundation with NVIDIA, предназначенный для предприятий, которые хотят использовать возможности ИИ, сохраняя при этом преимущества частного облака, представляющей собой комплексное решение для безопасного и эффективного развёртывания, управления и масштабирования ИИ-приложений на базе VCF. В VCF 9 компания упростила развёртывания платформ генеративного ИИ, расширив возможности управления и мониторинга vGPU и GPU, добавив службу индексации и извлечения данных, а также службу создания ИИ-агентов.

Tanzu 10

На конференции также была представлена 10-я версия унифицированной платформы VMware Tanzu, с помощью котороый разработчики могут автоматизировать защищённые сборки контейнеров, привязывать сервисы к приложениям, развёртывать код одной командой и легко масштабировать приложения, заявила Broadcom. Tanzu 10 также автоматизирует задачи управления приложениями и платформами, такие как исправление уязвимостей, развёртывание непрерывных обновлений и применение политик.

Tanzu предоставляет ряд пакетных сервисов для VCF для автоматизированной и защищённой работы с контейнерами и данными. Новые функции включают поддержку изолированных среды, глобальный балансирощик, расширенные сетевые возможности (Avi Load Balancer), защищённые виртуальные машины, каталог образов с open source ПО. Наконец, встроенная среда разработки ИИ платформы Tanzu позволяет разработчикам создавать приложения Python без знания языка.

Решения Tanzu AI Solutions включают, в том числе, такие функции:

• GenAI on Tanzu Platform позволяет клиентам использовать большие языковые модели (LLM) в своих приложениях, предоставляя шлюз с OpenAI-совместимыми API для запускать более чем 100 проприетарных и открытых LLM безопасным и согласованным образом.
• Observability for GenAI отвечает за мониторинг и оценку ИИ-приложений и ответов модели. Это помогает клиентам визуализировать, тестировать и устранять неполадки в приложениях ИИ, выполняя проверки точности моделей и выявляя галлюцинации. Функция также отслеживает использование токенов, помогая контролировать расходы на использование LLM.

Поддержка VMware Private AI Foundation with NVIDIA встроена в сервис GenAI on Tanzu Platform.

12 сентября 2024 года вступают в силу новые санкции США, предусматривающие ограничение доступа российских организаций к иностранному ПО и IT-услугам. В этой связи корпорация Microsoft, по сообщению ГК Softline, распространила уведомление о прекращении предоставления ряда своих облачных сервисов Azure пользователям в РФ.

В соответствии с новыми требованиями Минфина США, утверждёнными в июне нынешнего года, запрещается без получения лицензии Минторга США предоставление лицам в РФ услуг в сфере IT-консультирования и проектирования, услуг IT-поддержки, облачных служб и предоставление ПО для управления предприятием, а также проектирования и производства.

На фоне сформировавшейся геополитической обстановки Microsoft начала ограничивать доступ к облачным продуктам на территории России с 20 марта 2024 года. Теперь перечень подпавших под ограничение продуктов и сервисов расширился. В него вошли: Azure Data Explorer, Azure Databricks, Azure Managed Grafana, Azure Operator Insights, Azure Quantum, Azure Synapse Analytics, а также Microsoft Fabric и Power BI Embedded.

Источник изображения: pixabay.com

«С сегодняшнего дня, по информации от Microsoft, будет происходить плановое отключение облачных подписок, попавших под ограничения, для компаний, зарегистрированных на территории России», — говорится в сообщении Softline.

В сообщении Softline отмечается, что Microsoft запрещает дальнейшее использование перечисленных решений на территории РФ. Заказчики не смогут вносить изменения или обновления в указанном перечне ресурсов, а их применение «может повлечь терминацию тенанта». Для сохранности данных и поддержания бизнес-операций рекомендуется осуществить резервное копирование информации и перейти на отечественные продукты. Ранее Softline совместно с партнёрами предложила ряд российских облачных сервисов, которые могут стать альтернативой зарубежным платформам, ушедшим из РФ.

Американский стартап Cerebras Systems, занимающийся разработкой чипов для систем машинного обучения и других ресурсоёмких задач, объявил о запуске, как утверждается, самой производительной в мире ИИ-платформы для инференса — Cerebras Inference. Ожидается, что она составит серьёзную конкуренцию решениям на основе ускорителей NVIDIA.

В основу облачной системы Cerebras Inference положены ускорители WSE-3. Эти гигантские изделия, выполненные с применением 5-нм техпроцесса TSMC, содержат 4 трлн транзисторов, 900 тыс. ядер и 44 Гбайт SRAM. Суммарная пропускная способность встроенной памяти достигает 21 Пбайт/с, а внутреннего интерконнекта — 214 Пбит/с. Для сравнения: один чип HBM3e в составе NVIDIA H200 может похвастаться пропускной способностью «только» 4,8 Тбайт/с.

Источник изображений: Cerebras

По заявлениям Cerebras, новая инференс-платформа обеспечивает до 20 раз более высокую производительность по сравнению с сопоставимыми по классу решениями на чипах NVIDIA в сервисах гиперскейлеров. В частности, быстродействие составляет до 1800 токенов в секунду на пользователя для ИИ-модели Llama3.1 8B и до 450 токенов в секунду для Llama3.1 70B. Для сравнения, у AWS эти значения равны соответственно 93 и 50. Речь идёт об FP16-операциях. Cerebras заявляет, что лучший результат для кластеров на основе NVIDIA H100 в случае Llama3.1 70B составляет 128 токенов в секунду.

«В отличие от альтернативных подходов, которые жертвуют точностью ради быстродействия, Cerebras предлагает самую высокую производительность, сохраняя при этом точность на уровне 16 бит для всего процесса инференса», — заявляет компания.

При этом услуги Cerebras Inference стоят в несколько раз меньше по сравнению с конкурирующими предложениями: $0,1 за 1 млн токенов для Llama 3.1 8B и $0,6 за 1 млн токенов для Llama 3.1 70B. Оплата взимается по мере использования. Cerebras планирует предоставлять инференс-услуги через API, совместимый с OpenAI. Преимущество такого подхода заключается в том, что разработчикам, которые уже создали приложения на основе GPT-4, Claude, Mistral или других облачных ИИ-моделей, не придётся полностью менять код для переноса нагрузок на платформу Cerebras Inference.

Для крупных предприятий предлагается план обслуживания Enterprise Tier, который предусматривает тонко настроенные модели, индивидуальные условия и специализированную поддержку. Стандартный пакет Developer Tier предполагает подписку по цене от $0,1 за 1 млн токенов. Кроме того, имеется бесплатный доступ начального уровня Free Tier с ограничениями. Cerebras говорит, что запуск платформы откроет качественно новые возможности для внедрения генеративного ИИ в различных сферах.

ГК Softline назвала ряд отечественных облачных сервисов, которые могут стать альтернативой зарубежным платформам, прекратившим обслуживать российских пользователей в условиях сформировавшейся геополитической обстановки. Речь идёт о компаниях Amazon, Microsoft и Google.

Напомним, Amazon и Microsoft начали ограничивать доступ к своим облачным продуктам на территории России с 20 марта 2024 года. Впоследствии Microsoft начала веерные остановки подписок на облачные сервисы для российских корпоративных клиентов. А Google предупредила об отключении облачного сервиса BigQuery в РФ с 9 сентября.

Источник изображения: softline.ru

Softline предлагает пять альтернативных продуктов отечественных разработчиков:

• Р7-Офис. Возможен переход на «Корпоративный сервер 2024» — профессиональные онлайн- и офлайн-инструменты для работы с документами и контентом. Доступны корпоративная и открытая программы лицензирования, бесплатный доступ для средних и дошкольных образовательных учреждений, скидки для других образовательных учреждений и крупных заказчиков.
• «ВКУРСЕ». Это отечественный разработчик защищенной онлайн-платформы для проведения совещаний, видеоконференций, обучения, вебинаров и крупных конференций. Может стать заменой для Microsoft Teams, Zoom, Google Meet. Предоставляются скидки и экспертное обучение для пользователей заказчика.
• «Автограф». Специальное предложение от компании ООО «Графические технологии» («ГрафТех») для клиентов Softline с целью перехода с платформы Microsoft Visio. В частности, «ГрафТех» предоставляет бесплатные лицензии на «Автограф» на период до 90 дней с последующей покупкой.
• Yandex Cloud. В рамках специального предложения при заключение контракта через Softline Yandex Cloud предлагает грант на двукратную сумму от текущего месячного потребления в Microsoft Azure, Google Cloud и AWS (но не более 1 млн руб.). Кроме того, доступно двухмесячное тестирование Yandex Cloud на двукратную сумму от месячного потребления зарубежных услуг.
• VK WorkSpace. Решение предназначено для совместной работы команд. Доступны быстрая миграция и три месяца бесплатного использования облачной версии сервисов VK WorkSpace при переходе с Microsoft и Google и заключении контракта через Softline.

Компании Intel и IBM намерены активно сотрудничать в сфере облачных ИИ-решений. По данным HPC Wire, доступ к ускорителям Intel Gaudi 3 будет предоставляться в облаке IBM Cloud с начала 2025 года. Сотрудничество обеспечит и поддержку Gaudi 3 ИИ-платформой IBM Watsonx. IBM Cloud станет первым поставщиком облачных услуг, принявшим на вооружение Gaudi 3 как для гибридных, так и для локальных сред.

Взаимодействие компаний позволит внедрять и масштабировать современные ИИ-решения, а комбинированное использование Gaudi 3 с процессорами Xeon Emerald Rapids откроет перед пользователями дополнительные возможности в облаках IBM. Gaudi 3 будут применяться и в задачах инференса на платформе Watsonx — клиенты смогут оптимизировать исполнение таких нагрузок с учётом соотношения цены и производительности.

Для помощи клиентам в различных отраслях, в том числе тех, деятельность которых жёстко регулируется, компании предложат возможности IBM Cloud для гибкого масштабирования нагрузок, а интеграция Gaudi 3 в среду IBM Cloud Virtual Servers for VPC позволит компаниям, использующим аппаратную базу x86, быстрее и безопаснее использовать свои решения, чем до интеграции.

Источник изображения: Intel

Ранее сообщалось, что модель Gaudi 3 готова бросить вызов ускорителям NVIDIA. В своё время Intel выступила с заявлением о 50 % превосходстве новинки в инференс-сценариях над NVIDIA H100, а также о 40 % преимуществе в энергоэффективности при значительно меньшей стоимости. Позже Intel публично раскрыла стоимость новых ускорителей, нарушив негласные правила рынка.

«Группа Астра» представила облачную платформу Astra Cloud, предназначенную для корпоративного сегмента, в частности, для госкомпаний, которым важны масштабируемость, производительность и безопасность софта. Сервис основан на собственных продуктах «Группы Астра», которые теперь доступны в двух форматах: on-premise и собственного облака на базе ОС Astra Linux. Astra Cloud позволит завершить процесс импортозамещения, поскольку её продукты можно использовать вместо ПО ушедших зарубежных вендоров.

На данном этапе клиенты получают СУБД и одноименную платформу баз данных Tantor, ОС Astra Linux в серверном исполнении, платформу для разработки ПО GitFlic, инструмент резервного копирования RuBackup, корпоративный почтовый сервер RuPost, службу каталогов ALD Pro и решение для создания инфраструктуры виртуальных рабочих мест Termidesk. В дальнейшем на платформе Astra Cloud появится весь портфель решений «Группы Астра».

Источник изображения: «Группа Астра»

Платформа Astra Cloud отличается гибкой архитектурой, поддержкой многоуровневой системы безопасности, возможностью интеграции с существующими решениями через службу каталогов, говорит разработчик. Решение выполнено с соблюдением актуальных норм и стандартов в области защиты данных, что крайне важно для госучреждений и крупных корпораций. Все размещённые на платформе продукты включены в реестр Минцифры.

С помощью Astra Cloud можно провести цифровую трансформацию без дополнительных затрат на оборудование и обучение персонала, реализовывать ресурсоёмкие проекты, а также минимизировать риск потери данных, если пользоваться Astra Cloud как резервной площадкой по схеме «3-2-1»: две копии данных хранятся локально, одна — в облачной среде.

Источник изображения: «Группа Астра»

Облако Astra Cloud размещено в московских ЦОД DataPro и AtomData уровня TIER III/IV и обеспечено встроенной защитой от DDoS-атак (L7). Управление заказами на платформе осуществляется в личном кабинете, интегрируемом со службой каталогов клиента, что упрощает работу ИТ-специалистов. Сервисы Astra Cloud можно приобрести только у партнёров «Группы Астра». Также пользователям Astra Cloud предоставляются услуги сопровождения напрямую от экспертов разработчика с возможностью решать вопросы, связанные с ПО и облачной инфраструктурой.

Компания MTS Web Services (MWS), дочернее предприятие МТС, объявила о наращивании мощностей, предназначенных для обработки ресурсоёмких ИИ-нагрузок. В дата-центрах «Федоровский» в Санкт-Петербурге и GreenBushDC в Москве развёрнуты новые кластеры виртуальной инфраструктуры на базе GPU.

Отмечается, что всё больше российских компаний переносят работу с ИИ в облако. Это связано с тем, что для обучения больших языковых моделей (LLM) и обеспечения их работоспособности требуются огромные вычислительные ресурсы и привлечение дорогостоящих специалистов. На фоне высокого спроса MWS расширяет свою инфраструктуру.

Утверждается, что благодаря запуску двух новых сегментов GPU-мощности MWS поднялись на 40 %. При этом компания не уточняет, какие именно ускорители задействованы в составе этих кластеров. До конца 2024 года MWS рассчитывает увеличить свои GPU-ресурсы ещё в 3–4 раза. Подчёркивается, что вычислительная инфраструктура подходит для работы с любыми ИИ-моделями во всех отраслях экономики. Доступ к мощностям можно получить из любой точки России.

Источник изображения: pixabay.com

В дальнейшие планы MWS входят создание платформы для разработки, обучения и развёртывания моделей машинного обучения, внедрение уже готовых моделей ИИ для разных индустрий и направлений с доступом посредством API, а также предоставление ИИ-сервисов по модели SaaS. «Мы стремимся, чтобы как можно больше компаний вне зависимости от их величины получили возможность обучать и внедрять в бизнес свои ИИ-модели», — говорит директор по новым облачным продуктам МТС Web Services.

Компания Synergy Research Group обнародовала результаты исследования мирового облачного рынка во II квартале 2024 года. Глобальные затраты на услуги облачной инфраструктуры (включая IaaS, PaaS и частные сервисы) достигли $79 млрд. Расходы за 12 месяцев (к концу июня) составили примерно $297 млрд.

Тройка лидеров в мировом масштабе остаётся неизменной: это компании Amazon (AWS), Microsoft и Google с долями 32 %, 23 % и 12 % соответственно. Далее следуют Alibaba, Oracle и Salesforce.

Отмечается, что с географической точки зрения Amazon, Microsoft и Google лидируют во всех регионах мира, кроме Китая. В КНР в тройку ведущих облачных провайдеров входят Alibaba, Tencent и China Telecom, за которыми следуют Huawei, China Unicom и China Mobile. Такая картина объясняется геополитическими факторами, из-за которых западные поставщики облачных услуг ограничены в своих возможностях на китайском рынке. В Европе, Азиатско-Тихоокеанском регионе (за исключением опять же КНР) и других частях мира в рейтинг крупнейших облачных провайдеров также входят IBM, Oracle, NTT и Fujitsu (см. таблицу).

Источник изображения: Synergy Research Group

В исследовании говорится, что США остаются крупнейшим рынком облачных услуг. Далее следует Китай, который значительно опережает другие страны, включая Японию, Великобританию, Германию и Индию. Сообща США, Китай, Азиатско-Тихоокеанский регион и Европа занимают более 90 % мирового рынка облачных сервисов.

Synergy Research Group отмечает, что вместе Amazon, Microsoft и Google оперируют глобальной сетью из более чем 560 дата-центров. Только во II квартале 2024 года эти компании вложили свыше $48 млрд в развитие ЦОД-инфраструктуры: большая часть средств пошла на строительство, оснащение и обновление объектов и связанных с ними сетей.