Microsoft уже длительное время работает над созданием собственных ИИ-чипов, которые позволят снизить затраты на обучение генеративных моделей ИИ, подобных той, что используется в чат-боте ChatGPT компании OpenAI LP, сообщил ресурс The Information. По данным источников ресурса, по меньшей мере с 2019 года Microsoft работает над новым 5-нм чипом под кодовым названием Athena. Более того, небольшая группа сотрудников Microsoft и OpenAI уже тестирует производительность новых чипов на больших языковых моделях, таких как GPT-4.

Таким образом, Microsoft собирается присоединиться к гиперскейлерам, уже создавшим свои ИИ-ускорители. Так, Google создала уже не одно поколение TPU, а у AWS есть сразу и Trainium, и Inferentia. Meta✴, как сообщается, тоже разрабатывает собственные чипы, но пока активно сотрудничает NVIDIA, лидером рынка ИИ-ускорителей. Последняя построила для Meta✴ ИИ-суперкомпьютер RSC, но самой Meta✴ этого мало, поэтому она будет использовать облачные ИИ-кластеры Microsoft Azure. А Azure, как считается, является одним из крупнейших потребителей чипов NVIDIA — сейчас компании вместе создают ещё один облачный ИИ-суперкомпьютер.

Источник: NVIDIA

Предполагается, что наличие собственных ИИ-чипов позволяет заключить с NVIDIA более выгодные сделки на поставку её ИИ-ускорителей. «Microsoft хочет использовать большие языковые модели во всех своих приложениях, включая Bing, [Microsoft] 365 и GitHub, — сказал ресурсу The Information главный аналитик SemiAnalysis Дилан Патель. — Их развёртывание в таком масштабе с использованием готового оборудования будет стоить десятки миллиардов долларов в год». При этом пока компания старается экономить на оборудовании.

В начале 2023 года Microsoft инвестировала в OpenAI $10 млрд и сейчас ускоренно интегрирует технологию ИИ в свои сервисы. Однако внедрение больших языковых моделей (LLM) сдерживается из-за нехватки ускорителей NVIDIA. К тому же NVIDIA продаёт свою продукцию с большой наценкой, поэтому создание собственного ИИ-чипа позволит Microsoft сэкономить значительные суммы. По данным The Information, компания планирует выпуск нескольких поколений чипов, первое из которых должно появиться в 2024 году. Сообщается, что эти чипы пока не предназначены для замены продуктов NVIDIA, поскольку их предполагается использовать для расширения существующей инфраструктуры Microsoft.

Подразделение Google Cloud, входящее в состав холдинга Alphabet, по сообщению Reuters, обвинило Microsoft в антиконкурентных методах ведения облачного бизнеса и раскритиковало предстоящие сделки редмондской корпорации с несколькими европейскими поставщиками облачных услуг.

Вице-президент Google Cloud Амит Завери (Amit Zavery) заявил, что компания уже обратилась в антимонопольные органы Европейского союза с просьбой изучить ситуацию, связанную с деятельностью облачной структуры Microsoft. В Google полагают, что ценовая и лицензионная политики Microsoft ограничивают для клиентов выбор других поставщиков облачных сервисов.

«У Microsoft определённо крайне антиконкурентная позиция в облаке. Они используют своё доминирующее положение в локальном бизнесе, а также в сегментах Office 365 и Windows, чтобы объединить Azure и другие облачные сервисы и усложнить выбор для потребителей», — отметил господин Завери.

Источник изображения: pixabay.com

Вице-президент Google Cloud также подчеркнул, что некоторые сделки, заключённые между Microsoft и более мелкими европейскими поставщиками облачных услуг, приносят пользу только редмондскому гиганту. Амит Завери говорит, что Microsoft создаёт различные условия для разных облачных провайдеров с целью «подкупа тех, кто жалуется».

В ответ Microsoft сослалась на сообщение в блоге, опубликованное в мае прошлого года, в котором её президент Брэд Смит (Brad Smith) заявил, что корпорация «занимает вторую позицию, когда речь идёт об облачных сервисах, с долей чуть более 20 % в общей выручке». Представители корпорации также заявляют, что Microsoft «привержена европейскому облачному сообществу и его успеху».

Ранее у Еврокомиссии уже возникали вопросы в отношении поведения Microsoft на облачном рынке: речь шла о возможной антиконкурентной практике. В ответ на поступившие жалобы корпорация предприняла ряд мер по исправлению ситуации, однако участники рынка назвали их недостаточными. А впоследствии и вовсе выяснилось, что использование продуктов Microsoft в собственном облаке Azure будет по-прежнему выгоднее, нежели в AWS или Google Cloud.

Microsoft планирует построить кампус ЦОД стоимостью $1 млрд в штате Висконсин (США) на территории, выделенной ранее компании Foxconn под строительство производственного комплекса стоимостью $10 млрд. Однако впоследствии планы тайваньского производителя изменились, и на данный момент здесь находится лишь небольшой ЦОД и линии по сборке серверов для Google и выпуску сетевого оборудования Cisco.

Microsoft запросила 141,6 га из 1011,7 имеющихся у Foxconn. Последняя выразила согласие на передачу всех прав на выбранный участок земли. В своём заявлении Foxconn отметила, что её решение передать участок земли свидетельствует о приверженности компании развитию науки и технологий в регионе. Для реализации сделки требуется финальное одобрение местных властей, которые отмечают, что округ стал привлекательным для Microsoft благодаря инвестициям в инфраструктуру.

Источник изображения: Pixabay

Предполагается, что строительство кампуса пройдёт в два этапа: первый начнется не позднее 1 июля 2026 года, а второй стартует не позднее 1 июля 2033 года. Foxconn отметила, что инвестировала в развитие региона более $1 млрд, производит здесь серверы и по-прежнему привержена «управлению текущими бизнес-операциями и стремится находить новые возможности в ответ на рыночный спрос».

UPD: городские власти проголосовали за постройку ЦОД, Microsoft заплатит $50 млн за земли.

Microsoft договорилась с американской CarbonCapture о покупке «углеродных кредитов» — своеобразных свидетельств об удалении из атмосферы определённого количества углекислого газа. Тем не менее, как сообщает DataCenter Dynamics, процесс очистки может оказаться чрезвычайно энергозатратным — на него уйдёт огромное количество «зелёного» электричества.

Известно, что речь идёт об удалении углерода непосредственно из атмосферы с помощью гигантского очистительного завода Project Bison в штате Вайоминг. Завод должен заработать в 2024 году, а к 2030 году — удалять из атмосферы до 5 млн т CO₂ ежегодно. Однако этот процесс чрезвычайно энергозатратен. Фильтры после насыщения нагреваются, после чего отходы закачиваются в соляные водоносные горизонты для постоянного хранения. Причём к скважинам предъявляются жёсткие требования. Считается, что каждая скважина позволит сохранять от 0,25–1 млн т выбросов в год.

Источник изображения: CarbonCapture

Аналогичные соглашения Microsoft уже подписала с Heirloom Carbon и Climeworks. «Кредиты» позволят Microsoft сделать ещё один шаг на пути к тому, чтобы стать «углеродно-отрицательной» к 2030 году. Предполагается, что компания не просто сведёт «углеродный баланс» к нулю, но и обеспечит показатели ниже нулевой отметки. Более того, план предусматривает, что к 2050 году с помощью подобных «углеродных кредитов» IT-гигант «вычистит» из атмосферы все свои выбросы за всю историю существования бизнеса.

По данным ООН, к 2050 году необходимо удалять из атмосферы 6-10 млрд т CO₂ ежегодно только для того, чтобы сохранить глобальное потепление на уровне 1,5 °C, причём для этого потребуется больше энергии, чем сегодня потребляется всеми домохозяйствами мира. Сколько CO₂ компании намерены удалять из атмосферы по заказу Microsoft, по какой цене и в какие сроки, партнёры не уточняют.

Компания Microsoft пообещала использовать вместо водяного охлаждения, применяемого в ЦОД, расположенных в Финиксе (Аризона, США), воздушное на новых местных объектах. Как сообщает DataCenter Dynamics, город просто не в состоянии перерабатывать больше сточных вод и очищать стоки с дата-центров компании до безопасного для людей состояния. Ожидается, что компания потратит более $40 млн на создание в городе дополнительной инфраструктуры для обработки сточных вод — обновлённое соглашение с городскими властями одобрено на прошлой неделе.

Как сообщают представители города, водяное охлаждение будут использовать только три первых ЦОД, все последующие дата-центры будут применять воздушное охлаждение, поскольку общее количество растворённых в воде веществ (TDS) после цикла охлаждения слишком высоко и очистка такой воды обойдётся слишком дорого, а воды для сохранения загрязнений на безопасном уровне потребуется слишком много. Известно, что пока построен первый ЦОД, второй находится на стадии завершения, а третий скоро начнут возводить. Всего же компания намерена построить пять ЦОД в данном кампусе.

Источник изображения: Alexander Schimmeck/unsplash.com

При этом мощностей городской канализации и местной инфраструктуры водоочистки не вполне достаточно для очистки большего количества сточных вод. При этом компания не приняла достаточных мер для снижения объёма растворённых веществ, создания систем контроля сбросов и хранения отходов, а в ЦОД вода циркулирует по системе охлаждения как минимум дважды, что повышает объём растворённых в ней веществ и увеличивает нагрузку на очистную инфраструктуру города, которая к такому объёму и качеству сточных вод оказалась попросту не готова.

Источник изображения: Erda Estremera/unsplash.com

Более того, компания должна построить дополнительную линию сброса отходов к концу августа 2024 года, а если это не удастся, будет хранить их на территории кампуса. Также она должна будет построить новые водопроводные линии, если это будет необходимо и потратит дополнительные десятки миллионов на расширение городских очистных сооружений. Ещё в 2020 году сообщалось, что Microsoft самостоятельно построит установки для очистки сточных вод, в Массачусетсе, тоже из-за слишком высокой концентрации минералов.

В конце лета 2022 года Microsoft оказалась в центре скандала в Нидерландах, когда выяснилось, что её ЦОД потребляют в разы больше воды, чем планировалось. В результате местным властям пришлось ввести временный запрет на строительство новых объектов подобного назначения. Впрочем, компания намерена пересмотреть технологии, используемые её дата-центрами. Её ЦОД с испарительным охлаждением уже к 2024 году начнут потреблять на 95 % меньше воды, чем сегодня, экономя по 5,7 млрд литров ежегодно.

Корпорация Microsoft объявила о заключении соглашения о покупке компании Lumenisity, базирующейся в Великобритании. Этот стартап, основанный в 2017 году, специализируется на разработке решений для высокоскоростной передачи данных с применением технологии полого оптоволокна HCF (Hollow Core Fiber). Компания Lumenisity создана как дочерняя структура Исследовательского центра оптоэлектроники (ORC) Саутгемптонского университета.

Конструкцией HCF предусмотрено наличие заполненного воздухом канала, окружённого кольцом стеклянных трубок, похожим на соты. Свет проходит не через обычное волокно, а через воздушный канал, так что, по словам Lumenisity, он распространяется по HCF-кабелям примерно на 47 % быстрее, чем через волокно из кварцевого стекла. Хотя это и не новая технология, интерес к ней растёт по мере улучшения пропускной способности и надёжности.

Источник изображения: Microsoft

Такая конструкция позволяет не только повысить скорость передачи данных и снизить задержки, но и открывает путь к созданию протяжённых ВОЛС без использования репитеров благодаря более низким потерям энергии. Кроме того, Lumenisity говорит, что её решение дешевле аналогов и лучше защищено от вторжений.

Microsoft заявляет, что приобретение Lumenisity расширит возможности по дальнейшей оптимизации глобальной облачной инфраструктуры Azure. Lumenisity привлекла на развитие в общей сложности около $15,5 млн, а недавно открыла производственное предприятие HCF в Ромси, Великобритания. Финансовые условия сделки не раскрываются. Важно отметить, что волокно Lumenisity не требует для развёртывания специального оборудования и работает со многими оптическими системами, которые сегодня используются в телекоммуникационных сетях.

По всей видимости, Microsoft будет применять технологию Lumenisity для объединения своих ЦОД. Также Microsoft по неподтверждённым пока официально данным приобрела Fungible, разработчика DPU. Компания, судя по всему, намерена задействовать эти DPU только для собственных нужд.

Дизель-генератор — неотъемлемая часть подсистемы резервного питания любого серьёзного ЦОД, но по природе своей он не может похвастаться нейтральностью выхлопа. Многие ищут традиционным генераторам замену, и в их числе Microsoft. На днях компания сообщила, что ей удалось достичь важной вехи в освоении водородных топливных элементов, которые, по замыслу Microsoft, и должны заменить традиционные дизель-генераторы в принадлежащих ей центрах обработки данных.

Компания начала тестирование новой генераторной станции мощностью 3 МВт, построенной на базе топливных ячеек с протонообменной мембраной (PEM). Она способна обеспечивать питание 10 тыс. серверов. С топливными элементами компания экспериментирует давно, ещё с 2013 года, но более ранние разработки использовали природный газ и не по факту не являлись такими уж экологичными.

Тестовая станция мощностью 3 мВт. Источник: Microsoft/John Brecher

Разработать водородные PEM-ячейки компании удалось в сотрудничестве с Plug Power. В течение нескольких недель июня компании совместно протестировали прототип генератора нового поколения. Новая система, выбрасывающая в атмосферу лишь нагретый водяной пар, сработала успешно, так что Plug Power уже работает над созданием коммерческой версии системы.

Протонообменная мембрана: конструкция и принцип действия. Источник: Encyclopedia Britannica

Первый же экземпляр будет установлен научно-исследовательском центре Microsoft, но пока конкретных сроков пока озвучено не было. У IT-гиганта большие надежды на подобные технологии: к 2030 году компания планирует обновить системы резервного питания во всех своих ЦОД.

В работе система выделяет только горячий водяной пар. Источник: Microsoft/John Brecher

Правда, в полной экологичности водородных топливных элементов есть сомнения: работают они без вредных выбросов, но само их производство может оказаться далеко не таким чистым, как эксплуатация. Тем не менее, администрация США одобрила план стоимостью $8 млрд по развитию производства водорода в рамках программы альтернатив ископаемому топливу. В Европе есть аналогичные инициативы — как совсем скромные (€2,5 млн), так и весьма крупные (€1 млрд).

Гленн Локвуд (Glenn K. Lockwood), ведущий специалист Национального научного вычислительного центра энергетических исследований (NERSC) при Министерстве энергетики США перешёл на работу в Microsoft. Он является архитектором высокопроизводительных масштабируемых систем хранения данных для суперкомпьютеров. Локвуд, в частности, руководил развёртыванием первого в мире 35-Пбайт All-Flash хранилища с ФС Lustre для суперкомпьютера Perlmutter.

В своём блоге Локвуд объяснил, почему он ушёл из NERSC в Microsoft. По его словам, лидирующие HPC-системы балансируют на грани выживания, в то время как HPC-системы среднего клсса практически полностью обесцениваются поставщиками облачных услуг. При текущих тенденциях стоимость строительства нового дата-центра и обширной инфраструктуры питания и охлаждения для каждого нового мощного суперкомпьютера очень скоро станет непомерно высокой, говорит Локвуд. Он высказал мнение, что ЦОД мощностью 50–60 МВт, строящиеся сейчас для экзафлопсных суперкомпьютеров, будут последними в своём роде.

Источник изображения: AMD

Что касается менее мощных систем, таких как Perlmutter, то необходимость в них постепенно сокращается по мере того, как облако набирает обороты. «Вы можете установить полную систему [HPE] Cray EX, идентичную той, что вы можете найти в NERSC или OLCF, в Azure <…> и интегрировать её с богатыми инфраструктурными возможностями облака», — говорит Локвуд. Кроме того, облака действительно гораздо быстрее внедряют новинки. Так, процессоры AMD EPYC MilanX и ускорители Instinct MI200 появились в инфраструктуре Microsoft Azure намного раньше, чем в HPC-центрах.

«Я не утверждаю, что знаю будущее, и многое из того, что я изложил, является в лучшем случае гипотетическим», — заявил Гленн Локвуд, отметив, что приверженность Министерства энергетики США к независимым HPC-системам сохранится по меньшей мере ещё десятилетие. Локвуд стал очередным специалистом, покинувшем традиционный HPC-сектор и ушедшим в Microsoft. В 2020 году в Microsoft перешёл технический директор Cray Стив Скотт (Steve Scott). Год спустя к Microsoft присоединился соруководитель программы Cray PathForward доктор Дэн Эрнст (Dan Ernst).

Microsoft неожиданно раскрыла подробности использования своей распределённой службы планирования «планетарного масштаба» Singularity, предназначенной для управления ИИ-нагрузками. В докладе компании целью Singularity названа помощь софтверному гиганту в контроле затрат путём обеспечения высокого коэффициента использования оборудования при выполнении задач, связанных с глубоким обучением.

Singularity удаётся добиться этого с помощью нового планировщика, способного обеспечить высокую загрузку ускорителей (в том числе FPGA и ASIC) без роста числа ошибок или снижения производительности. Singularity предлагает прозрачное выделение и эластичное масштабирование выделяемых каждой задаче вычислительных ресурсов. Фактически она играет роль своего рода «умной» прослойки между собственно аппаратным обеспечением и программной платформой для ИИ-нагрузок.

Изображение: Microsoft

Singularity позволяет разделять задачи, поручаемые ресурсам ускорителей. Если необходимо масштабирование, система не просто меняет число задействованных устройств, но и управляет распределением и выделением памяти, что крайне важно для ИИ-нагрузок. Правильное планирование позволяет не простаивать без нужды весьма дорогому «железу», благодаря чему и достигается положительный экономический эффект.

NVIDIA DGX-2

В докладе также прямо говорится, что у Microsoft есть сотни тысяч GPU и других ИИ-ускорителей. В частности, упоминается, что Singularity используется на платформах NVIDIA DGX-2: два Xeon Platinum 8168 (по 20 ядер каждый), восемь ускорителей V100 с NVSwitch, 692 Гбайт RAM и интерконнект InfiniBand. Таким образом, ИИ-парк компании должен включать десятки тысяч узлов, поэтому эффективное управление им очень важно.

Microsoft объединила усилия с Caterpillar и Ballard Power Systems для тестирования резервных генераторов на водородных топливных элементах в своём дата-центре в Куинси (штат Вашингтон). Проект рассчитан на три года и нацелен на изучение возможности использования водородных топливных элементов в масштабе ЦОД. Проект частично финансируется Министерством энергетики США (DOE) в рамках инициативы H2@Scale.

Caterpillar станет генеральным подрядчиком, обеспечивающим общую интеграцию всех систем, работу силовой электроники и средств управления. Ballard предоставит водородный электрогенератор на топливных элементах ClearGen-II мощностью 1,5 МВт, а Национальная лаборатория возобновляемых источников энергии (NREL) выполнит анализ его безопасности, экологичности и технико-экономических аспектов эксплуатации.

Источник изображения: Microsoft

Для успешной реализации проекта необходимо решить ряд проблем. Чтобы топливные элементы обеспечивали мощность 3 МВт в течение 48 часов, требуется около 68 м³ жидкого водорода, для хранения которого требуется намного больше места, чем для дизельного топлива. Для избегания утечек требуются специальные трубопроводы, а сам водород надо хранить при температуре ниже -253 °C. Ранее Microsoft успешно испытала водородные топливные ячейки мощностью 250 кВт от Power Innovations.