Технические проблемы, возникшие в сингапурском дата-центре Equinix в середине минувшего октября из-за перегрева, привели к серьёзным проблемам в банковской сфере. Как сообщает The Register со ссылкой на Валютное управление Сингапура (MAS), проблемы с системой охлаждения ЦОД привели к остановке 2,5 млн банковских операций. Проблема затронула DBS и Citibank, неприятности у которых начались днём 14 октября 2023 года — в результате клиенты частично утратили доступ к банковским услугам приблизительно на два дня, лишившись возможности осуществлять платежи.

По данным властей в результате роста температуры в ЦОД выше допустимого уровня из-за нарушения работы системы охлаждения зарегистрировано 810 тыс. неудачных попыток доступа к двум банковским платформам, понадеявшихся на Equinix, а 2,5 млн онлайн-платежей и операций в банкоматах так и не были завершены. Сам оператор ЦОД винит подрядчика, поскольку его сотрудник якобы «неправильно» отправил сигнал на закрытие клапанов буферных резервуаров с холодной водой в ходе обновления инфраструктуры.

Хотя банки немедленно приняли меры для возвращения работоспособности после инцидента, полностью восстановить системы с использованием резервных ЦОД сразу не удалось. DBS — из-за неправильной конфигурации сети, а Citibank из-за проблем с сетевым подключением. В результате оба банка не сумели уложиться в нормативы MAS, требующие, чтобы отключение критически важных систем, влияющих на банковские операции, не превышало 4 часов в год. Управление ввело ряд довольно жёстких наказаний для провинившихся банков сроком на полгода.

По мнению экспертов, удивительно не только то, что система охлаждения не сработала, но и то, что банки не смогли своевременно отреагировать на сбой, введя в действие резервные мощности. Считается, что, как часто бывает, инцидент произошёл благодаря стечению неблагоприятных обстоятельств, поскольку на активацию резервной системы в норме уходят секунды или минуты. При этом MAS не контролирует деятельность провайдеров вроде Equinix.

Компания OVHcloud, европейский поставщик облачных услуг, по сообщению ресурса Datacenter Dynamics, развернёт новый ЦОД в Сингапуре. Говорится, что на объекте, месторасположение которого не раскрывается, будет внедрена передовая технология жидкостного охлаждения. Вероятно, речь идёт о фирменной СЖО собственной разработки.

Подробности о дата-центре держатся в секрете, поэтому о его мощности ничего не известно. Но подчёркивается, что площадка OVHcloud будет оснащена СЖО на уровне стоек, что позволит отводить тепло непосредственно от серверов. А поэтому отпадёт необходимость в кондиционировании воздуха в помещениях c оборудованием.

Источник изображения: OVHcloud

С 2019 года в Сингапуре действует мораторий на строительство новых ЦОД: исключением являются лишь проекты, уже получившие одобрение местных властей. Проблема заключается в том, что в этом в городе-государстве очень мало необходимых для таких проектов ресурсов — свободных территорий и возобновляемой энергии. В 2022-м запрет был смягчён, но требования для операторов остаются очень высокими. Поэтому, полагают участники рынка, при реализации нового проекта OVHcloud придётся арендовать площади в одном из действующих кампусов.

Запуск дата-центра является частью плана OVHcloud по созданию 15 новых площадок. В начале этого года компания открыла дата-центр в Мумбаи (Индия), а в 2024-м планирует запуск ЦОД в Сиднее (Австралия). Ранее OVHcloud заявляла, что у неё имеется более 30 действующих и строящихся дата-центров во Франции, Канаде, США, Австралии, Германии, Польше и Великобритании.

Equinix, GDS, Microsoft и консорциум AirTrunk и ByteDance в 2023 году получили разрешение на развёртывание в Сингапуре дата-центров общей мощностью 80 МВт. А недавно компания Singtel приступила к строительству в этом государстве ЦОД мощностью 58 МВт.

В минувшую субботу в дата-центре Equinix в Сингапуре произошёл сбой, повлекший за собой остановку банковских сервисов по всей стране, сообщил ресурс Data Center Dynamics. В настоящее время ведётся расследование «технической проблемы», вызвавшей повышение температуры в ЦОД, сообщили в Equinix.

Сообщается, что из-за сбоя в ЦОД компании были отключены сервисы банков DBS и Citibank в Сингапуре. Также проблемы наблюдались в работе других сервисов на Филиппинах, в Гонконге, Индии, Южной Африке, Камбодже, Индонезии, Шри-Ланке, ОАЭ и на Мальдивах, где многие пользователи не смогли получить доступ к своим аккаунтам в Facebook✴, Instagram✴ и Whatsapp.

Источник изображения: Equinix/Data Center Dynamics

В валютном управлении Сингапура (MAS) сообщили о том, что им известно о сбое, в связи с чем проводится расследование, а к Equinix применены ограничительные меры. Ранее подобные ограничения были применены к Equinix в феврале 2022 года в связи с происшедшим тогда сбоем. «Отключения, подобные инциденту 14 октября, показывают, насколько важны ЦОД для нашей повседневной жизни, и поэтому организациям необходимо постоянно анализировать отдельные точки сбоев и принимать соответствующие меры для снижения этих рисков», — сообщил Эдвард ван Леент (Edward van Leent) председатель сингапурской компании Enterprise Products Integration (EPI).

Количество сбоев ЦОД с годами не уменьшается. По данным Uptime Institute, основанным на анализе сбоев ЦОД в 2023 году, более двух третей всех сбоев обходятся более чем в $100 тыс., в том числе почти 25 % сбоев наносят убытки более чем в $1 млн. Патрик Чан (Patrick Chan), вице-президент Uptime Institute по азиатскому региону указал на важность проведения сертификации ЦОД с целью соблюдения стандартов и снижения рисков сбоев.

UPD 24.10.2023: Equinix обвинила в сбое стороннего подрядчика, который подал сигнал на закрытие вентилей ёмкостей с теплоносителем во время запланированного обновления инфраструктуры, в результате чего температура в некоторых машинных залах поднялась, что и привело к проблемам у клиентов компании. Кроме того, валютное управление Сингапура предписало банкам DBS и Citibank провести тщательное расследование, почему их резервные ЦОД не смогли вовремя принять нагрузку на себя.

Компания 6Estates, сингапурский провайдер ИИ-решений для корпоративных заказчиков, объявила о развёртывании первой системы NVIDIA DGX BasePOD на основе DGX H100. Кластер будет применяться для решения ресурсоёмких задач в области ИИ.

Фирма 6Estates, созданная на базе Национального университета Сингапура и Университета Цинхуа, специализируется на предоставлении предприятиям решений, использующих LLM. Кроме того, 6Estates является участником программы NVIDIA Inception по поддержке стартапов в области ИИ.

DGX BasePOD — это референсная архитектура, которая объединяет вычислительные мощности, сетевые инструменты, СХД, необходимое ПО и другие компоненты в интегрированную ИИ-инфраструктуру на основе NVIDIA DGX. 6Estates планирует использовать BasePOD на базе DGX H100 для своего нового предложения Model Solutions, которое даёт предприятиям возможность создавать персонализированные LLM и приложения для конкретных задач. Кроме того, 6Estates получит доступ к комплексному пакету фреймворков и ИИ-инструментов NVIDIA AI Enterprise.

Источник изображения: 6Estates

Используя DGX H100, 6Estates существенно сократит время обучения моделей и обеспечит более быстрое предоставление услуг Model Solutions корпоративным клиентам. Кластер также будет поддерживать существующие решения 6Estates в области ИИ, в частности, специализированную платформу, которая автоматизирует обработку и анализ неструктурированных документов без шаблонов, а также автоматизирует рабочие процессы для кредиторов и торговых компаний.

Инвестиционная компания KKR готовится купить 20 % акций в бизнесе телеком-гиганта Singtel, связанном с ЦОД. Как сообщает The Register, это расширит возможности обоих бизнесов на рынке ЦОД в Азии. Согласно докладу Singtel, KKR согласна заплатить более $806 млн за долю в бизнесе и получит возможность увеличить эту долю ещё на 5 % к 2027 году. В результате региональный бизнес ЦОД Singtel вырастет в цене до $5,5 млрд.

Сообщается, что полученные средства Singtel намерена потратить на расширение присутствия в Азии на фоне цифровизации всех сфер жизни и развития ИИ-систем. Ожидается, что уже в следующую пятилетку спрос на места ЦОД в Азии превысит показатели всего остального мира, а Singtel и KKR делают ставку на рост бизнеса в Сингапуре. Впрочем, у местных властей дата-центры временно не в фаворе.

Источник изображения: Singtel

KKR уже инвестировала в инфраструктурную платформу Pinnacle Towers, оператора ЦОД CyrusOne и производителя СЖО CoolIT Systems. В последнем случае она фактически выкупила компанию за $270 млн, что позволит масштабировать её деятельность на мировом рынке. KRR является владельцем облачной платформы Claudera и ИБ-концерна Barracuda. Всего на счету KKR — более 690 инвестиций в компании с общей стоимостью около $700 млрд.

Singtel наращивает ёмкость в Сингапуре с 62 до 120 МВт и уже заключила соглашения с местными бизнесами для строительства ЦОД на близлежащем индонезийском острове Батам, а также в Таиланде (Бангкоке). Ещё одной площадкой для строительства ЦОД может стать Малайзия. В результате общий портфель компании на соответствующем рынке вырастет к 2025 году до 155 МВт, а потенциально он способен увеличиться и до 200 МВт.

Ранее Singtel уже распродавала часть активов, сделав ставку на развитие ЦОД в странах АСЕАН. Например, в октябре 2021 года в продажу ушли 70 % телеком-бизнеса Australia Tower Network (ATN). В Singtel уверены, что сотрудничество с KKR даст возможность использовать не только деньги инвестора, но и его опыт в сфере ЦОД и телеком-решений.

Сингапурское подразделение оператора Digital Realty применило электролиз для очистки воды в дата-центре SIN10. Как сообщает DataCenter Dynamics, специальные DCI-модули сингапурской компании Innovative Polymers позволяют ЦОД экономить более 1 тыс. м³ ежемесячно. Системы DCI (DeCaIon) используют ток для генерации ионов, что ведёт к выпадению в осадок соединений кальция и магния. Считается, что такая система значительно экономичнее, чем очистка с помощью химикатов.

DCI-модули уже довольно широко используются, например, в системах кондиционирования медучреждений. Что касается ЦОД, в них подобная система применяется впервые. DCI-модуль, позволяющий трижды прогнать воду по контурам до её сброса в канализацию, стоит около $25 тыс., потребляет порядка 700 кВт·ч в год и способен обслуживать охлаждающую инфраструктуру ЦОД мощностью примерно 1–1,3 МВт. Важным преимуществом системы является и то, что она избавляет контуры охлаждения от появления в них отложений солей — в результате улучшается теплообмен и энергосбережение.

Фото: Innovative Polymers

Для SIN10 требуется примерно 20–25 модулей, так что внедрение технологии только в этом дата-центре стоит порядка $500 тыс. Впрочем, проект частично финансируется из фондов правительства Сингапура. В Digital Realty заявляют, что DCI-система позволяет экономить до 1,24 млн л ежемесячно. А в целом компании удалось снизить потребление воды с 2020 года на 7 %. Впрочем, теперь перед ней стоит сложная задача сохранения водного баланса, поскольку она готовит площадки для инфраструктуры генеративного ИИ, которая намного более требовательна и к электропитанию, и к охлаждению.

Источник изображения: Innovative Polymers

Проблема водопотребления ЦОД имеет критическое значение. Ещё в 2021 году сообщалось, что они потребляют сотни миллионов кубометров питьевой воды, но сколько именно — никто достоверно не знает. Операторы активно работают над сокращением потребления этого ценного ресурса. Например, в том же году сообщалось, что Microsoft объявила о намерении использовать дождевую воду в Нидерландах из-за протестов местных жителей, а буквально в прошлом месяце лондонская Thames Water потребовала от местных ЦОД сократить расход воды.

Но проблемам с водоснабжением сопутствуют и проблемы водоотведения. Так, Microsoft в одном из последних ЦОД была вынуждена поменять подход к охлаждению из-за того, что местная канализация попросту не справляется с потоками сточных вод от дата-центров. А несколько лет назад компанию почти что вынудили построить выделенную станцию очистки сточных вод её ЦОД. Тогда же Microsoft вместе с рядом других гиперскейлеров пообещала стать «водно-положительной» к 2030 году.

В Сингапуре пошли на ослабление моратория, запрещавшего строительство новых дата-центров. Как сообщает DataCenter Dynamics, страна распределила первые за несколько лет 80 МВт — они достались Equinix, Microsoft, AirTrunk (в паре с ByteDance) и GDS. Ранее представители технологического сектора Сингапура жаловались, что страна упустила «представляющийся раз в жизни» шанс стать мировым хабом для дата-центров.

Мораторий на строительство новых ЦОД появился в 2019 году — исключение составили проекты, уже получившие одобрение местных властей. Год назад запрет был смягчён, поскольку появилась возможность подать новые заявки. Всего таковых набралось более 20, так что в ближайшие год-полтора будут распределены новые мощности для ЦОД — страна по-прежнему намерена стать «глобальным цифровым хабом», намереваясь при этом добиться нулевого углеродного выброса.

Источник изображения: Mike Enerio/unsplash.com

Победителями, как сообщается, стали компании, лучше всех способные достичь желаемых Сингапуром экономических и экологических результатов. В частности, победители смогли предложить наиболее энергоэффективные решения для машинного обучения, ИИ и HPC, в том числе с новыми системами охлаждения. Также победители выразили готовность взять на себя «иные экономические обязательства» помимо прямых инвестиций. Впрочем, есть ещё один предварительно одобренный проект морского дата-центра.

Microsoft запустила первый в стране облачный регион Azure в 2010 году, последний ЦОД AirTrunk был открыт в Сингапуре в 2020 году, а Equinix, владеющая пятью ЦОД в стране, ввела в эксплуатацию последний из них уже после введения моратория. И только GDS построит дата-центр в Сингапуре впервые. В русле этой политики вполне ожидаемо, что Сингапур намеревается потратить более $7 млрд на расширение системы подводных интернет-кабелей и провести в ближайшие 10 лет комплексную модернизацию интернет-инфраструктуры.

Сингапур, по сообщению ресурса Datacenter Dynamics, в течение ближайших десяти лет намерен провести комплексную модернизацию своей интернет-инфраструктуры. Речь идёт как о прокладке новых подводных волоконно-оптических кабелей, так и о развитии наземных сетей.

На сегодняшний день Сингапур является одним из крупнейших центров связи, который соединяет Юго-Восточную Азию с миром. К этому городу-государству подходят 26 подводных интернет-кабелей, которые подключены к трём наземным станциям. Одна из них находится в Туасе на западе страны, а две другие расположены на восточной стороне острова, примерно в 50 км друг от друга.

В течение десятилетия Сингапур намерен построить ещё три наземные станции для подключения подводных интернет-кабелей, что значительно расширит возможности по пропуску трафика. Кроме того, планом предусмотрено обеспечение сквозной связи внутри страны со скоростью 10 Гбит/с в течение пяти лет. Затраты на расширение кабельной инфраструктуры оцениваются в $7,4 млрд.

Источник изображения: pixabay.com

Инициатива по модернизации цифрового пространства также предусматривает создание в Сингапуре экологически чистых дата-центров, для чего потребуются инвестиции в размере от $7,4 до $8,9 млрд. Плюс к этому работы будут вестись по развитию беспроводных сетей Wi-Fi и платформ сотовой связи 5G.

Компания Keppel Data Centres поделилась информацией о перспективах возведения парка плавучих ЦОД (FDCP). Как сообщает DataCenter Dynamics со ссылкой на представителей компании, Keppel получила одобрение от регуляторов Сингапура и теперь ведёт переговоры о реализации проекта с владельцами акватории, в которой должно осуществляться строительство.

Известно, что ещё в 2019 году компания начала изучать возможность строительства FDCP, к тому моменту уже инвестировав $10 млн в аналогичный калифорнийский проект Nautilus Data Centers, который был реализован двумя годами позже. Предполагается, что дата-центры FDCP будут иметь модульный дизайн, а постоянный доступ к морской воде для охлаждения позволит поднять экологический рейтинг проекта благодаря снижению потребности в очищенной воде.

Источник изображения: Keppel Data Centers

Владелец площадки для претворения в жизнь собственной инициативы пока неизвестен, но ранее сообщалось о сотрудничестве с Loyang Offshore Supply Base, управлением которой занимается Toll Group. С последней в 2020 году был подписан меморандум о взаимопонимании с Toll Group. Параллельно Keppel заключила целый ряд соглашений и меморандумов с целью изучения возможности поставок и использования сжиженного природного газа или водорода для питания плавучих объектов.

Источник изображения: Keppel Data Centers

После того как от Keppel Data Centres отделилась Keppel Offshore & Marine (KOM), занимающаяся строительством морских платформ и в итоге объединившаяся с Sembcorp Marine, будущее проекта FDCP ставилось многими экспертами под вопрос. Тем не менее, компания официально заявила, что имеет достаточно знаний и навыков для реализации проекта, а также сотрудничает с рядом партнёров, готовых выполнять её задания.

Как показывает судьба проекта Nautilus Data Centers, плавучие решения вполне востребованы и в конце 2022 года Nautilus Data Technologies подписала договоры об аренде двух новых площадок для ЦОД, в США и Франции. Однако для Сингапура, где введены жёсткие регуляции для ЦОД, плавучие дата-центры могут стать настоящим спасением. Также предлагается создавать подводные ЦОД или размещать ЦОД на морских платформах.

В рамках проекта «Устойчивый тропический дата-центр» (STDC) будут протестированы новые методы охлаждения оборудования ЦОД с целью снижения нагрузки на сингапурскую электросеть. Необходимость в этом назрела, поскольку на Сингапур приходится около 60% центров обработки данных Юго-Восточной Азии и они потребляют уже 7% всей доступной стране электроэнергии. Несмотря на растущий спрос, властям пришлось наложить мораторий на строительство новых объектов.

Тестовая площадка STDC, которая разместится на территории кампуса Kent Ridge Национального университета Сингапура (NUS). Она позволит испытать конструкцию теплообменника с влагопоглощающим покрытием и систему StatePoint, которую Facebook✴ и Nortek разработали для тропических районов. Также будет рассмотрен вариант гибридного охлаждения на уровне чипов и система динамического управления охлаждением на основе цифровых двойников и алгоритмов искусственного интеллекта (ИИ).

newswise.com

Исследователи планируют выяснить, может ли теплообменник, покрытый адсорбентом, улучшить непрямое испарительное охлаждение в условиях тропического климата. Тестирование такой системы в реальных условиях эксплуатации необходимо для последующего безопасного внедрения на коммерческих объектах. А гибридное охлаждение чипов должно повысить надёжность, поскольку систему воздушного охлаждения можно использовать во время обслуживания водяного контура.

ntu.edu.sg

Также будут исследованы возможности «Тропического ЦОД с воздушным охлаждением 2.0» — обновлённой версии системы, проектирование которой было начато в 2017 году. Она способна эффективно работать при повышенных температуре воздуха и влажности, что позволяет снизить энергопотребление оборудования воздухоподготовки.

На уровне государства создание стенда для испытаний инновационных систем охлаждения поддержали национальный исследовательский фонд (NRF) и Агентство развития информационных технологий (IMDA). На реализацию проекта суммарно выделено $17 млн.

ntu.edu.sg

Крупнейшим частным инвестором стала Facebook✴, которая ещё в 2018 году выбрала Сингапур для размещения крупного 11-этажного ЦОД мощностью 150 МВт. Энергию для него предоставят солнечные электростанции местной компании Sunseap, расположенные на крышах домов и воде. Энергоэффективность (PUE) объекта планируется на уровне 1,19. Для этого и нужна будет система жидкостного охлаждения StatePoint.

Участники проекта надеются, что все эти технологии в совокупности помогут снизить энергопотребление в индустрии центров обработки данных на 40%, если они будут внедрены во всём тропическом регионе. Учитывая высокую долю ископаемого топлива в местной электроэнергетике, это позволит сократить выбросы парниковых газов на 25%.