Компания Huawei анонсировала системы хранения данных OceanStor Dorado следующего поколения (V7), относящиеся к классу All-Flash. В семейство вошли модели high-end-класса OceanStor Dorado 8000/18000, решения среднего уровня OceanStor Dorado 5000/6000, а также версия начального уровня OceanStor Dorado 3000.

В основу СХД положена полностью взаимосвязанная архитектура SmartMatrix 4.0 типа «активный — активный», которая обеспечивает стабильную работу систем даже в случае отказа семи из восьми контроллеров. Реализована поддержка протоколов FC, iSCSI, NFS, CIFS, FC-NVMe, NVMe over RoCE, NDMP, S3, NFS over RDMA.

Источник изображения: Huawei

По заявлениям Huawei, решение Dorado 18000 обеспечивает в три раза большую производительность по сравнению с массивами предыдущего поколения, чему способствует разгрузка CPU на аппаратном уровне. В частности, применяются карты SmartNIC на базе DPU для разделения потоков данных и управления. Модернизированный интеллектуальный алгоритм взаимодействия FlashLink между контроллерами и DPU обеспечивает более 100 млн IOPS и «чрезвычайно низкую задержку в 0,03 мс» в системе, насчитывающей до 32 контроллеров. СХД обеспечивают гарантированную доступность данных на уровне 99,9999 %. Кроме того, реализована защита от программ-вымогателей с эффективностью до 99,99 %.

Заявлена совместимость между разными СХД на уровне поколений. Это означает, что в одном кластере могут быть задействованы системы V7, ранее выпущенные V6 и будущие V8. Максимальная общая вместимость достигает 500 Пбайт. Интегрированная непрерывная защита данных на уровне ввода-вывода гарантирует, что информация может быть восстановлена в любой момент времени.

Компания NetApp анонсировала новые высокопроизводительные СХД семейства ASA A-Series класса All-Flash, оптимизированные для блочного хранения. Дебютировали модели ASA A1K, ASA A90 и ASA A70, которые, как утверждается, обеспечивают доступность данных на уровне 99,9999 %.

Все новинки имеют 12-узловую конфигурацию и используют два контроллера в режиме «активный — активный». Модель ASA A1K получила исполнение 2 × 2U (плюс дисковая полка NS224 на 24 накопителя), а варианты ASA A90 и ASA A70 — 4U с 48 внутренними отсеками для SSD.

У всех СХД максимальная конфигурация может включать 1440 накопителей. Эффективная ёмкость достигает 67 Пбайт с учётом компрессии 5:1. Доступны 18 слотов расширения PCIe. Говорится о поддержке 24 портов 200GbE и 36 портов 100GbE/40GbE. Младшая версия также поддерживает 48 портов 25GbE/10GbE/1GbE, две другие — 56. Среднее энергопотребление составляет 2718 Вт (с полкой NS224) у ASA A1K, 1950 Вт у ASA A90 и 1232 Вт у ASA A70.

Источник изображения: NetApp

Заявлена совместимость с NVMe/TCP, NVMe/FC, FC, iSCSI, а также с платформами Windows Server, Linux, Oracle Solaris, AIX, HP-UX, VMware. Вместе с выпуском новых СХД компания NetApp усовершенствовала свой сервис Data Infrastructure Insights (ранее Cloud Insights) с целью улучшения возможностей мониторинга и анализа. Клиентам предоставляются дополнительные инструменты по управлению оптимизацией и надежностью инфраструктуры хранения данных, что позволяет повысить эффективность и производительность. Вместе с тем средства NetApp ONTAP Autonomous Ransomware Protection with AI (ARP/AI) обеспечивают обнаружение программ-вымогателей с точностью 99 %.

По словам специалистов Национальной лаборатории Ок-Ридж (ORNL) Министерства энергетики США, суперкомпьютеры и их компоненты утилизируются точно так же, как и ненужная бумага — буквально отправляются в измельчитель. И совсем скоро сотрудникам лаборатории предстоит разобрать суперкомпьютер Summit, который морально устарел, хотя всё ещё входит в десятку самых производительных систем мирового рейтинга TOP500.

Summit хотели вывести из эксплуатации ещё в 2023 году, но из-за довольно высокой производительности пока решено оставить его в строю почти до ноября 2024 года в рамках программы SummitPLUS. Впрочем, часть комплекса уже модернизируется. Так, на смену хранилищу Alpine придёт Alpine 2. Данные из Alpine были переданы в другие СХД суперкомпьютерного центра Oak Ridge Leadership Computing Facility (OLCF). 19 ноября Alpine2 переключат в режим «только для чтения», а потом изменят конфигурацию хранилища для использования в других проектах.

Alpine, основанная на параллельной файловой системе IBM Spectrum Scale, создавалась для временного хранения данных Summit и других систем. По словам учёных, Summit строили для симуляции процессов в сверхновых и термоядерных реакторах и вряд ли где-либо ещё есть такая же концентрация жёстких дисков в одном месте, как в системах ORNL, за исключением, возможно, гиперскейлеров. Другими словами, даже разборка Alpine, которая началась ещё летом — чрезвычайно трудоёмкий процесс, поскольку накопители приходится извлекать вручную и по одному.

Источник изображения: ORNL

Alpine состояло из 40 стоек на площади около 130 м². Хранилище суммарной ёмкостью 250 Пбайт включало 32 494 HDD. Речь идёт о почти 20 т оборудования. Чтобы обеспечить по-настоящему безопасное удаление данных, HDD отвозят для физического уничтожения. За этот процесс отвечает компания ShredPro Secure. HDD буквально крошатся металлическими зубьями до небольших фрагментов. На переработку одного диска уходит приблизительно 10 с, а за день можно уничтожить до 3,5 тыс. накопителей. Полученные остатки окончательно утилизируются в рамках программы по переработке металла ORNL, так что лаборатория ещё и получает деньги за сдачу вторичного сырья.

Вывод из эксплуатации крупных вычислительных систем — постоянно совершенствуемый процесс, который с годами становится всё эффективнее. В последний раз крупное хранилище (Atlas) утилизировали в 2019 году, оно включало около 20 тыс. HDD. Утилизация своими силами заняла около 9 месяцев и оказалась очень дорогой. ShredPro Secure справилась гораздо быстрее, а сам процесс оказался гораздо дешевле. Поэтому компании в итоге отдали на уничтожение ещё около 10 тыс. HDD из других систем. Правда, теперь ORNL раздумывает над покупкой собственного измельчителя, чтобы дополнительно повысить безопасность и сэкономить ещё больше в долгосрочной перспективе.

Подразделение Microsoft Research, работающая в Кембридже (штат Массачусетс, США), занялась разработкой и созданием прототипов систем облачного хранения нового поколения. Datacenter Dynamics напоминает, что именно это подразделение стоит за проектом Project Silica, в рамках которого создавались носители, способные хранить данные 10 тыс. лет.

В описании одной из вакансий говорится, что исследователи пересматривают фронт работ, переключаясь с создания носителей для архивных хранилищ на более «горячие» решения. В частности, упоминается, что недавние успехи с сфере ИИ и машинного обучения фундаментально изменили рамки возможного во многих сферах, включая разработку новых материалов, создание научных симуляций, обработку сигналов и т.п. От кандидата требуется докторская степень в области информатики или компьютерной инженерии или эквивалентный опыт работы в R&D в области СХД, ОС, сетей, распределённых систем и т.п.

Источник изображения: Microsoft

Новые подходы приводят к пересмотру возможностей облачных хранилищ в эпоху ЦОД, ограниченных в энергии — никогда запрос на недорогие и устойчивые хранилища данных не был столь высок. В рамках нового проекта исследователи намерены внедрять инновации на уровне носителей и методов записи и чтения информации. Проект потребует «изобретения новых методов исследования» для быстрой оценки того, как изменения на физическом уровне повлияют на ключевые показатели производительности хранилища.

Создание эффективной системы с нуля также включает решение более традиционных задач — оценку рабочих нагрузок, планирование записи и чтения данных оптимальным образом, эффективное размещение информации на носителе, коррекция ошибок для защиты данных от ошибок и стирания. Главой проект является Ричард Блэк (Richard Black), который ранее работал над инициативой Pelican — под его руководством компания пыталась создать наиболее дешёвый массив дисковых накопителей.

Компания YADRO объявила о выходе обновления программного обеспечения v3.1 для систем хранения данных TATLIN.UNIFIED первого и второго поколения, включающего целый ряд значительных функциональных изменений, разработанных в ответ на актуальные потребности российских заказчиков.

YADRO TATLIN.UNIFIED — российская гибридная СХД корпоративного уровня, обеспечивающая блочный доступ к данным по протоколам FC и iSCSI и поддерживающая одновременное использование дисковых и твердотельных накопителей.

В обновлённой версии ПО полноценно реализована технология создания мгновенных снимков (snapshot, снапшот), позволяющая получать снимки тома («ресурса» в терминологии TATLIN.UNIFIED) или группы томов для быстрого восстановления данных в случае их потери или поломки, выполнять резервное копирование данных через Backup Agent, а также создавать компактные временные копии мастер-тома для чтения и записи.

Источник изображений: YADRO

Для реализации функции снапшотов в архитектуре TATLIN.UNIFIED были сделаны фундаментальные изменения. Был добавлен «маппер» (пул косвенной адресации), позволяющий динамически отображать адресное пространство тома на физический адрес, используя дополнительное хранилище с мета-данными. Речь идёт о «тонких» томах с косвенной адресацией, обеспечивающих высокую гранулярность работы с данными на уровне 4K-блоков. При этом используется технология Redirect-On-Write, позволяющая превратить паттерн случайной нагрузки в последовательную запись на диск, увеличивая производительность. Таким образом, эффективно реализовано создание снимков, клонирование и откат к выбранному снимку.

Косвенная адресация как раз и позволяет создавать мгновенные снимки, не занимающие дополнительного места, поскольку фактически речь идёт только о создании копии мета-данных со ссылками на физические адреса хранения. Новые данные в родительском ресурсе (или клоне), естественно, записываются в новые физически блоки, если, конечно, они не совпадают с уже имеющимися. В дальнейшем «маппер» послужит фундаментом для реализации таких функций, как дедупликация и компрессия данных. По словам разработчиков, снапшоты делают их на шаг ближе к асинхронной репликации и метро-кластеру.

Наконец, ресурсы с косвенной адресацией (до 8 шт.) можно объединить в группы консистентности, для которых гарантируется очередность записи в момент снятия снимка. Фактически в этот момент ресурсы замораживаются, чтобы не нарушить целостность данных во время создания снапшота. На данный момент ведутся работы по интеграции с zVirt, Basis DynamiX, Киберпротект и RuBackup, что позволит создавать консистентные с точки зрения приложений снимки. Кроме того, упомянута интеграция с OpenStack в рамках TATLIN.SATELLITES.

Также был усовершенствован интерфейс WebUI: переработаны разделы «Логическая структура» и «Аппаратная платформа», добавлена секция со списком документации в настройках системы, расширена интеграция с корпоративными каталогами для файлового протокола SMB, доработан механизм Call Home.

Dell Technologies и Nutanix объединили усилия для повышения простоты, гибкости и масштабируемости гибридных облачных инфраструктур с помощью двух новых решений — Dell XC Plus и Dell PowerFlex with Nutanix Cloud Platform, сообщил ресурс SiliconANGLE. Новинки, как ожидается, помогут предприятиям более эффективно управлять приложениями и рабочими нагрузками в средах Nutanix. Новые программно-аппаратные комплексы будут поставляться Dell.

Dell XC Plus представляет собой готовую гиперконвергентную платформу на базе программного стека Nutanix Cloud Platform и серверов Dell PowerEdge. По словам компаний, Dell XC Plus обеспечивает бесперебойное управление в рамках единой структуры, предлагая клиентам больше выбора и контроля для удовлетворения меняющихся ИТ-требований. Платформа, по словам компаний, предоставляет безопасную, устойчивую и гибкую ИТ-среду, централизованное управление гибридным облаком, автоматизацию, оптимизацию планирования ресурсов и повышение производительности посредством ИИ-алгоритмов.

Источник изображения: Dell

В свою очередь, решение Dell PowerFlex with Nutanix Cloud Platform объединяет программно-определяемую инфраструктуру Dell с гипервизором Nutanix AHV и Cloud Platform. Dell PowerFlex — масштабируемая vSAN и гиперконвергентная система с поддержкой нескольких гипервизоров. PowerFlex станет первым внешним хранилищем, поддерживаемым и интегрированным с Nutanix Cloud Platform. Ключевые атрибуты этой новой интеграции включают защиту корпоративных данных и аварийное восстановление, сетевые функции и защиту.

Nutanix и Dell подписали партнёрское соглашение в мае, пытаясь побудить клиентов Broadcom VMware перейти на совместную платформу Dell-Nutanix. Dell и Nutanix сообщили, что решение Dell PowerFlex with Nutanix Cloud Platform в настоящее время находится в разработке и будет доступно для раннего доступа клиентам в конце этого года, в то время как Dell XC Plus доступно уже сейчас. Примечательно, что в анонсе новых решений имя VMware не упоминается ни разу.

Компания Nimbus Data создала мобильное хранилище BatArray, представляющее собой комбинацию All-Flash СХД FlashRack Turbo с электромобилем Tesla Cybertruck. По словам компании, BatArray позволит продемонстрировать энергоэффективность решений Nimbus Data и преимущества аккумуляторных технологий Tesla — это новый способ решать задачи по обработке или хранению данных в эпоху ИИ.

BatArray использует шесть 2U-систем FlashRack Turbo (глубина 21″), каждая из которых способна хранить 1,5 Пбайт, что суммарно даёт 9 Пбайт чистой ёмкости. Эффективная же ёмкость после компрессии и дедупликации может достигать 25 Пбайт. Кластер СХД запитан от розетки 240В/40А в кузове Cybertruck. Заряда таяговых АКБ хватит на 24 часа работы хранилища данных.

Патентованная архитектура Parallel Memory Architecture позволяет BatArray принимать данные со скоростью до 360 Гбайт/с. Это втрое быстрее, чем могли обеспечить фуры AWS Snowmobile. Все данные автоматически шифруются с использованием AES-256 с поддержкой KIMP. Скорость выгрузки данных и вовсе достигает 600 Гбайт/с. В наилучшем случае целиком заполнить BatArray можно за 7 часов, при этом оставшегося заряда АКБ хватит на проезд более 300 км без подзарядки. А используя 400G-трансиверы с FR4-волокном можно связать BatArray с нужным объектом на расстоянии до 2 км.

Источник изображения: Nimbus Data

Двухконтроллерная СХД FlashRack Turbo поддерживает установку 24 NVMe SSD (PCIe 4.0) ёмкостью до 64 Тбайт, а также 512-Тбайт SSP (Solid State Pack). Пиковая производительность составляет до 100 Гбайт/с (блоки 1 Мбайт) и 10 млн IOPS (4K-блоки). СХД поддерживает NVMe-oF (TCP/RoCE), iSCSI, iSER, FCP, SRP, NFS, SMB, AFP, S3, WebDAV, FTP. Для связи с миром доступны порты 10/25/50/100/200/400GbE, InfiniBand EDR/HDR/NDR и FC32/64. Энергопотребление не превышает 1100 Вт.

Компания Western Digital анонсировала платформу хранения данных OpenFlex Data24 4000 класса NVMe-oF JBOF с возможностью установки 24 NVMe SSD стандарта U.2. Например, могут применяться накопители Ultrastar DC SN655 вместимостью 15,36 Тбайт, что в сумме даст около 368 Тбайт ёмкости.

Система выполнена в форм-факторе 2U с размерами 85,5 × 491,1 × 628,65 мм. Задействованы хост-адаптеры RapidFlex на основе фирменных ASIC A2000 с возможностью использования в общей сложности до 12 портов 100GbE. Говорится о поддержке TCP и RoCEv2.

Производительность RoCEv2 достигает 27 млн операций ввода/вывода в секунду (IOPS) при произвольном чтении данных блоками по 4 Кбайт и 3 млн операций при произвольной записи. Скорость последовательного чтения и записи — до 135 и 92 Гбайт/с соответственно. В случае TCP показатель IOPS составляет до 21 млн при произвольном чтении и до 3 млн при произвольной записи. Скорость последовательного чтения и записи — до 113 и 86 Гбайт/с.

Источник изображения: Western Digital

Устройство OpenFlex Data24 4000 несёт на борту чип BMC с ядром Arm; имеется выделенный порт 1GbE для удалённого мониторинга и управления. Диапазон рабочих температур — от +10 до +35 °C. Питание обеспечивают два блока мощностью 800 Вт с сертификатом Titanium. Производитель предоставляет пятилетнюю гарантию.

Компания Pure Storage, разрабатывающая All-Flash СХД, инвестировала неназванную сумму в стартап Cerabyte, занимающийся созданием систем архивного хранения с использованием керамики. Основатель Pure Storage также получит место в совете директоров Cerabyte. В случае успеха новая технология сможет потеснить ленточные накопители, отгрузки которых в последние годы только растут. Сама Pure Storage тем временем намерена окончательно расправиться с HDD.

Разработка Cerabyte предусматривает использование покрытого тонким слоем керамики стекла или плёнки. Информация записывается на керамический слой в виде «ямок», быстро наносимых на поверхность лазером. Фактически речь идёт о вариации QR-кодов, считывать которые тоже можно с помощью лазера. Накопители можно хранить в роботизированной библиотеке на манер тех, что используются для ленточных накопителей. Но если последние необходимо менять приблизительно каждые десять лет, данные на керамике хранятся практически вечно, говорят создатели. Кроме того, плотность записи выше, чем у LTO.

Источник изображения: Cerabyte via Blocks&Files

Объём стратегических инвестиций не раскрывается, но известно, что в совет директоров Cerabyte войдёт основатель и директор по стратегии (Chief Visionary Officer) Pure Storage Джон Колгроув (John Colgrove). По его словам, партнёрство позволит предложить клиентам экобезопасные и надёжные решения для хранения данных, способные произвести революцию в индустрии. В Cerabyte рассчитывают, что партнёрство обеспечит её технологии коммерческое внедрение. В 2023 году компания начала работу в США и уже открыла офисы в Калифорнии и Колорадо.

Источник изображения: Cerabyte

По мнению экспертов Furthur Market Research, мировой запрос на хранилища зеттабайтного уровня плохо удовлетворяется из-за дороговизны и высокого энергопотребления текущих решений. СХД на основе технологий Cerabyte обеспечат экономически и экологически целесообразные альтернативы LTO для корпоративных клиентов. Фактически новое решение в случае успеха может серьёзно подорвать рынок ленточных накопителей и сопутствующих технологий. Демонстрация полностью готовых продуктов (чтение/запись 1+ Гбайт/с, задержка первого обращения не более 15 с, 10–30 Пбайт на стойку) ожидается приблизительно в 2026 году. Пока что у Cerabyte есть только рабочий прототип.

Аргоннская национальная лаборатория (ANL) Министерства энергетики США (DOE) обнародовала запрос на создание нового кластера хранения данных для своего парка суперкомпьютеров. Как сообщает ресурс Datacenter Dynamics, реализация проекта может обойтись в $15–$20 млн.

Речь идёт о создании СХД, которая обеспечит ёмкость и производительность, необходимые для поддержания работы действующих НРС-комплексов, а также будущих суперкомпьютеров. Отмечается, что на площадке Argonne Leadership Computing Facility (ALCF) развёрнуты несколько высокопроизводительных параллельных файловых систем для обработки данных, генерируемых исследователями и инженерами. Это, в частности две системы Lustre вместимостью 100 Пбайт с пропускной способностью 650 Гбайт/с. Обе они используют интерконнект Infiniband HDR.

Источник изображения: DOE

Новая СХД будет обладать ёмкостью на уровне 400 Пбайт. В число требований входят IOPS-производительность до 240 млн, пиковая пропускная способность в 6 Тбайт/с, совместимость с POSIX и возможность одновременного монтирования до 30 тыс. узлов. Поставщик должен обеспечивать поддержку в течение пяти лет.

Предполагается, что платформа будет использоваться суперкомпьютером Aurora, который в нынешнем рейтинге TOP500 занимает второе место с быстродействием 1,012 Эфлопс. Кроме того, доступ к СХД получит НРС-комплекс Polaris: его пиковая производительность составляет около 44 Пфлопс.

Проектируемая СХД должна обеспечивать «надёжность и масштабируемость, необходимые для следующего поколения HPC и ИИ». Поставку платформы исполнителю работ необходимо осуществить ко II или к IV кварталу 2025 года, если дополнительные полгода позволят внедрить новые технологии.