Компания Delta Computers, российский производитель IT-оборудования и поставщик ПО, анонсировала отечественный программно-аппаратный комплекс (ПАК) для развёртывания виртуальных рабочих мест (VDI). Решение, как утверждается, поможет заказчикам упростить администрирование компьютеров и снизить расходы на поддержание IT-инфраструктуры.

В основу платформы положено российское оборудование. Это серверы Delta Tioga Pass, комплектующиеся процессорами Intel Xeon SkyLake-SP и Cascade Lake-SP и оперативной памятью DDR4-2933 (до 4 Тбайт). Применены серверное шасси Delta Akturu и модуль хранения Delta Argut с возможностью использования до 30 NVMe-накопителей.

Набор ПО включает ОС Astra Linux Special Edition 1.7, средства виртуализации «Брест» и решение для создания инфраструктуры виртуальных рабочих мест Termidesk for Astra. Кроме того, задействованы система мониторинга, управления и анализа инфраструктуры дата-центров Delta DCM и микропрограммное обеспечение Delta BMC. Отмечается, что Astra Linux и Delta BMC имеют сертификацию ФСТЭК.

Источник изображения: pixabay.com

Среди ключевых преимуществ комплекса VDI компания Delta Computers выделяет централизованное администрирование ИТ-инфраструктуры, высокий уровень безопасности приложений и пользовательских сервисов, оперативное создание новых рабочих мест и оптимизацию затрат. В настоящее время ПАК уже пользуются 5 тыс. сотрудников концерна «Росэнергоатом», в перспективе их количество увеличится.

Российская компания GAGAR>N («Гагар.ИН») анонсировала серверы Оракул Gen2.0, которые, как утверждается, могут применяться для решения широкого круга задач, в том числе в корпоративном сегменте. В основу систем положена аппаратная платформа Intel Xeon Ice Lake-SP.

По сравнению с моделями первого поколения новинки стали производительнее: они содержат до 80 вычислительных ядер на систему. Объём оперативной памяти может достигать 8 Тбайт в виде 32 модулей DIMM. Серверы поддерживают до восьми накопителей NVMe SSD. Плюс к этому можно установить четыре NVMe-устройства в дополнительной корзине, а также два модуля M.2. Кроме того, увеличилось количество PCIe-слотов, что даёт возможность установить большее число адаптеров для подключения к устройствам ввода-вывода.

Источник изображения: GAGAR>N

Новинки выполнены в модульном форм-факторе, предусматривающем установку двух узлов в шасси высотой 2OU, и рассчитаны на монтаж в шкаф стандарта OCP v2.0 с консолидированной шиной питания 12 В. Это позволяет обеспечить энергоэффективность, простоту в обслуживании и масштабируемость серверных инфраструктур. Причём монтажные шкафы и централизованные полки питания также разработаны и производятся компанией GAGAR>N.

«Серверы GAGAR>N Оракул Gen2.0 выдерживают самые высокие нагрузки и оптимально подходят для решения задач, связанных с работой систем и приложений с большим количеством пользователей, большими объёмами обрабатываемых данных, а также сложными расчетами и вычислениями», — заявляет разработчик.

Кроме того, компания GAGAR>N представила систему питания для OCP-шасси. Шесть блоков по 3 кВт каждый обеспечивают резервируемое питание по схеме 3+3, либо 5+1. Система будет поставляться в составе серверного шкафа GAGAR>Nс стандарта OCP Open Rack v2. Диапазон рабочих температур — от 0 до +50 ºС.

Приём предварительных заказов на серверы GAGAR>N Оракул Gen2.0 начнётся в мае. Серийное производство новой системы питания будет организовано в III квартале 2023 года.

Сервер GAGAR>N Оракул Gen1, созданный на базе открытой архитектуры OCP Tioga Pass, получил сертификат OCP Accepted и будет представлен в маркетплейсе глобального OCP-сообщества. Как отмечают в компании, сертификация подтверждает зрелость продукта, его открытость, совместимость с другими ИТ-решениями в рамках стандартов OCP и качество аппаратного и программного обеспечения.

Для прохождения сертификации GAGAR>N предоставил документацию на сервер, а также программное обеспечение UEFI и BMC. У GAGAR>N уже есть аккредитованная сообществом OCP лаборатория. В ноябре 2022 года компания открыла Центр экспертизы, получивший официальный статус OCP Experience Center. Это один из шести подобных центров в регионе EMEA. В декабре 2022 года «Гагар.ИН», также первой в России, получила статус Solution Provider от OCP, подтверждающий, что ее операции, включая производство, логистику и поддержку выполняются в соответствии с глобальным OCP-стандартом.

Фото: GAGAR>N

Сообщество Open Compute Project (OCP), созданное десять лет назад, объединяет производителей и потребителей оборудования и ПО для центров обработки данных со всего мира. Участники прорабатывают открытые тиражируемые решения, предназначенные для повышения эффективности ЦОД, упрощения эксплуатации оборудования и снижения совокупной стоимости владения. Помимо GAGAR>N развитием OCP-оборудования в России также занимается Delta Computers.

В своё время Dropbox стал одним из первых крупных провайдеров облачных услуг, активно внедрявшим жёсткие диски с SMR-записью, что позволило увеличить плотность размещения данных. А сейчас компания присматривается к HDD с HAMR-записью, просчитывая влияние этой технологии на свои ЦОД.

В одном из последних постов в своём блоге компания поделилась некоторыми мыслями насчёт внедрения HAMR, технологии, обещающей жёсткие диски объёмом 30 Тбайт уже в ближайшем будущем, а в более отдалённом — 100 Тбайт и более. Дабы обеспечить предсказуемый уровень производительности и поддержать на должном уровне качество обслуживания (QoS), Dropbox планирует изменить конструкцию фирменных серверов и внести ряд изменений в инфраструктуру ЦОД.

Источник изображений здесь и далее: Dropbox

Одним из наиболее важных тезисов является вопрос влияния вибраций на качество функционирования HAMR HDD. В новых дисках существенно возрастёт плотность записи, а значит, вопрос точного позиционирования головок встанет острее. Характерные для серверных стоек вибрации, генерируемые вентиляторами систем охлаждения и блоками головок HDD в режиме поиска дорожки, могут негативно отразиться на производительности.

Таким образом, задача Dropbox заключается в минимизации вибраций, передаваемых на корпуса HDD. Для этого компания активно изучает спецификации OCP HDD Dynamics и планирует внести соответствующие изменения в конструкцию серверов седьмого поколения, включая снижение шума вентиляторов системы охлаждения. Для вибрационных тестов будет использована спецификация OCP HDD Acoustical Surrogate.

Другой важной проблемой высокоплотных HDD является снижение удельной производительности на случайных операциях (IOPS/Тбайт) по мере роста ёмкости накопителей. Минимально приемлемый уровень варьируется, но при падении ниже этого показателя (например, 5 IOPS/Тбайт) диск больше не может соответствовать требованиям к качеству обслуживания.

Для борьбы с этим можно либо снижать ёмкость задействованных HDD, либо использовать модифицированные прошивки, либо внедрять SSD-кеширование, либо применять HDD с более высокими показателями I/O, что ведёт к дополнительным затратам. Одним из вариантов решения проблемы является выпуск моделей с двумя актуаторами. Рассматривает возможность их применения и Dropbox. Ещё одна альтернатива — использование погружных СЖО, которые уже изучают Iceotope и Meta✴. Их применение потенциально позволит снизить уровень вибрации, хотя с точки зрения именно охлаждения их использование пока не слишком оправдано.

Есть и другие проблемы: так, для обеспечения плотности хранения свыше 6 Пбайт/узел компании придётся перестроить архитектуру сети, дабы поддержать на приемлемом уровне производительность при чтении и восстановлении данных. Тем не менее, в седьмом поколении фирменных серверов Dropbox всё же намеревается решить все проблемы и внедрить использование HDD с HAMR.

Компания Giga Computing, подразделение Gigabte, анонсировала новые продукты корпоративного класса, выполненные в соответствии со стандартом Open Compute Project (OCP) Open Rack Version 3 (ORV3). Решения, как отмечается, спроектированы для открытых, масштабируемых и эффективных систем, которые могут используются как в небольших дата-центрах, так и на площадках гиперскейлеров.

Одной из новинок стала 21″ OCP-стойка DO22-ST0. Она использует единую шину 48 В и обладает ёмкостью 42OU. Габариты составляют 600 × 2223 × 1068 мм. С дополнительным модулем питания обеспечивается мощность до 30 кВт.

Источник изображений: Gigabyte

Кроме того, анонсирован узел TO23-H60 на процессорах Intel Xeon Ice Lake-SP. Применена материнская плата MH62-HD2 с возможностью установки двух чипов с показателем TDP до 270 Вт. Есть 16 слотов для модулей оперативной памяти DDR4-3200/2933/2666. Во фронтальной части расположены четыре отсека для SFF-накопителей NVMe/SATA/SAS. Может быть установлена карта OCP 3.0 и низкопрофильная карта расширения PCIe 4.0 x16. Упомянуты интерфейсы USB 3.2 Gen1, D-Sub и сетевой порт управления. Габариты — 180 × 90 × 740 мм. Три таких узла могут быть смонтированы на базе лотка TO23-BT0.

Представлены также JBOD-серверы TO24-JD0 и TO24-JD1. Устройства формата 2OU рассчитаны на 32 накопителя LFF/SFF с интерфейсом SATA/SAS. Первая из этих моделей наделена тремя чипами Broadcom SAS4X32 SAS и четырьмя фронтальными портами Mini-SAS HD, вторая — шестью и восемью соответственно. Есть сетевой порт управления 1GbE. Габариты составляют 537 × 93 × 807,6 мм.

Delta Сomputers завершила сертификационные испытания микропрограммного обеспечения Delta BMC и получила от ФСТЭК сертификат соответствия четвертому уровню доверия к средствам технической защиты данных и обеспечения безопасности информационных технологий.

Программный продукт предназначен для мониторинга и удаленного администрирования серверного оборудования. Он используется для управления компонентами аппаратного обеспечения независимо от основной и гостевой операционной системы.

Источник: Delta Сomputers

Основные функции Delta BMC включают в себя мониторинг состояния аппаратных компонентов и получение инвентарной информации; удаленный доступ (KVM) и управление системой (питание, охлаждение, индикация). Delta Computers разрабатывает продукты на базе открытых стандартов и является членом консорциума Open Compute Project (OCP).

«Сертификат ФСТЭК свидетельствует о высоком уровне безопасности Delta BMC. Теперь продукт может принести дополнительную пользу в различных чувствительных к безопасности проектах, а также объектах критической информационной инфраструктуры. Это очень важно ввиду повышенных рисков информационной безопасности, с которыми им приходится сегодня сталкиваться, и самых строгих требований, предъявляемых ими к защите» — отмечает Delta Computers.

«Зелёная» экономика, переход на которую стремится осуществить всё больше стран, требует радикального сокращения вредного воздействия техносферы на окружающую среду. Один из эффективных способов достижения этой задачи связан с включением в полезный оборот побочных продуктов экономической деятельности. В случае дата-центров таким продуктом является тепло.

Великобритания, Дания и другие страны направляют тепло от ЦОД в отопительные системы домов, а Норвегия обогревает им омаровые фермы и планирует обязать дата-центры отдавать «мусорное» тепло на общественные нужды. Французская компания Qarnot решила посмотреть на эту задачу под другим углом, разработав в 2017 г. концепцию электрообогревателя для жилых и офисных помещений на процессорах AMD и Intel.

Изображение: Qarnot (via DataCenterDynamics)

В 2018 г. Qarnot продолжила изыскания и выпустила криптообогреватель QC-1. А недавно она порадовала своих заказчиков следующим поколением отопительных устройств QB, которое создано в сотрудничестве с ITRenew. Новые модули используют OCP-серверы, которые ранее работали в дата-центрах гиперскейлеров. Оснащённые водяным охлаждением, они обогревают помещения пользователей и обеспечивают дополнительные мощности для периферийных облачных вычислений.

Система отводит 96% тепла, производимого кластером серверов, которое попадает в систему циркуляции воды. IT-часть состоит из процессоров AMD EPYC/Ryzen или Intel Xeon E5 в составе OCP-платформ Leopard, Tioga Pass или Capri с показателем PUE, который, по словам разработчиков, стремится к 1,0. При этом вся система практически бесшумная, поскольку вентиляторы отсутствуют.

В компании заявляют, что с февраля уже развёрнуто 12 000 ядер, и планируется довести их число до 100 000 в течении 2022 года. Среди предыдущих заказчиков систем отопления Qarnot числятся жилищные проекты во Франции и Финляндии, а также банк BNP и клиенты, занимающиеся цифровой обработкой изображений.

По словам технического директора Qarnot Клемента Пеллегрини (Clement Pellegrini), QB приносит двойную пользу экологии, используя не только «мусорное» тепло, но и оборудование, которое обычно утилизируется. У ITRenew уже есть очень похожий совместный проект с Blockheating по обогреву теплиц такими же б/у серверами гиперскейлеров.

LiquidStack, дочернее предприятие BitFury, специализирующееся на разработке иммерсионных СЖО, и Microsoft продемонстрировали на OCP Global Summit стандартизированное решение с двухфазным погружным жидкостным охлаждением. Демо-серверы Wiwynn, разработанные в соответствии со спецификациями OCP Open Accelerator Infrastructure (OAI), были погружены в бак LiquidStack DataTank 4U, способный отводить порядка 3 кВт/1U (эквивалент 126 кВт на стойку).

LiquidStack сообщила, что она впервые оптимизировала серверы OCP OAI для охлаждения путем погружения в жидкость. По словам компании, её двухфазные иммерсионные СЖО DataTank предоставляют наиболее эффективное решение, которое требует немного пространства и потребляет меньше энергии, чем другие системы охлаждения, и вместе с тем повышает плотность размещения компонентов и их производительность.

Фото: LiquidStack

В демо-серверах использовались ИИ-ускорители Intel Habana Gaudi, погружённые в жидкий диэлектрик (от 3M) с низкой температурой кипения, который наиболее эффективно отводит тепло благодаря фазовому переходу. Данное решение должно помочь достижению показателя PUE в пределах от 1,02 до 1,03, поскольку оно практически не потребляет энергию. LiquidStack утверждает, что у её СЖО эффективность теплоотвода примерно в 16 раз выше, чем у типичных систем воздушного охлаждения.

Фото: LiquidStack

По мнению компании, системы высокопроизводительных вычислений (HPC) уже сейчас слишком энергоёмки, чтобы их можно было охлаждать воздухом. Поэтому следует использовать платы, специально предназначенные для жидкостного охлаждения, а не пытаться адаптировать те, что были созданы с расчётом на воздушные системы — при использовании СЖО вычислительная инфраструктура может занимать на 60% меньше места.

Изображение: Microsoft

LiquidStack и Wiwynn являются партнёрами. В апреле Wiwynn инвестировала в LiquidStack $10 млн. Также Wiwynn протестировала серверы с погружным жидкостным охлаждением в центре обработки данных Microsoft Azure в Куинси (штат Вашингтон). Microsoft, как и другие гиперскейлеры, уже некоторое время изучает возможности иммерсионных СЖО.

В России неподалёку от Рязани, на территории индустриального парка «Рязанский», началось строительство нового завода по производству серверов. Проект реализуется совместным предприятием, созданным «Яндексом», группой компаний «ЛАНИТ», разработчиком компьютерной техники Gigabyte и банком ВТБ.

На заводе будет выпускаться оборудование под торговой маркой Openyard. В частности, планируется организовать производство серверов, систем хранения данных, шлюзов и компонентов умных устройств.

Участники проекта на начальном этапе вложат в новую производственную площадку более миллиарда рублей. Пуско-наладочные работы намечены на третий квартал следующего года: их выполнят специалисты Gigabyte. Первый сервер со сборочных линий должен сойти до конца 2022-го.

«Первая очередь будет включать производственные линии, лаборатории и тестовые зоны. Здесь будут выполняться все операции, начиная от поверхностного монтажа компонентов и заканчивая испытаниями готовой продукции», — говорится в сообщении.

Фото: Яндекс

Производимые в Рязани серверы будут спроектированы на основе разработок и технологий «Яндекса». Отмечается, что выбор места для строительства завода продиктован хорошей транспортной доступностью, наличием необходимых коммуникаций и близостью учебных заведений, которые готовят профильных специалистов.

Рекомендательные системы, активно используемые социальными сетями, рекламными платформами и т.д. имеют специфические особенности. От них требуется высокая скорость отклика, но вместе с тем их ИИ-модели весьма объёмны, порядка 100 Гбайт или более. А для их эффективной работы нужен ещё и довольно большой кеш. Для инференса чаще всего используется либо CPU (много памяти, но относительно низкая скорость) или GPU (высокая скорость, но мало памяти), но они не слишком эффективны для этой задачи.

При этом существуют ещё и физические ограничения со стороны гиперскейлеров: в сервере не так много полноценных PCIe-слотов и свободного места + есть жёсткие ограничения по энергопотреблению и охлаждению (чаще всего воздушному). Всё это было учтено компанией Esperanto, чьей специализацией является разработка чипов на базе архитектуры RISC-V. На днях она получила первые образцы ИИ-ускорителя ET-SoC-1, который она сама называет суперкомпьютером-на-чипе (Supercomputer-on-Chip).

Новинка предназначена для инференса рекомендательных систем, в том числе на периферии, где на первый план выходит экономичность. Компания поставила для себя непростую задачу — весь комплекс ускорителей с памятью и служебной обвязкой должен потреблять не более 120 Вт. Для решения этой задачи пришлось применить немало ухищрений. Самое первое и очевидное — создание относительно небольшого, но универсального чипа, который можно было бы объединять с другими такими же чипами с линейным ростом производительности.

Для достижения высокой степени параллелизма основой такого чипа должны стать небольшие, но энергоэффективные ядра. Именно поэтому выбор пал на 64-бит ядра RISC-V, поскольку они «просты» не только с точки зрения ISA, но и по транзисторному бюджету. Чип ET-SoC-1 сочетает в себе два типа ядер RISC-V: классических «больших» ядер (ET-Maxion) с внеочередным выполнением у него всего 4, зато «малых» ядер (ET-Minion) с поддержкой тензорных и векторных вычислений — целых 1088.

На комплекс ядер ET-Maxion возлагаются задачи общего назначения и в ИИ-вычислениях он напрямую не участвует, зато позволяет быть ET-SoC-1 полностью автономным, так как прямо на нём можно запустить Linux. Помогает ему в этом ещё один служебный RISC-V процессор для периферии. А вот ядра ET-Minion довольно простые: внеочередного исполнения инструкций в них нет, зато есть поддержка SMT2 и целый набор новых инструкций для INT- и FP-операций с векторами и тензорами.

За каждый такт ядро ET-Minion способно выполнять 128 INT8-операций с сохранением INT32-результата, 16 FP32-операций или 32 — FP16. «Длинные» тензорные операции могут непрерывно исполняться в течение 512 циклов (до 64 тыс. операций), при этом целочисленные блоки в это время отключаются для экономии питания. Система кешей устроена несколько непривычным образом. На ядро приходится 4 банка памяти, которые можно использовать как L1-кеш для данных и как быструю универсальную память (scratchpad).

Восемь ядер ET-Minion формируют «квартал» вокруг общего для них кеша инструкций, так как на таких задачах велика вероятность того, что инструкции для всех ядер действительно будут одни и те же. Кроме того, это энергоэффективнее, чем восемь индивидуальных кешей, и позволяет получать и отправлять данные большими блоками, снижая нагрузку на L2-кеш. Восемь «кварталов» формируют «микрорайон» с коммутатором и четырьмя банками SRAM объёмом по 1 Мбайт, которые можно использовать как приватный L2-кеш, как часть общего L3-кеша или как scratchpad.

Посредством mesh-сети «микрорайоны» общаются между собой и с другими блоками: ET-Maxion, восемь двухканальных контроллеров памяти, два root-комплекса PCIe 4.0 x8, аппаратный RoT. Суммарно на чип приходится порядка 160 Мбайт SRAM. Контроллеры оперативной памяти поддерживают модули LPDDR4x-4267 ECC (256 бит, до 137 Гбайт/с). Тактовая частота ET-Minion варьируется в пределах от 500 МГц до 1,5 ГГц, а ET-Maxion — от 500 МГц до 2 ГГц.

В рамках OCP-блока Glacier Point V2 компания объединила на одной плате шесть ET-SoC-1 (всего 6558 ядер RISC-V), снабдив их 192 Гбайт памяти (822 Гбайт/с) — это больше, нежели у NVIDIA A100 (80 Гбайт). Такая связка развивает более 800 Топс, требуя всего 120 Вт. В среднем же она составляет 100 ‒ 200 Топс на один чип с потреблением менее 20 Вт. Это позволяет создать компактный M.2-модуль или же наоборот масштабировать систему далее. Шасси Yosemite v2 может вместить 64 чипа, а стойка — уже 384 чипа.

В тесте MLPerf для рекомендательных систем производительность указанной выше связки из шести чипов в пересчёте на Ватт оказалась в 123 раза выше, чем у Intel Xeon Platinum 8380H (250 Вт), и в два-три раза выше, чем у NVIDIA A10 (150 Вт) и T4 (70 Вт). В «неудобном» для чипа тесте ResNet-50 разница с CPU и ускорителем Habana Goya уже не так велика, а вот с решениями NVIDIA, напротив, более заметна.

При этом о поддержке со стороны ПО разработчики также подумали: чипы Esperanto могут работать с широко распространёнными фреймворками PyTorch, TensorFlow, MXNet и Caffe2, а также принимать готовые ONNX-модели. Есть и SDK для C++, а также драйверы для x86-хостов.

Опытные образцы изготовлены на TSMC по 7-нм техпроцессу. Кристалл площадью 570 мм² содержит 24 млрд транзисторов. Чип имеет упаковку BGA2494 размерами 45 × 45 мм². Энергопотребление (а вместе с ним и производительность) настраивается в диапазоне от 10 до 60+ Ватт. Потенциальным заказчикам тестовые чипы станут доступны до конца года. Компания также готова адаптировать ET-SoC-1 под другие техпроцессы и фабрики, но демо на базе OCP-платформы и сравнение с Cooper Lake — это недвусмысленный намёк для Facebook✴, что Esperanto будет рада видеть её в числе первых клиентов.