Компания VirtualZ Computing Corp. представила инструменты для решения проблемы, с которой сталкиваются организации при попытке интеграции данных мейнфреймов IBM со своими облачными приложениями.

Зачастую данные мейнфреймов представлены в устаревших проприетарных форматах, плохо совместимых с современными облачными системами. Также безопасной и эффективной передаче данных с мейнфрейма в облачные сервисы могут препятствовать ограничения пропускной способности сети и проблемы с подключением. При этом, согласно IBM, мейнфреймы по-прежнему обрабатывают критически важные транзакции в ⅔ компаний из списка Fortune 100, 45 из 50 крупнейших банков мира, 8 из 10 крупнейших страховщиков, ⅘ крупнейших авиакомпаний и 8 из 10 крупнейших ретейлеров.

Источник изображений: VirtualZ Computing

Чтобы избежать сбоев при передаче, компании обычно переносят информацию в пакетном режиме. Этот трудоёмкий процесс может отъесть до 40 % ёмкости мейнфрейма. Также уходит немало времени на извлечение/преобразование/загрузку (ETL) данных в другое хранилище. Как следствие, в облачных приложениях часто используются производственные данные двухдневной давности или старше.

Как утверждает VirtualZ, предприятия тратят миллионы долларов на написание пользовательского кода для извлечения, преобразования и репликации копий данных из мейнфреймов в гибридное облако или распределённое хранилище. При этом в процессе может возникнуть неразбериха с дублированием данных и контролем версий, а также проблемы синхронизации. Все продукты компании устраняют необходимость в пакетных процедурах ETL за счёт преобразования данных «на лету».

Разработанное VirtualZ ПО Lozen позволяет гибридным облачным приложениям, SaaS, распределённым и пользовательским приложениям получать доступ для чтения и записи данных мейнфреймов в режиме реального времени без их копирования или перемещения. Решение не полагается на обходные пути, такие как эмуляция терминала, а напрямую подключается к хранилищам данных мейнфреймов на уровне приложения. При этом все облачные приложения обмениваются данными приложениями мейнфреймов на равных правах.

Компания сообщила, что на установку Lozen требуются считанные минуты, а само ПО сопроцессор zIIP, который обрабатывает рабочие нагрузки за пределами центрального процессора для повышения производительности и снижения затрат, поскольку не облагается лицензионными сборами.

Второй продукт компании, под названием Zaac, выполняет операцию, обратную функции Lozen. Решение предоставляет приложениям мейнфреймов доступ для чтения и записи в режиме реального времени внешних данных в гибридных облаках, внешнем физическом хранилище и приложениях SaaS. Третий продукт, PropelZ, позволяет создавать одноразовую копию данных мейнфрейма для случаев использования, не требующих доступа в режиме реального времени или доступа для чтения и записи.

ПО VirtualZ способно преобразовывать данные в формате EBCDIC в широко используемый ASCII и другие форматы. Решения также доступны для Micro Focus Open Enterprise Server, Anypoint Studio от MuleSoft Inc. и любой интеграционной платформы, поддерживающей спецификацию OpenAPI. Заявлена поддержка NFS и S3.

Мир мейнфреймов очень консервативен, в нём часто используются системы, создаваемые десятилетиями на базе давно устаревших языков программирования, но IBM собирается это изменить. Компания анонсировала новый ИИ-сервис watsonx Code Assistant for Z, который должен помочь разработчикам модернизировать программную инфраструктуру.

Нередко до сих пор функционирующие на базе мейнфреймов системы, к примеру, банковские, используют приложения на языке COBOL, которому уже более 60 лет и который не вполне соответствует современным стандартам. Поддерживать систему в актуальном состоянии становится всё сложнее, а стоимость такой поддержки только растёт. Эту проблему и призван решить сервис watsonx Code Assistant for Z.

Источник изображений здесь и далее: IBM

В рамках сервиса предусмотрен доступ к ИИ-ассистенту, работающему на базе одной из крупнейших нейросетей с 20 млрд параметров, IBM watsonx.ai. Целью технологии является перевод COBOL-приложений на язык Java с одновременной минимизацией возникающих в процессе переноса проблем. Ожидается, что это избавит от необходимости поддержки устаревшего кода, снизит затраты на разработку при одновременном её ускорении и упростят внедрение новых технологий, поскольку Java на сегодня является одним из самых распространённых языков программирования в бизнес-сегменте.

Ручной перевод с COBOL на Java весьма трудоёмок, поскольку в сложных приложениях речь порой идёт о миллионах, а иногда и миллиардах строк устаревшего кода, к тому же многое придётся переписывать с нуля. watsonx Code Assistant for Z поможет делать это постепенно, обеспечивая при этом высокое качество кода, а инструментарий IBM Application Discovery and Delivery Intelligence позволит определить первоочередность кода для модернизации. Также будет поддерживаться автоматизированное тестирование для валидации обновлённых приложений.

Корпорация IBM сообщила о том, что заказчики теперь могут получить облачный доступ к серверам LinuxONE Bare Metal. Эти системы предназначено для развёртывания сред на базе Linux, а не на проприетарной z/OS.

В серверах LinuxONE применяется тот же процессор Telum, который IBM устанавливает в свои мейнфреймы z16. Утверждается, что решения LinuxONE обеспечивают примерно такой же уровень отказоустойчивости, что и мейнфреймы. Кроме того, серверы LinuxOne превосходят системы с архитектурой x86 по плотности вычислений и энергопотреблению.

IBM выделяет две ключевые области применения для LinuxONE Bare Metal. Одна из них — работа с данными. Благодаря использованию Telum уменьшается количество задействованных процессоров по сравнению с обычными платформами х86. А поскольку при работе с СУБД лицензионные сборы обычно рассчитываются в соответствии с количеством процессорных ядер, заказчики смогут сэкономить на отчислениях.

Источник изображения: IBM

Второе направление — рабочие нагрузки по модернизации приложений, особенно те, которые выполняются на Red Hat OpenShift Container Platform. В этом случае серверы LinuxONE обеспечат более низкую задержку и более высокую пропускную способность по сравнению с альтернативными платформами.

Заказчики LinuxONE Bare Metal смогут выбирать из набора предварительно настроенных конфигураций с определённым объёмом памяти и нужной вместимостью хранилища для выполнения высокопроизводительных рабочих нагрузок. На развёртывание инстансов требуется около 10 минут. Цены начинаются с $1490,66 в месяц за систему с парой vCPU.

Компания IBM представила новые компактные стоечные конфигурации мейнфреймов z16 и LinuxONE Rockhopper 4 высотой от 18U. Благодаря этому расширяются возможности использования мейнфреймов в ЦОД и создания гибридных рабочих окружений. Предполагается, что новые конфигурации помогут реализовать преимущества z-систем там, где компактность, экологичность и стандартизация имеют первостепенное значение.

Источник изображения: IBM

Как ожидается, благодаря меньшим размерам и пониженному энергопотреблению они позволят расширить аудиторию пользователей мейнфреймов IBM. Новинки базируются на тех же процессорах IBM Telum и тестируются на соответствие тем же требованиям, что и старшие модели семейства. Стоечные варианты рассчитаны на монтаж в стандартные 19″ стойки с PDU. IBM утверждает, что компактные размеры новых конфигураций открывает возможности для включения систем в распределённые среды с другими серверами, СХД, SAN и коммутаторами в одной стойке.

Источник изображения: IBM

LinuxONE Rockhopper 4 дополняет LinuxONE Emperor 4. В серии упор сделан на компактность и энергоэффективность. IBM утверждает, что консолидация и перенос рабочих нагрузок Linux на Rockhopper 4 позволит клиентам заменить не менее 36 серверов x86, сократив потребление энергии на 75 % и пространство на 67 %. В Rockhopper 4 доступно до 68 процессоров Integrated Facility for Linux (IFL) с тактовой частотой 4,6 ГГц и до 16 Тбайт памяти. По словам IBM, система подходит для размещения больших баз данных в рамках одной машины.

Новые конфигурации z16 и LinuxONE Rockhopper 4 станут доступны в мае этого года. В конце прошлого года IBM отчиталась о быстро растущих продажах её мейнфреймов. Компания, в отличие от Fujitsu, забрасывать данное направление пока не намерена и уже по второму кругу судится с разработчиками дешёвой облачной альтернативы её «железу».

IBM сообщила, что готовит к выходу новую версию операционной системы z/OS для мейнфреймов, ориентированную на ИИ и гибридное облако. z/OS 3.1, релиз которой намечен на III квартал, обеспечит совместное развёртывание рабочих нагрузок ИИ и традиционных приложений z/OS. Сообщается, что лучше всего новая ОС будет работать с мейнфреймами IBM z16, которые имеют в своём составе выделенные ИИ-ускорители, но она может работать и с z14, и с z15.

Новая версия z/OS соответствует цели IBM расширить использование ИИ, так как в ней обеспечены:

• поддержка новой платформы ИИ для системных операций, призванной дополнить z/OS «интеллектом», оптимизирующим ИТ-процессы, упрощающим управление, повышающим производительность и снижающим требования к квалификации администраторов;
• расширение экосистемы ИИ благодаря совместному размещению ИИ-нагрузок и приложений z/OS для обеспечения малой задержки отклика'
• управления рабочими нагрузками с помощью ИИ с целью предиктивного выделения ресурсов.

Источник: IBM

Поддержка приложений ИИ является ключевым компонентом стратегии использования z16, но, по словам IBM, новая версия ОС также будет иметь облачные возможности. В частности, z/OS 3.1 получит функции облачного управления на основе отраслевых стандартов, в том числе удобный веб-интерфейс, что позволит эффективно обновлять и настраивать z/OS и ПО. Кроме того, упростится управление ОС, в том числе благодаря автоматизации.

Другие нововведения включают:

• сервис Cloud Data Access для доступа рабочих нагрузок z/OS к облачным объектным хранилищам, а также новые API для доступа к NoSQL-хранилищам;
• обновление IBM z/OS Container Extensions (zCX) для повышения производительности и безопасности при выполнении контейнеризированных рабочих нагрузок Linux, а также для поддержки NFS, HTTPS и IBM WebSphere Hybrid Edition;
• поддержка выделенных пулов памяти для требовательных приложений;
• расширение функциональности z/OS Authorized Code Scanner, обеспечивающее более широкий охват потенциальных уязвимостей;
• расширенную поддержку взаимодействия COBOL–Java, что позволяет 31-бит COBOL-приложениям вызывать 64-бит Java-программы с помощью IBM Semeru Runtime Certified Edition для z/OS.

IBM, как и обещала ранее, анонсировала новое семейство мейнфреймов z16, которые придут на смены представленным осенью 2019 года системам z15. z16 станут доступны в конце мая текущего года, и IBM надеется, что новая серия повторит успех z15, которая активно закупалась банками и другими финансовыми учреждениями.

Основой z16 станут процессоры Telum (8 ядер, 5+ ГГц, 256 Мбайт L2-кеш) с возможностью объединения в одной системе до 32 CPU, которые во многом определяют возможности мейнфреймов. Telum, по словам IBM, в среднем на 40 % производительнее предшественников (в пересчёте на сокет), но ключевым изменением стало появление в составе CPU интегрированного, независимо работающего ИИ-ускорителя.

Фото: IBM

Благодаря наличию такого движка появилась возможность интеллектуального детектирования на лету фрода и прочих подозрительных финансовых операций. Он же позволит ускорить работу некоторых задач в области страхования, кредитования, здравоохранения, трейдинга, ритейла, федеративного обучения и т.д. В отчёте Celent, подготовленном по запросу IBM, отмечается, что 45 из 50 крупнейших банков мира используют мейнфреймы серии z, которые обслуживают 73 % банковских транзакций (по сумме, а не по количеству) и 54 % платежей, в том числе по картам.

По словам разработчиков, новинки могут ежесуточно обрабатывать до 300 млрд инференс-запросов с миллисекундной задержкой. То есть на таких задачах у них до 20 раз лучше время отклика и до 19 раз выше пропускная способность по сравнению с x86-серверами, отмечает глава Moor Insights & Strategy. Достигается это в том числе благодаря тому, что данные не приходится постоянно перемещать между CPU и каким-либо внешним ускорителем, а ИИ-движок в Telum работает независимо.

Фото: IBM

Ещё одним важным нововведением стала поддержка алгоритмов постквантовой криптографии, в данном случае это криптография на решётках. Для этих задач IBM выпустила аппаратный модуль Crypto Express 8S (CEX8S), который предлагает и классические алгоритмы. Компания отмечает важность повышения защиты данных, поскольку даже если их невозможно расшифровать в случае утечки прямо сейчас, это вовсе не значит, что они потеряют ценность через пять-десять лет.

Наконец, IBM пообещала улучшить интеграцию с гибридными облаками. Соответствующие работы уже давно ведутся для z/OS и Red Hat Enterprise Linux, а также платформы OpenShift. Ранее компания представила IBM Z and Cloud Modernization Stack, который включает z/OS Connect, z/OS Cloud Broker, Wazi aaS, Wazi Code, Wazi Analyze и другие инструменты и сервисы для интеграции мейнфреймов в облачную инфраструктуру и разработки новых приложений.

IBM подала в Окружной суд в Уэйко (штат Техас) на разработчика ПО LzLabs, заявив, что созданная им платформа Software Defined Mainframe (SDM, программно определяемый мейнфрейм) нарушает её патенты. В судебном иске корпорация утверждает, что платформа LzLabs, позволяющая выполнять приложения для мейнфреймов на стандартном оборудовании в облаке, базируется на ПО, основанном на проприетарной технологии IBM.

IBM также обвинила LzLabs в том, что та делает ложные заявления о своих продуктах. Кроме того, в иске сообщается, что люди, стоящие за LzLabs, и раньше нарушали патенты IBM. Среди руководителей LzLabs оказался бывший гендиректор стартапа Neon Enterprise Software, который создал ПО zPrime, предлагающее похожую на SDM функциональность. Более того, компания сама подала в 2009 году иск к IBM, обвиняя последнюю в принуждении заказчиков пользоваться дорогими мейнфреймами. В ответном иске IBM обвинили компания в нарушении патентов, и в 2011 году продукт zPrime прекратил существования.

Изображение: IBM

По счастливой случайности в том же году появилась швейцарская компания LzLabs. В 2016 году она представила платформу, которая позволяла выполнять традиционные рабочие нагрузки мейнфреймов, написанные на Cobol или PL/1, на стандартных x86-серверах под управлением Linux как локально, так и в облаке. Впоследствии компания добавила поддержку контейнеров. У LzLabs есть успешные проекты — так, Swisscom перенесла на облачный вариант SDM «все критически важные бизнес-приложения» без перекомпилирования.

IBM утверждает, что LzLabs, используя транслятор CPU-инструкций, нарушила два патента на решения, воплощенные в этих инструкциях. Ещё два нарушения связаны с повышением эффективности эмуляции и трансляции. Последний, пятый патент, о нарушении которого сообщила IBM, касается автоматический замены вызываемых приложений на их аналоги для x86-платформ. В своём иске IBM добивается судебного запрета на использование LzLabs интеллектуальной собственности и коммерческих секретов IBM.

У IBM есть собственная платформа для разработки, тестирования, демонстрации и изучения приложений мейнфреймов IBM Z Development and Test Environment (ZD&T) на x86-системах, в том числе облачных. А недавно компания представила сервис Wazi aaS для IBM Cloud. В обоих случаях IBM прямо запрещает использовать эти решения для выполнения любых реальных нагрузок, в особенности критически важных.

Fujitsu подтвердила, что выпуску её мейнфреймов и серверных систем c Unix подходит конец. Согласно новым планам компании, она прекратит производство и продажу мейнфреймов к 2030 году, а выпуск серверных систем UNIX — к концу 2029 года. Сопровождение обоих продуктов продлится в течение ещё пяти лет и закончится в 2035 году и в 2034 году соответственно. Как надеется компания, к тому времени пользователи подобных систем окончательно перейдут в облако.

Источник изображений: Fujitsu

Тем не менее, Fujitsu по-прежнему планирует выпустить в 2024 году новую модель в серии мейнфреймов GS21. Также планируется обновление семейства UNIX-серверов Fujitsu SPARC M12 в конце этого года и в 2026 году. Впрочем, это пока предварительные планы. Компания уже составила график перехода с мейнфреймов и UNIX-серверов в облако в рамках нового бизнес-бренда Fujitsu Uvance. Теперь у пользователей мейнфреймов Fujitsu есть чётко обозначенный срок, к которому они должны перенести свои приложения на другую платформу или воспользоваться возможностью создать их с нуля в рамках более современной инфраструктуры.

Сомнительной альтернативой может быть уход на платформу IBM z. Филип Доусон (Philip Dawson), вице-президент Gartner Research сообщил The Register, что отказ от UNIX пройдёт менее болезненно, так как рабочие нагрузки могут быть относительно легко перенесены на Linux: «По сути, Linux заменил UNIX. Но такой замены нет для мейнфреймов. Когда аппаратное обеспечение исчезнет, что вы будете делать с приложениями?». Фактически Fujitsu в наследство достались две разные серии мейнфреймов от Amdahl Corporation (GS21) и Siemens (BS2000), если не считать старые решения ICL.

Финансовые организации, системы бронирования и прочие операторы бизнес-критичных задач любят «большие машины» IBM за надёжность. Недаром литера z в названии систем означает Zero Downtime — нулевое время простоя. На конференции Hot Chips 33 компания представила новое поколение z-процессоров, впервые в истории получившее собственное имя Telum (дротик в переводе с латыни). «Оружейное» название выбрано неспроста: в новой архитектуре IBM внедрила и новые, ранее не использовавшиеся в System z решения, предназначенные, в частности, для борьбы с фродом.

Пластина с кристаллами IBM Telum

Одни из ключевых заказчиков IBM — крупные финансовые корпорации и банки — давно ждали встроенных ИИ-средств, поскольку их системы должны обрабатывать тысячи и тысячи транзакций в секунду, и делать это максимально надёжно. Одной из целей при разработке Telum было внедрение инференс-вычислений, происходящих в реальном времени прямо в процессе обработки транзакции и без отсылки каких-либо данных за пределы системы.

Поэтому инференс-ускоритель в Telum соединён напрямую с подсистемой кешей и использует все механизмы защиты процессора и памяти z/Architecture. И сам он тоже несёт ряд характерных для z подходов. Так, управляет работой акселератора отдельная «прошивка» (firmware), которую можно менять для оптимизации задач конкретного клиента. Она выполняется на одном из ядер и собственно ускорителе, который общается с данным ядром, и отвечает за обращения к памяти и кешу, безопасность и целостность данных и управление собственно вычислениями.

Акселератор включает два вида движков. Первый имеет 128 SIMD-блоков для MAC-операций с FP16-данными и нужен для перемножения и свёртки матриц. У второго всего 32 SIMD-блока, но он может работать с FP16/FP32-данными и оптимизирован для функций активации сети и других, более комплексных задач. Дополняет их блок сверхбыстрой памяти (scratchpad) и «умный» IO-движок, ответственный за перемещение и подготовку данных, который умеет переформатировать их на лету.

Scratchpad подключён к блоку, который подкачивает данные из L2-кеша и отправляет обратно результаты вычислений. IBM отдельно подчёркивает, что наличие выделенного ИИ-ускорителя позволяет параллельно использовать и обычные SIMD-блоки в ядрах, явно намекая на AVX-512 VNNI. Впрочем, в Sapphire Rapids теперь тоже есть отдельный AMX-блок в ядре, который однако скромнее по функциональности.

Доступ к ускорителю возможен из пространства пользователя, в том числе в виртуализированном окружении. Для работы с новым ускорителем компания предлагает IBM Deep Learning Compiler, который поможет оптимизировать импортируемые ONNX-модели. Также есть готовая поддержка TensorFlow, IBM Snap ML и целого ряда популярных средств разработки. На процессор приходится один ИИ-ускоритель производительностью более 6 Тфлопс FP16.

На тестовой RNN-модели для защиты от фрода чип может выполнять 116 тыс. инференс-операций с задержкой в пределах 1,1 мс, а для системы из 32 процессоров этот показатель составляет уже 3,6 млн инференс-операций, а латентность при этом возрастает всего лишь до 1,2 мс. Помимо ИИ-акселератора также имеется общий для всех ядер ускоритель (де-)компрессии (gzip) + у каждого ядра есть ещё и движок для CSMP. Ну и ускорители для сортировки и шифрования тоже никуда не делись.

За надёжность отвечают сотни различных механизмов проверки и перепроверки работоспособности. Так, например, регистры и кеш дублируются, позволяя в случае сбоя ядра сделать его полную перезагрузку и продолжить выполнение задач ровно с того места, где оно прервалось. А для оперативной памяти, которая в обязательном порядке шифруется, используется режим Redundant Array of Memory (RAIM), своего рода RAID-массив, где одна кеш-линия «размазывается» сразу между восемью модулями.

Telum, унаследовав многое от своего предшественника z15, всё же кардинально отличается от него. Процессор содержит восемь ядер с поддержкой «умного» глубокого внеочередного исполнения и SMT2, работающих на частоте более 5 ГГц. Каждому ядру полагается 32 Мбайт L2-кеша, так что на его фоне другие современные CPU выглядят блекло. Но не всё так просто.

IBM Telum

Между собой кеши общаются посредством двунаправленной кольцевой шины с пропускной способностью более 320 Гбайт/с, формируя таким образом виртуальный L3-кеш объёмом 256 Мбайт и со средней задержкой в 12 нс. Каждый чип Telum может содержать один (SCM) или два (DCM) процессора. А в одном узле может быть до четырёх чипов, то есть до восьми CPU, объединённых по схеме каждый-с-каждым с той же скоростью 320 Гбайт/с.

Таким образом, в рамках узла формируется виртуальный L4-кеш объёмом уже 2 Гбайт. Плоская топология кешей, по данным IBM, обеспечивает новым процессорам меньшую латентность в сравнении с z15. Масштабирование возможно до 32 процессоров, но отдельные узлы связаны несколькими подключениями со скоростью «всего» 45 Гбайт/с в каждую сторону.

В целом, IBM говорит о 40% прироста производительности в сравнении с z15 в пересчёте на сокет. Telum содержит 22 млрд транзисторов и имеет TDP на уровне 400 Вт в нормальном режиме работы. Процессор будет производиться на мощностях Samsung с использованием 7-нм техпроцесса EUV. Он станет основной для мейнфреймов IBM z16 и LinuxNOW. Программной платформой всё так же будут как традиционная z/OS, так и Linux.