Стартап NeuroBlade, специализирующийся на разработке решений для ускорения анализа данных, объявил о сотрудничестве с сообществом Velox компании Meta✴ Platforms с целью интеграции ускорителя SQL Processing Unit (SPU) в новый унифицированный фреймворк для работы с данными.

Как отметили в NeuroBlade, полная интеграция SPU NeuroBlade в Velox обеспечивает ускорение обработки данных более чем в 10 раз, помимо трёхкратного повышения производительности, уже достигнутого Velox за счет оптимизации ПО. Цель проекта заключается в том, чтобы дать компаниям возможность эффективно обрабатывать огромные наборы данных, говорится в пресс-релизе.

Источник изображения: NeuroBlade

Элад Сити (Elad Sity), гендиректор и соучредитель NeuroBlade, подчеркнул важность совместных усилий, которые «знаменуют эпоху, когда организации смогут умело управлять растущими объёмами данных, повышать производительность аналитики и получать значительные конкурентные преимущества».

Velox представляет собой унифицированный open source движок, который объединяет различные программные оптимизации в области обработки запросов в единую высокопроизводительную библиотеку, а в будущем и в самостоятельный фреймворк. Velox уже совместим с Presto и Apache Spark. Интеграция SPU NeuroBlade в Velox достигается за счёт новых API Velox, которые позволят произвольно переносить выполнение части запросов на ускоритель.

Как отмечается в пресс-релизе, CPU с трудом справляются с аналитическими запросами, скорость которых превышает 2–3 Гбайт/с, из-за ограничений в обработке данных и сложности запросов. SPU NeuroBlade позволяет решить эту проблему, поскольку предлагает специализированный процессор, который обеспечивает аппаратную обработку сложных запросов и работу с памятью и хранилищем, что позволяет разгрузить CPU и добиться постоянной пропускной способности при обработке больших данных и снизить задержки.

Компания NeuroBlade анонсировала специализированный ускоритель SQL Processing Unit (SPU), предназначенный для решения задач, связанных с аналитикой больших данных. О планах по использованию новинки уже объявила корпорация Dell: решение появится в серверах семейства Power Edge.

Представленный ускоритель — NeuroBlade SPU G200 — выполнен в виде карты расширения с интерфейсом PCIe. Утверждается, что он может быть интегрирован в существующие дата-центры без изменения их архитектуры.

Изделие NeuroBlade SPU G200 связывается с движком запросов базы данных для выполнения ресурсоёмких задач. При этом не требуется модификация структуры запросов или правка кода. По заявлениям разработчика, новинка обеспечивает неизменно высокую пропускную способность независимо от сложности запросов, а объём обрабатываемых данных может исчисляться петабайтами.

Источник изображения: NeuroBlade

Отмечается, что ускоритель NeuroBlade SPU G200 по сравнению с традиционными аппаратными платформами позволяет сократить затраты на вычислительные ресурсы, ПО и электроэнергию в 3–5 раз при работе с базами данных. При этом производительность повышается в 10–100 раз в зависимости от выполняемой нагрузки. Помимо решения задач бизнес-аналитики, карта подходит для «озёр данных», ETL-процессов, масштабных хранилищ информации и пр.

Синергия — эффект совместного действия двух и более факторов, превышающий простую сумму их действий. Слово это пришло к нам из древнегреческого, где означало «единое дело». Но в обычных ЦОД «старой школы» она проявляется далеко не всегда, и расширение, переконфигурирование или смена задачи может стать долгим, затратным предприятием. К тому же в облачную эпоху каждый час простоя инфраструктуры может обернуться серьёзными убытками.

Создавая Synergy, HPE позаботилась о том, чтобы максимально унифицировать новую ЦОД-платформу, способную справиться с любым приложением. В основу легла модульно-лезвийная (blade) компоновка, компания называет её «компонуемой». Такая инфраструктура Synergy — это шаг вперёд от обычных гиперконвергентных систем в сторону большей оптимизации и аппаратных, и программных средств.

Единая структура Synergy одинаково хорошо подойдет для любых типов нагрузок. За счёт использования программно определяемой логики, паттернов автоматизации и единой платформы управления OneView затраты на обслуживание ЦОД на базе новой платформы можно существенно снизить, направив высвободившиеся ресурсы на более важные для компании проекты и задачи.

Не возникнет и проблем с совместимостью — все компоненты Synergy изначально созданы в рамках единого форм-фактора и являются взаимозаменяемыми. Имеется также задел на будущее: с появлением новых высокоскоростных технологий (фотоники) платформа не устареет, но может быть легко модернизирована.

Готовая к работе система HPE Synergy

Основные узлы Synergy представляют собой компонуемые модули лезвийного типа Synergy 480 Gen10. Они полностью поддерживают возможность «горячей замены», но самое интересное скрыто внутри: компактная системная плата с двумя Intel Xeon Scalable в окружении 24 слотов DDR4. Поддерживаются все процессоры с теплопакетом до 205 Ватт включительно (до 3,8 ГГц), также поддерживаются модули Optane DCPMM. Имеется специальный слот для дискового контроллера. Само «лезвие» оснащено или двумя SFF-дисками, или четырьмя SSD формата uFF.

Также к узлу можно подключать до трёх мезаниновых карт расширения с интерфейсом PCI Express x16, правда, только версии 3.0. Эти карты предельно компактны. Так, основой для сетевой инфраструктуры может служить адаптер Synergy 6810C, поддерживающий стандарты Ethernet со скоростями 25 и 50 Гбит/с. Он базируется на технологиях Mellanox и поддерживает RoCEv2.

В конструкции изначально предусмотрена резервная батарея (BBU) для сохранения дисковых кешей, тогда как обычный RAID-контроллер не во всякой комплектации имеет BBU. Из прочего отметим наличие системы удалённого мониторинга и управления HPE iLO5 и продвинутую реализацию подключения к системе: за управление данными и питанием отвечает выделенный чип-контроллер.

Есть в вариантах Synergy 480 Gen10 и модуль двойной ширины, предназначенный специально для установки графических или вычислительных ускорителей. Несмотря на скромные габариты, он может принять в себя шесть ускорителей в формате Multi MXM, либо две мощные видеокарты в классическом исполнении. Ещё более производительны модули HPE Synergy 660 Gen10. Они вдвое выше Synergy 480, так что внутри может размещаться уже восемь uFF-накопителей, либо четыре SFF и четыре M.2. Процессорных разъёмов четыре, а количество слотов памяти равно 48. Мезонинов тоже вдвое больше, то есть шесть.

Для высокоплотного хранения данных предлагается использовать модуль Synergy D3940. В нём размещается до 40 накопителей общим объёмом 612 Тбайт, причём поддерживается любое сочетание дисков SAS и SATA. Реализованы операции как на файловом уровне, так и на блочном и даже объектном. Предусмотрено два адаптера ввода/вывода, которые при необходимости быстро заменяются. Сами накопители физически отделены от RAID-контроллеров и связаны с ними независимыми модулями коммутации. Модуль коммутации поддерживает 48 портов SAS, обслуживает до 40 SSD на модуль с производительностью до 50 тыс. IOPS на каждый SSD.

Компания хорошо понимает, что за счёт совместимости с оборудованием других производителей охват рынка будет шире, поэтому Synergy легко интегрируется с системами хранения данных, разработанными вне стен HPE. Поддерживаются решения Fibre Channel, FC over Ethernet и iSCSI таких компаний, как Hitachi Data Systems, Net App, IBM и даже извечного конкурента HPE — Dell EMC. На программном уровне обеспечена совместимость с виртуальными SAN Scality, VMWare, Ceph и Microsoft.

Для связи с SAN и LAN предлагаются различные коммутационные модули с портами вплоть до FC32 и 100GbE. Все эти модули объединяются в рамках 10U-шасси HPE Synergy 12000: до 12 вычислительных, 6 коммутационных и 5 модулей хранения данных. Новое шасси во всём лучше HPE Blade System c7000 прошлого поколения. Оно мощнее, лучше охлаждается, имеет более эффективную систему питания, а общая коммутационная плата для узлов поддерживает суммарную скорость передачи данных до 16 Тбит/с и изначально готова к переходу на использование высокоскоростной фотоники.

Шасси позволяет сформировать шасси с оптимальным набором компонентов, и HPE предлагает типовые варианты конфигураций в зависимости от задачи: базы данных, виртуальные машины, платформы аналитики, максимально ёмкие СХД или платформа для вычислений на графических ускорителях. Все компоненты предельно унифицированы, все базовые функции являются программно-определяемыми и унифицированными. Даже кабели придётся подключить только во время установки. После этого систему можно «нарезать» на отдельные фабрики с нужным набором дискового пространства, числа ядер CPU и GPU, объёмом памяти и сетевых подключений.

На уровне фабрик HPE позаботилась о резервировании и физическом разделении сетей управления и данных. Есть отдельное подключение к серверу образов для загрузки операционных систем и отдельные порты управления. Сетевые коммутаторы могут быть типов «Мастер» или «Спутник». Первый отвечает за весь сетевой трафик и обладает минимальными задержками, а второй является повторителем сигнала и содержит ретаймеры; задержка в передаче сетевого пакета не превышает 8 нс. Поддерживаются порты со скоростью 10 и 20 Гбит/с.

Дирижёром всего этого оркестра является модуль компоновщика (composer). Он базируется на фирменном управляющем ПО HPE OneView. При необходимости настроить систему на месте в дело вступает модуль сети управления (frame link module), который имеет разъём Display Port для монитора и порт USB.

Если обычная процедура ввода в строй нового сервера содержит множество пунктов, от установки его в стойку до настроек BIOS и установки ОС, то в Synergy достаточно установить новый модуль в шасси и применить нужный серверный профиль из шаблона. Остальное система сделает сама.

Компоновщик поддерживает форматы виртуализации Hyper-V и ESXi, а фирменное ядро OneView работает с аппаратными и сетевыми компонентами, но наружу информация предоставляется посредством стандартного API RESTful. Предусмотрено управление как с помощью веб-интерфейса, так и с помощью различного ПО — CHEF, Microsoft PowerShell или System Center; имеется также и фирменное приложение HPE OneView для VMWare.

Таким образом, перед нами действительно уникальная, инновационная технология. HPE Synergy образует совершенно новый класс систем, по-настоящему универсальных на всех уровнях построения и конфигурации. Образуемая этим «конструктором» инфраструктура подходит для выполнения любого класса задач, причём разворачивается она по меркам мира ИТ практически мгновенно, буквально одной строкой кода, и сразу в нужных заказчику масштабах, в том числе облачных.

Простои практически исключены, все элементы унифицированы и легко заменяются, управление аппаратными серверами в облаке так же просто, как и традиционными виртуальными машинами. Использование HPE Synergy или модернизация ИТ-экосистемы этой новинкой означает сокращение как финансовых затрат, так и трудовых ресурсов, а единый API позволяет провести такую модернизацию постепенно, но в кратчайшие сроки за счёт совместимости с оборудованием СХД других поставщиков.

Кому подойдёт HPE Synergy? Всем, но особенно крупным компаниям, специализирующимся на ресурсоёмких ИТ-задачах любого класса, включая телеком, CAD/CAM, VDI, 3D-моделирование, а также медицину. Более того, именно медикам новинка подойдёт особенно хорошо. Об этом хорошо рассказывает нижеприведённое видео:

Сценариев развёртывания Synergy может быть множество, вот лишь некоторые из них:

Сама HPE называет десять причин для выбора Synergy. Они просты и понятны:

• Безопасность. Инфраструктура Synergy обеспечивает этот фактор за счёт повышенной надёжности, в том числе за счёт возможности физического разделения сегментов данных и управления.
• Единая аппаратная платформа. Не потребуется закупка разных, порой не очень совместимых друг с другом серверов, дисковых полок и коммутаторов. Достаточно добавить в уже установленную «фабрику» новые модули, либо дополнить стойку новыми «фабриками» с учётом того, что от них требуется — чистая вычислительная мощь, дисковые объемы или специализированные вычисления с использованием ускорителей.
• Программно-определяемость. Не нужен «шаманизм» в попытках заставить работать вместе «зоопарк» различных аппаратных и программных решений. Вся инфраструктура Synergy едина и предоставляет доступ извне через стандартизированные API. Все ранее занимавшие драгоценное время технические задачи, вроде обновления прошивок и микрокодов решаются автоматически с использованием единых шаблонов.
• Эффективность. Гиперскейлеры могут позволить себе любое специализированное оборудование и ПО, располагая соответствующими ресурсами. Менее крупные компании должны думать об экономических последствиях при принятии решений о внедрении или модернизации ИТ-инфраструктуры. Synergy позволяет обойтись без развёртывания разных сред для разных приложений — всё делается в рамках единой компонуемой экосистемы.
• Непрерывность процессов разработки. В наше время разработка ПО требует всё больше труда и всё меньше времени, но Synergy позволяет разработчикам легко запрашивать столько вычислительных, дисковых и сетевых ресурсов, сколько требует рабочий процесс. Нужные ресурсы выделяются мгновенно, разработчикам не требуется вникать в тонкости физического оборудования. Поддерживается интеграция с такими популярными средами, как Chef, Puppet, Ansible и Docker. Всё это распространяется и на среды тестирования, которые развёртываются и масштабируются так же легко, как и среды разработки.
• Гибкость ресурсов. В случае с классическими ИТ-инфраструктурами с момента появления новой идеи до её реализации может пройти полгода — огромный срок по современным меркам. Synergy позволяет избежать таких задержек, поскольку разворачивает среды очень быстро и в любом количестве, необходимом заказчику.
• Экономия. Затраты на труд высокооплачиваемых специалистов, таких как системные администраторы, с развитием ИТ-технологий и ростом их популярности становятся пугающе огромными и могут в три раза превышать затраты на само физическое оборудование. Компонуемая среда Synergy поддерживает программно определяемую аналитику, которая управляет развёртываемым комплексом с помощью шаблонов, а это позволяет сократить трудозатраты. Снижаются также затраты на избыточность оборудования и ПО.
• Конкурентоспособность. За счёт унификации Synergy может наделить заказчика конкурентными преимуществами на рынке — сокращаются расходы и затраты, а внедрение новых идей, напротив, ускоряется. Более быстрая реакция на требования рынка может означать победу в конкурентной борьбе.
• Задел на будущее. Реагировать на бурный рост ИТ-технологий с использованием Synergy проще — компонуемая инфраструктура легко расширяется, и при необходимости можно просто заменить стандартные модули на более производительные или нарастить количество стоек. Решение HPE готово и к технологиям будущего, таким, как фотоника.
• Простота развёртывания. Synergy является полностью законченным решением, готовым к эксплуатации. По мере необходимости легко добавить новые узлы, фабрики, стойки и ряды. Synergy легко будет расти вместе с ростом требований бизнеса.

При этом заказать Synergy весьма просто: компания готова как к немедленной отправке оплаченного оборудования со склада, так и к компоновке под заказ. В России поставкой систем HPE Synergy занимается компания OCS, авторизованный партнёр Hewlett Packard Enterprise с опытом работы более 25 лет. Системы могут поставляться во все регионы страны, партнёрам предоставляются дополнительные удобные сервисы. Также отметим, что 12 октября в 10:00 по московскому времени состоится веб-семинар, посвящённый новой модульной платформе HPE. Записаться на него можно здесь.