VK обновил платформу для высоконагруженных сервисов Tarantool Enterprise Edition до версии 2.11, добавив функции повышения производительности и стабильности обработки данных. Одной из ключевых особенностей новинки в VK называют возможность работать с аналитикой из разных источников, не замедляя обработку информации и производительность систем. Ранее для этого требовалась выводить информацию для анализа в дополнительную базу данных.

Новый инструмент read view (представление для чтения) позволяет выполнять процессы одновременно и без задержек. Например, интернет-магазины могут параллельно с обработкой запросов пользователей анализировать товарные остатки, в режиме реального времени составлять прогнозные модели и планировать поставки. Также разработчикам должно стать удобнее работать с Lua — в новом релизе есть интерактивный отладчик кода.

Источник: Tarantool VK

Tarantool сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду. Платформа ускоряет цифровые сервисы и снижает нагрузку на core-системы. Tarantool можно использовать в сценариях OLTP вместо реляционной базы данных.

Компания VK опубликовала отчёт о работе в I квартале 2023 года: отмечается, что самым быстрорастущим сегментом группы стало подразделение «Технологии для бизнеса», в которое в числе прочего входят сервисы для автоматизации HR-функции и облачная платформа VK Cloud.

Общая выручка VK в период с января по март включительно достигла 27,3 млрд руб., что на 39,5 % больше по сравнению с результатом за предыдущий год. Отмечается, что основным источником роста стали поступления от онлайн-рекламы, увеличившиеся на 67 % по сравнению с I кварталом 2022 года — до 16,3 млрд руб.

Источник изображения: VK

Квартальная выручка в сегменте «Технологии для бизнеса» поднялась в годовом исчислении с 0,7 млрд руб. до 1,1 млрд руб., то есть, примерно на 55,4 %. При этом решения облачной платформы VK Cloud и сервисы для HR-автоматизации (управление персоналом) удвоили выручку по отношению к I четверти 2022 года. Платформа для налогового мониторинга увеличила выручку на 80 % год к году.

В отчёте сказано, что в I квартале 2023 года платформа VK Cloud запустила сервис для работы с системными данными Cloud Logging. Для сферы малого бизнеса теперь предлагается доступный тариф, предназначенный для коммуникаций и совместной работы на базе VK WorkSpace. Он подойдёт командам численностью до 10 человек, которые могут общаться в мессенджере, организовывать звонки и видеоконференции, использовать корпоративную почту и работать с файлами в облаке.

Компания VK, по сообщению газеты «Ведомости», намерена создать собственную сеть ЦОД в Москве и Санкт-Петербурге. По имеющейся информации, VK уже завершает процедуру покупки земельных участков для строительства объектов.

Известно, что в состав сети войдёт дата-центр «Пахра» в Домодедово: открытие этой площадки запланировано на IV квартал текущего года. Кроме того, в Московском регионе разместятся ещё два ЦОД компании. В Санкт-Петербурге VK развернёт облачную инфраструктуру. Ввод новых комплексов в эксплуатацию начнётся в 2025 году.

В настоящее время VK использует мощности двух собственных дата-центров в Санкт-Петербурге и Москве на 1200 стоек в общей сумме, а также арендует ресурсы у сторонних провайдеров. По оценкам участников рынка, стоимость аренды одной серверной стойки может обходиться компании в 85–100 тыс. руб. в месяц, а всего арендуется около 3000 стоек. Таким образом, ежегодные затраты достигают 3,0–3,6 млрд руб. Создание сети собственных ЦОД поможет VK уменьшить эти расходы и переложить их в капитальные затраты на строительство своих вычислительных мощностей.

Источник изображения: vk.com

Эксперты полагают, что с учётом растущего трафика и постоянно увеличивающихся нагрузок компании VK в течение ближайших пяти лет потребуется строительство дата-центров суммарной ёмкостью около 4000–4500 стоек. На реализацию такого масштабного проекта, по различным данным, может уйти от 20 млрд до 40 млрд руб.

Столь значительная разница в оценках обусловлена несколькими факторами. Прежде всего растёт цена оборудования из-за ухода из России зарубежных поставщиков в сложившейся геополитической обстановке. Кроме того, необходимо учитывать стоимость земли, электроснабжения и замены оборудования в процессе эксплуатации.

Участники рынка отмечают, что собственные ЦОД необходимы VK для хранения трафика российских пользователей в соответствии с «пакетом Яровой». На базе таких площадок компания сможет разворачивать CDN-сеть, развивать контентные и облачные сервисы.

VK развернула в Казахстане облачную платформу для цифровизации бизнеса VK Cloud. Партнером стал локальный инфраструктурный провайдер QazCloud. Облачная платформа адаптирована для компаний Казахстана и размещается в дата-центре QazCloud на территории республики, в соответствии со всеми требованиями законодательства. Сам ЦОД расположен в Астане и построен по «зеленым» технологиям.

VK Cloud объединяет более 20 преднастроенных IaaS- и PaaS-сервисов. Они позволяют хранить данные или оперативно развернуть ИТ-инфраструктуру, подключить инструменты для разработки и работы с большими данными, а также обеспечивают резервное копирование и восстановление информации. Оплата за облачные сервисы будет производиться в местной валюте — в тенге. Счета будут формироваться по модели Pay-as-you-go (только за те мощности и инструменты, которые были использованы).

Источник: VK

QazCloud основана в 2017 году. Компания предоставляет услуги по поддержке, обслуживанию и модернизации ИТ-инфраструктуры, аренде и размещению виртуальных ИТ-ресурсов, по защите информационных данных и техническому сопровождению систем. Присутствует в 14 областных центрах и 123 районах Казахстана. В 2022 году совокупный объем отчислений от QazCloud в госбюджет достиг 1 млрд тенге.

Облачные услуги в Казахстане активно развиваются на фоне санкций для российских компаний. VK заключила соглашение с QazCloud еще в 2021 году. В том же году «Яндекс» вывел на рынок свое облако с локализованными сервисами. В 2022 году меморандум о совместном предоставлении облачных решений подписали «Казахтелеком» (который как раз в этом месяце вышел из капитала QazCloud) и дочерняя компания МТС «ИТ-град». В апреле 2023 года хостинг-провайдер RuVDS в партнерстве с казахстанским «Транстелекомом» начал оказывать услугу аренды виртуальных серверов в республике.

В январе 2023 года российская АНО «Координационный совет по ЦОДам и облачным технологиям» и Министерство цифрового развития, инноваций и аэрокосмической промышленности РК подписали меморандум, который призван укрепить сотрудничество двух стран в развитии IT-инфраструктуры, ЦОД, облачных технологий и точек обмена трафиком. Ранее сообщалось, что в 2020–2022 гг. доля российских юрлиц среди пользователей казахстанских ЦОД увеличилась с 2–3 % до 8 %, а в 2023 году составит около 10 %.

Год назад на Intel Experience Day 2019 «ВКонтакте» поделилась результатами первых экспериментов по использованию FPGA-ускорителей для обработки изображений на лету. За прошедшее время компания внедрила ПЛИС в свою инфраструктуру, ускорив работу и сэкономив место в хранилище, где уже находится 1,2 Эбайта различного контента.

У «ВКонтакте» почти 100 млн активных пользователей, которые ежеминутно загружают порядка 100 Гбайт изображений. Для каждого из них после загрузки генерируется более десятка копий различных формата и размера, которые используются в разных частях социальной сети. Основная проблема в том, что на таких масштабах все эти дополнительные изображения отъедают очень много места — до двух третей от общего объёма.

Оптимальнее было бы генерировать их на лету, однако это очень существенная вычислительная нагрузка. Тестовые машины с Intel Xeon E5-2620 v4, которые на тот момент составляли значительную часть серверного парка, могли обработать до 200-220 изображений в секунду, чего явно было недостаточно. Поэтому и было принято решение попробовать для решения этой задачи FPGA, в данном случае это Arria 10.

Теперь изображения с нужными характеристиками можно сформировать, указав параметры в URL. Если оно уже не закешировано на одной из конечных точек для отдачи контента, то запрос уходит «вниз» и из хранилища (а это более 10 тыс. серверов) извлекается оригинал и отправляется на FPGA-ферму, которая состоит всего из 20 серверов с ПЛИС, которых достаточно для удовлетворения всех запросов. На FPGA изображения конвертируются и отправляются «наверх», где кешируются и отдаются клиенту.

Основными форматами, с которыми работает FPGA-ферма, являются JPEG и WebP, но компания рассматривает и другие, более современные. Кроме того, VK планирует изучить возможности FPGA для декодирования медиафайлов, сжатия данных (zstd) со стороны хранилища, а также опробовать в деле более современные модели ПЛИС.