Компания «Форс телеком» (ГК «Форс») разработала Java-утилиту Ora2PgCopy, которая позволяет переносить 10 Тбайт данных из СУБД Oracle в СУБД PostgreSQL за 24 часа. Утилита Ora2PgCopy зарегистрирована в Роспатенте и имеет свидетельство о государственной регистрации программ для ЭВМ (№ 2023611480 от 20.01.2023).

Как поясняют в компании, без использования ее утилиты процесс миграции занял бы от 100 часов. Максимально сократить время переноса позволило использование возможностей PostgreSQL, задействование многопоточности, а также параллельный перенос данных каждой отдельной таблицы и специальная обработка данных типа BLOB и CLOB.

Утилита Ora2PgCopy применяется в процессе миграции в тот момент, когда в PostgreSQL уже созданы таблицы и перенесен программный код. Ora2PgCopy может функционировать как модуль в составе системы автоматизации миграции LUI4ORA2PG (разработка «Форс телеком» для автоматизации миграции) или применяться независимо от нее. В компании уверяют, что по результатам тестов Ora2PgCopy работает быстрее других аналогов — таких как Ispirer (convertum), Oracle_fdw, ora2pg и Pentaho kettle.

Источник: ГК «Форс»

ГК «Форс» является официальным дистрибутором Oracle в России и Монголии. Хотя американская корпорация приостановила операции на российском рынке в марте 2022 года, «Форс» продолжает оказывать техподдержку ПО и оборудования Oracle, разрабатывая и собственные решения. По итогам 2022 года выручка разработчика российских СУБД Postgres Professional увеличилась в 3,3 раза с приростом уровня чистой прибыли в 3,8 раза.

Сервис Transfer Appliance, доступный в ряде регионов США, ЕС и Сингапуре, позволяет клиентам просто и безопасно перенести петабайты данных из их корпоративных ЦОД и других мест эксплуатации в Google Cloud. Сервис основан на одноимённой специализированной All-Flash СХД, которую клиент может запросить в Google Cloud Console, чтобы перенести на него свою информацию. На днях компания анонсировала новую версию Transfer Appliance.

Google Cloud проверяет потребности заказчика, такие как мощность и необходимая ёмкость, и отправляет полностью укомплектованное устройство, включая все необходимые кабели. Доступные для заказа ёмкости находятся в диапазоне от 40 до 300 Тбайт. Имеются также две базовые модификации Transfer Appliance: на 100 и 480 Тбайт. Благодаря встроенным средствам дедупликации и сжатия данных потенциально можно перенести до 1 Пбайт. Кроме того, предприятия могут выбрать вариант исполнения — для монтажа в стойку или автономное устройство.

Как только устройство прибывает к заказчику, его можно смонтировать как общий ресурс NFS и приступить к копированию данных. Затем устройство запечатывается для защиты от несанкционированного доступа при траспортировке и отправляется обратно Google. Перед переездом данные шифруются (AES-256), а клиент создаёт пароль и секретную фразу для их дешифровки. Это не только защищает информацию, но и позволяет соблюсти отраслевые стандарты ISO, SOC, PCI и HIPAA.

По прибытии устройства в Google специалисты компании осуществляют обратные операции, которые для краткости они называют «регидратацией». О её успешном завершении Google сообщает заказчику как правило в течении 1-2 недель. После миграции клиентам становятся доступны средства для анализа данных BigQuery и Vertex AI.

Google рекомендует предприятиям использовать сервис Transfer Appliance в тех случаях, когда для загрузки данных в облако через Интернет потребуется более недели, или когда необходимо перенести более 60 Тбайт данных. Ещё один вариант использования устройства — сбор данных в полевых условиях и на подвижных объектах, таких как корабли. По прибытии в порт их можно легко перенести в облако для последующей обработки или архивирования.

Следует отметить, что сервис особенно полезен в условиях недостаточной пропускной способности каналов передачи данных или отсутствия возможности подключения к Интернет. Несмотря на то, что данная концепция не нова и компании десятилетиями отправляли данные на физические устройства для архивирования и аварийного восстановления, она не утратила своей актуальности и сегодня. Аналогичные решения есть у всех крупных облачных провайдеров.