Миграция пакетов, формирующих витрины данных, из Oracle в Greenplum для банка
Команда SimbirSoft перевела данные на новую платформу, внедрила новую систему управленческой аналитики и выполнила ее интеграцию в экосистему заказчика.
Клиент
Российский цифровой банк.
Задача
Перед командой SimbirSoft стояла задача: перенести основную часть пакетов из Oracle БД в БД Greenplum для оптимизации процессов заказчика.
Бизнес-задачи проекта
-
Обеспечение безопасности данных.
-
Возобновление обновлений и техподдержки ПО.
-
Снижение затрат на лицензии.
Задача в контексте разработки
-
Перенос более 600 пакетов Oracle.
-
Обеспечение совпадения результатов расчетов.
-
Оптимизация производительности.
Решение
Проект реализован через Канбан. Канбан — это метод визуального управления рабочими процессами, основанный на принципе «точно в срок» и ограничении незавершенной работы.
Что планировали сделать: полностью переписать пакеты Oracle в функции Greenplum.
Какие гипотезы тестировали
-
Greenplum — эффективная замена Oracle для OLAP-решений.
-
Для аутстафф-задач создали отдельную схему в базе данных Greenplum.
Этапы проекта
1 этап: перенос пакета (создание объектов в БД Greenplum, наполнение таблиц-источников данными, создание скриптов функций). Срок: 2—7 дней на каждый пакет.
2 этап: сверка данных (детальное сравнение результатов работы пакета в Oracle с результатом работы функции в Greenplum). Срок: 3—5 дней.
3 этап: прием командой заказчика реализованного функционала на базе Greenplum.
Результаты
-
Своевременно выполнили поставленные задачи по переносу пакетов. Перенесено более 600 пакетов Oracle.
-
Снижена нагрузка на сервера Oracle.
-
В 2 раза увеличена скорость работы функций.
Бизнес-эффект
-
Снижение затрат на лицензии.
-
Обеспечение поддержки и безопасности данных.
Трудности
-
Несоответствие поведения типов данных.
-
Необходимость адаптаций специфических функций Oracle.
-
Различия в архитектуре данных СУБД.
Технологии
-
Oracle DB
-
Greenplum SQL
