Создание корпоративного хранилища данных для банка
За 2,5 года мы провели импортозамещение корпоративного хранилища данных, перенесли все действующие таблицы, витрины и отчеты на новую отказоустойчивую систему.
Клиент
Крупный российский банк из топ-20
Задачи
Требования регулятора и политика безопасности заказчика требовали осуществить перенос данных из текущего хранилища в новую отказоустойчивую систему, сохранив не менее 90% действующего функционала для нужд бизнес-подразделений. Переход следовало осуществить плавно и незаметно, чтобы не повлиять на бизнес-показатели заказчика и работу пользователей, что было критически важно.
В ходе работ нам предстояло:
-
Провести аудит действующего хранилища.
-
Разработать и внедрить новую модель данных.
-
Обеспечить полный перенос таблиц, выявленных в процессе аудита.
-
Создать новые таблицы согласно утвержденной модели данных.
-
Построить и организовать отслеживание ETL-процессов.
-
Осуществить интеграцию между системами-источниками и новым хранилищем.
-
Выполнить реверс-анализ витрин и отчетов.
Основные этапы проекта
В течение первого месяца проекта был выполнен сбор требований к планируемой системе: проведены интервью с 20 ключевыми экспертами от каждого бизнес-подразделения, выявлены потребности, сформирован пул работ и определены границы проекта.
На следующем этапе в течение 3 месяцев команда из 5 DWH-аналитиков, 3 системных аналитиков и 1 архитектора провела аудит текущего хранилища данных. В ходе работы были определены все необходимые системы-источники, их взаимосвязи, а также проанализированы методологии формирования 200+ таблиц данных.
После завершения подготовительных работ началась основная фаза проекта, которая продолжалась 2 года. Бизнес-аналитики подготовили более 20 бизнес-требований, детально описывающих функциональное назначение и логику формирования таблиц. Параллельно DWH-аналитики разработали свыше 30 технических заданий на перенос данных, включающих инструкции по загрузке в хранилище. Были построены модели данных, настроены 50+ ETL-процессов и 5 интеграций с внешними источниками, а также выполнен поэтапный перенос данных по слоям хранилища.
На финальном этапе, который длился 6 месяцев и проводился параллельно с основными работами, DWH-аналитики совместно с тестировщиками выполнили техническую приемку итоговых витрин. Были оформлены протоколы приемо-сдаточных испытаний и проведено комплексное тестирование разработанных таблиц на всех уровнях хранилища. Работы осуществлялись последовательно для каждой таблицы в отдельности.
Показатели
- Проведен аудит около 200 таблиц текущего хранилища;
- Написано более 20 бизнес-требований;
- Составлено более 30 технических заданий;
- Настроено более 5 интеграций с различными источниками данных;
- Запущено около 50 ETL-процессов;
- Загружено более 150 таблиц, витрин и отчетов, включая 20 новых витрин;
- Проведен реверс-анализ порядка 30 витрин.
Трудности, с которыми столкнулись на проекте
Основным сдерживающим фактором проекта стала неполная документация, что увеличивало сроки аудита и задерживало построение новой модели.
Частично отсутствовала информация о местонахождении данных, их связях между собой. Не были описаны методологии формирования атрибутов и/или таблиц, используемых для дальнейшего анализа и построения управленческих отчетов и дашбордов.
Бизнес-подразделения, которые являются владельцами витрин, не обладали исчерпывающей информацией для восполнения пробелов в документации.
Результат
Построено новое полностью функционирующее хранилище данных, охватывающее все требуемые таблицы и отчеты и имеющее весь необходимый функционал, которым обладало прежнее хранилище.
Бизнес-эффект
За 2,5 года заказчик выполнил требования регуляторных органов в отношении импортозамещения и реализация стратегии цифровой трансформации.
Используемые технологии:
-
ORACLE
-
GREENPLUM
-
POSTGRESQL
-
PL/SQL
-
AIRFLOW
-
SAP POWERDESIGNER
-
DBEAVER
