Создание корпоративного хранилища данных и единой аналитической отчетности для управления курортным комплексом
Создание корпоративного хранилища данных для объединения информации из нескольких систем; формирование единой аналитической отчетности по деятельности курортного комплекса.
Клиент
Курортный комплекс
Какие задачи перед нами стояли
Для принятия управленческих решений заказчику требовалось создать единый достоверный источник информации.
Данные о деятельности курорта находились в нескольких информационных системах и использовались в различных операционных отчетах. Необходимо было объединить их в корпоративном хранилище и обеспечить возможность получать согласованные показатели для дальнейшего анализа и отчетности.
В рамках первого этапа проекта мы подготовили данные для анализа информации о гостиничном комплексе, активном отдыхе и финансовых показателях.
Со стороны разработки необходимо определить состав и источники необходимых данных, правила их загрузки и преобразования, спроектировать структуры хранения и подготовить логику формирования требуемых бизнес-показателей и аналитических витрин.
Оказанные услуги
Системный и DWH-анализ.
Сбор, анализ и формализация требований к корпоративному хранилищу данных.
Обследование систем-источников.
Разработка технических заданий на загрузку и преобразование данных в DWH.
Совместное с архитектором проектирование слоев в архитектуре корпоративного хранилища данных — RAW, ODS, DDS, Data Marts.
Разработка формул и правил расчета бизнес-показателей.
Описание маппинга данных между слоями DWH.
Определение правил полной и инкрементальной загрузки.
Разработка SQL-запросов для анализа данных и сверки рассчитанных показателей с отчетностью систем-источников.
Постановка задач разработчикам и сопровождение реализации.
Решение
Работу начали с обследования информационных систем заказчика и анализа существующей отчетности. Определили источники требуемых данных, способы их получения и взаимосвязи, а также правила формирования бизнес-показателей.
Использовалось несколько способов интеграции в зависимости от возможностей систем-источников: интеграция «database-to-database», интеграция через SOAP API и файловый обмен (XLSX).
По результатам обследования спроектировали последовательную загрузку и преобразование данных в корпоративном хранилище. Для RAW- и ODS-слоев разработали технические задания с описанием состава данных, структур хранения, ключей, связей и правил загрузки.
Для проектирования DDS совместно с архитектором определялись необходимые сущности, их атрибутный состав и связи.
Отдельной задачей стало восстановление логики существующей отчетности заказчика. Часть необходимых алгоритмов не была формализована, поэтому правила расчета показателей восстанавливались на основании структуры систем-источников, существующих отчетов и фактических данных. Полученные алгоритмы проверялись на тестовых данных и сопоставлялись с результатами исходных систем.
На основании восстановленных и формализованных алгоритмов расчета бизнес-показателей проектировался витринный слой DWH. Для аналитических витрин подготовили состав показателей и аналитических разрезов, необходимые данные, правила фильтрации и формулы расчета.
Длительность этапа MVP — 4,5 месяца.
Результаты
Возможность анализировать данные ключевых систем Заказчика в различных бизнес-разрезах и с применением необходимых фильтров, получать универсальные метрики и готовые KPI на основе агрегированных данных.
Переход от ручного сбора и сопоставления информации из разных систем к единому хранилищу данных, а также возможность самостоятельно работать с данными хранилища и получать дополнительную информацию под новые аналитические задачи без необходимости заранее создавать отдельную витрину или отчет.
Трудности
Отсутствие полной документации по данным и алгоритмам расчета показателей в системах-источниках.
Используемые технологии
Oracle, PostgreSQL, SQL, SOAP, XML, WSDL, SoapUI, Confluence, Jira