Создание корпоративного хранилища данных для химического комбината: от 30+ источников к 6 дашбордам для руководства
Создали централизованную систему производственной аналитики на базе Postgres, которая собирает, хранит и агрегирует данные из 30+ разнородных ИТ-систем завода (АСУ ТП, MES, ERP, LIMS, системы диспетчеризации). Для руководства комбината разработали 6 интерактивных дашбордов с ~60 ключевыми показателями: от подготовки сырья до отгрузки готовой продукции. Время подготовки управленческих отчетов сократилось с 4–6 часов до 5 минут, данные обновляются в режиме реального времени. Дополнительно спроектировали доменную и логическую модели корпоративного хранилища данных для 6 производственных доменов с разделением слоев (raw → mart), что стало основой для дальнейшей разработки КХД всего комбината.
Клиент
Производитель крупнотоннажной химической продукции. Предприятие находится в процессе цифровой трансформации и перехода к централизованному управлению производственными процессами.
Задача
Бизнес-задача
- обеспечить руководство химического комбината оперативным доступом к показателям производства (объем выпуска целевой продукции по технологическим переделам, загрузка производственных мощностей, удельный расход сырья и энергоресурсов на тонну продукции, селективность катализаторов и конверсия сырья, время простоев оборудования с разделением на плановые и аварийные, остатки и поступление сырья и реагентов, объёмы отгрузки готовой продукции в цистернах и таре, соблюдение экологических норм по выбросам) в единой системе мониторинга для регулярного управленческого контроля.
Технические задачи
- Интегрировать 30+ источников (АСУ ТП, MES, ERP, LIMS, системы диспетчеризации).
- Спроектировать доменную и логическую модели корпоративного хранилища данных (КХД) для производственного контура химического комбината. Модели должны обеспечить унифицированную структуру для сбора, интеграции и хранения всех ключевых производственных показателей.
- Обеспечить обработку новых данных ежедневно в режиме реального времени.
- Вывести ~60 KPI на 6 интерактивных дашбордах для топ-менеджмента и цеховых служб.
Решение
1. Сбор требований и интервью
-
Провели встречи с руководителями и специалистами цехов подготовки сырья, синтеза, ректификации, фасовки, логистики, ремонтной службы и ИТ-подразделения.
-
Проанализировали текущие отчеты и ручные выгрузки.
-
Сформировали перечень ~60 ключевых показателей и источников данных.
2. Прототипирование дашбордов
- Подготовили и согласовали 6 пилотных дашбордов
- Определили источники данных до уровня систем
- Потоки данных визуализировали в Draw.io.
- Спроектировали витрины для дашбордов
- Витрины наполнили синтетическими данными для старта работы bi команд
3. Проектирование модели данных детальных слоев и слоев витрин для дашбордов.
- Определили источники данных до уровня бизнес-сущностей и логических групп, согласовали формы ручного ввода данных.
- Создали задания на разработку новой функциональности в системе учета для недостающих данных
- Спроектировали слои mart и dds для хранилища под дашбордами, описали логику наполнения таблиц
4. Разработка витрин и ETL/ELT-цепочек
- Реализовали витрины и загрузки под них в базе Postgres
- Детализировали методики расчета показателей.
- Описали используемые источники данных и спроектировали схему хранилища в Postgres: слои для приема данных из производственных систем, нормализации и формирования витрин для отчетности.
5. Проектирование корпоративного хранилища
- Параллельно по линии корпоративного хранилища данных (КХД) выполнили работу по выделению и описанию производственных доменов и спроектировали их концептуальные и логические модели.
- Провели сессии с экспертами каждого домена для уточнения сущностей, связей и бизнес-правил.
- На основе полученной информации разработали доменную модель корпоративного хранилища данных и логические модели по доменам. Модели включают разделение слоёв и фиксацию единых бизнес‑методик. Это является основой для дальнейшего расширения хранилища и подключения новых цехов и показателей без пересборки существующей архитектуры.
6. Тестирование и стабилизация
- Провели тест-кейсы, устранили выявленные дефекты, подтвердили корректность расчета метрик и показателей.
Результат
- Вместо 5–6 разрозненных отчётов — 6 запущенных дашбордов в едином интерфейсе. Обеспечен оперативный контроль ≈ 60 ключевых показателей (очистка, синтез, простои, производительность, отгрузка, запасы сырья).
- Спроектировано корпоративное хранилище данных. Проведена более точная оценка разработки, сокращено время будущих доработок.
Бизнес-эффект
-
Сокращение времени подготовки управленческой отчетности на 95% — с 4–6 часов до 5 минут, риск ошибок при ручных выгрузках снижен до 0 %.
-
Принятие решений быстрее на 50% — руководство получает свежие метрики ежедневно и видит отклонения сразу, а не через недельные отчеты.
-
Сокращение простоев оборудования на 15% — прозрачная аналитика позволила заранее выявлять узкие места и сокращать незапланированные простои.
-
Снижение потерь от брака за счет фокусировки на узких местах и возможности автоматического расчета параметров процессов.
-
Повышена прозрачность производственных показателей и скорость реакции на отклонения для всех шести производственных доменов.
Трудности
-
Разрозненные источники и ручные выгрузки — требовалось согласовать единые методики расчета между цехами при различиях в трактовках показателей.
-
Глубокие отраслевые нюансы — регулярные сессии с экспертами доменов были необходимы для точной настройки вычислений.
-
Legacy-система — требовалось обеспечить согласованность данных и логики между имеющейся и новыми системами.
Технологии
Kafka, Airflow, Hadoop, Spark, Impala, Postgres, Nifi, Ziiot, Confluence, Draw.io, DBeaver.
