Построение системы управления метаданными и комплаенс-контроля в корпоративном хранилище данных
Развитие хранилища требовало строгого соблюдения требований информационной безопасности и комплаенса. Однако в распределённой среде отсутствовала прозрачность: было непонятно, где хранятся персональные данные, кто имеет к ним доступ и как они мигрируют между узлами-источниками. Без управляемого контура данных компания не могла гарантировать регуляторам сохранность персональных данных, что блокировало запуск новых продуктов и создавало репутационные риски.
Клиент
Крупный финансово-технологический холдинг с глобальным распределённым хранилищем данных и гетерогенной ИТ-инфраструктурой.
Задача
Бизнес-задачи: исключить репутационные риски и штрафы от регуляторов, разблокировать запуск новых продуктов за счет гарантии сохранности персональных данных.
Задача в контексте разработки: классифицировать данные по уровням конфиденциальности (включая специфику смарт-контрактов), построить автоматизированный Data Lineage и обеспечить сквозной аудит доступа без остановки высоконагруженных процессов.
Решение
Что планировали сделать
Сначала определить модель управления данными (роли, таксономия), а затем внедрить инструменты для автоматизации контроля.
Гипотезы
Если связать бизнес-термины с техническими метаданными и автоматизировать применение политик безопасности, комплаенс перестанет быть «бутылочным горлышком».
Почему решали эту задачу именно так
Инструмент не работает без методологии. Atlas не смог бы ничего сделать без предварительно разработанной корпоративной таксономии.
Этапы, сроки, инструменты
Этап 1 (1 месяц): разработка таксономии, определение Data Owners.
Этап 2 (2 месяца): развертывание Apache Atlas, настройка сбора метаданных, создание бизнес-глоссария.
Этап 3 (1 месяц): интеграция с Apache Ranger, настройка динамического маскирования, тестирование аудита доступа.
Результат
ROI
Снижены затраты на комплаенс и аудит за счет автоматизации (экономия человеко-часов на сбор логов и подготовку отчетов для регулятора). Предотвращены потенциальные штрафы.
Что удалось улучшить
Время поиска нужного актива данных сократилось в разы.
Бизнес-эффект
Обеспечена 100% прозрачность данных. Процесс проверок безопасности автоматизирован: аудиторы получают логи доступа и карту данных напрямую из системы. Исключена утечка персональных данных из аналитическиех отчётов.
Трудности
Специфика архитектуры
В распределённой сети сложно отследить путь данных. Была проведена работа по нормализации: создан словарь эталонных имён, что позволило связать данные из разрозненных источников с корпоративного хранилища данных (КХД).
Ложные срабатывания при автоматической классификации персональных данных
В транзакционных данных сложно отличить хэш от реального идентификатора. Внедрили двухуровневую проверку: автоматическое тегирование в Atlas + ручная валидация со стороны Data Steward (специалист, отвечающий за управление качеством и смыслом данных).
Технологии
-
Apache Atlas (Каталог метаданных)
-
Apache Ranger (Управление доступом и политиками)
-
Python (Автоматизация сбора метаданных)
-
Реляционные СУБД и распределенные хранилища
