Миграция ИТ-ландшафта в новый дата-центр для финтех клиента
Подготовили и выполнили ключевую часть миграции ИТ-ландшафта в новый дата-центр (ДЦ), создав современную, безопасную и отказоустойчивую DevOps-платформу на базе Kubernetes. Развернули критически важные сервисы управления секретами, записями журналов (логами), артефактами и CI/CD, обеспечив бесперебойность работы финтех-решения.
Клиент
Разработчик ИТ-решений в области финансов.
Задача
Увеличение стабильности работы сервисов.
-
Обеспечить бесшовный и безопасный перенос высоконагруженных сервисов ИТ-решения в новый ДЦ без потери доступности для клиентов.
-
Повысить отказоустойчивость и стабильность всего ИТ-окружения, соответствующего стандартам финансового сектора.
-
Усилить безопасность за счет централизованного управления секретами, артефактами и улучшенного аудита.
Технические задачи:
-
Создать в целевом кластере Kubernetes полный цикл платформенных сервисов (Vault, Harbor, OpenSearch).
-
Организовать безопасный, автоматизированный процесс доставки приложений (ArgoCD) с интеграцией внешнего хранилища секретов (HashiCorp Vault).
-
Модернизировать существующие CI/CD-процессы (GitLab CI) для работы с новой инфраструктурой и обеспечить централизованное логирование и оповещение.
Решение
-
Безопасность и артефакты (3 недели).
-
Развертывание HashiCorp Vault и Vaultwarden для паролей инфраструктуры.
-
Установка и настройка Harbor в качестве корпоративного реестра контейнеров, обеспечивающего безопасное хранение и распространение контейнерных образов . Интеграция сканирования образов на уязвимости.
-
Создание шаблонов развертывания Helm и ApplicationSet в ArgoCD для управления сервисами.
-
Наблюдаемость и ведение журнала событий (2 недели).
-
Развертывание кластера OpenSearch через OpenSearch Operator для приема и анализа логов со всех микросервисов.
-
Настройка Prometheus, Grafana и Alertmanager. Перевод критических оповещений в Telegram.
-
am-каналы для мгновенного реагирования команды. Настроено более 50 правил оповещений.
-
Интеграция CI/CD и миграция процессов (4 недели).
-
Модернизация 30+ GitLab CI/CD пайплайнов для работы с новым Harbor.
-
Интеграция ArgoCD с Vault для автоматического импорта секретов при запуске (использование внешних secrets.yml). Это исключило хранение чувствительных данных в Git.
-
Поэтапный перевод сред разработки, тестирования и рабочей эксплуатации на новую платформу.
Результат
-
В новом ДЦ развернута полноценная корпоративная DevOps платформа на базе Kubernetes, включающая Harbor, Vault, OpenSearch и современный набор технологий для мониторинга.
-
Внедрен безопасный GitOps-процесс развертывания: ArgoCD автоматически синхронизирует состояние кластера с Git, подтягивая секреты из Vault.
-
CI/CD-пайплайны полностью переведены на новую инфраструктуру, обеспечен безопасный жизненный цикл контейнерных образов.
-
Создана единая система наблюдения с логированием в OpenSearch и оперативными оповещениями в Telegram.
Бизнес-эффект
-
Повышение отказоустойчивости и стабильности сервисов. Новая платформа в современном ДЦ заложила основу для сокращения инцидентов, связанных с инфраструктурой, на 60%.
-
Существенное усиление безопасности. Централизованное управление секретами через Vault и сканирование образов в Harbor минимизировали риски утечек и развертывания уязвимого кода, что критически важно для финтеха.
-
Ускорение процессов разработки и выхода обновлений. Унификация и автоматизация CI/CD-процессов сократили время на подготовку и развертывание релизов.
-
Повышение операционной эффективности. Единый центр управления логированием и проактивные оповещения позволили командам быстрее обнаруживать и устранять проблемы, снижая среднее время, необходимое для полного устранения сбоя (MTTR, Mean Time to Resolve).
Трудности
Главной сложностью была миграция в активной среде без остановки сервисов. Требовалось обеспечить параллельную работу старой и новой инфраструктуры с постепенным переводом нагрузки. Это было решено за счет:
-
Поэтапного подхода: Сначала развертывались и тестировались платформенные сервисы (Harbor, Vault), затем перенастраивались пайплайны для них, и только потом начинался перевод бизнес-приложений.
-
Двойной работы пайплайнов: На переходный период CI/CD был настроен на сборку и публикацию образов как в старое, так и в новое хранилище контейнеров (Harbor), что обеспечивало бесперебойность.
-
Тщательного тестирования интеграций, особенно между ArgoCD и Vault, чтобы автоматический импорт секретов не стал точкой отказа при развертывании критичных финансовых приложений.
Технологии
Docker, Docker Compose, nginx, Gitlab, GitLab CI/CD, Helm, Kubernetes, ArgoCD, Harbor, HashiCorp Vault, Vaultwarden, OpenSearch, Prometheus, Grafana
