Миграция сервисов искусственного интеллекта для мониторинга промышленных конвейеров на новую платформу за 24 часа
Провели миграцию комплекса сервисов искусственного интеллекта для мониторинга промышленных конвейеров на новую, более производительную и отказоустойчивую платформу. Первоначальный план по развертыванию в промышленной платформе OKD не прошел проверку нагрузочным тестированием. Миграцию выполнили на новое высокопроизводительное оборудование и настроили CI/CD-процессы для тестового и продуктивного окружений. Проект был реализован за 3 рабочих дня в часы технического обслуживания оборудования с нулевым временем незапланированного простоя.
Клиент
Горно-обогатительный комбинат.
Задача
Бизнес-задачи
-
Повысить общую надежность и отказоустойчивость системы мониторинга, от которой зависит предупреждение простоев конвейерного транспорта.
-
Увеличить производительность обработки видеоданных с камер для более точного и быстрого анализа состояния оборудования.
-
Обеспечить плавную миграцию без прерывания работы сервисов.
Технические задачи
-
Переместить работающие ИИ-сервисы с действующей виртуальной машины на более мощное оборудование.
-
Настроить автоматизированный процесс сборки и развертывания (CI/CD) для тестового и продуктивного окружений.
-
Обеспечить целостность данных и минимальное время восстановления при миграции.
Решение
Первоначально планировалось развернуть сервисы в корпоративной платформе OKD (OpenShift). Однако проведенное нагрузочное тестирование показало, что платформа не выдерживает пиковых нагрузок, характерных для непрерывной обработки видеопотоков с конвейеров. Мы предложили альтернативу: миграцию на выделенные высокопроизводительные серверы с последующей настройкой CI/CD.
Этапы, сроки и инструменты
Весь проект, от планирования до подтверждения работоспособности, был выполнен за 3 рабочих дня (24 календарных часа).
-
Подготовка и резервное копирование (день 1).
-
Остановка сервисов на действующем продуктивном сервере.
-
Создание полного бекапа (копирования) баз данных и всех конфигураций.
-
Проверка целостности резервной копии.
-
Миграция и развертывание (день 2).
-
Перенос бекапа на новый продуктивный сервер.
-
Восстановление баз данных и конфигураций.
-
Настройка окружения и запуск сервисов на новом оборудовании.
-
Тестирование и сдача (день 3).
-
Функциональное тестирование ИИ-сервисов на новом контуре.
-
Проверка производительности и стабильности под нагрузкой.
-
Настройка CI/CD пайплайнов для тестового и продуктового окружений в GitLab (веб-платформа для совместной разработки ПО) с использованием инструментов Helm и Docker Compose.
-
Подтверждение полной работоспособности и закрытие проекта.
Результат
Переезд прошел успешно и сервисы работают на новых серверах.
-
Выполнена успешная миграция комплекса ИИ-сервисов на новое высокопроизводительное оборудование.
-
Внедрен современный CI/CD-процесс, обеспечивающий клиенту возможность безопасного и контролируемого обновления сервисов в будущем.
-
Создана полная техническая документация по новому окружению и процессу развертывания.
Бизнес-эффект
-
Повышение стабильности системы мониторинга. Новое оборудование устранило «узкие места», которые приводили к скрытым сбоям в работе алгоритмов.
-
Увеличение скорости обработки данных с промышленных камер на 25%. Это позволило сократить время реакции на потенциальные инциденты (например, перегрузка конвейера или появление посторонних предметов), повысив общую безопасность производства.
-
Снижение операционных рисков. Автоматизированный пайплайн (последовательность шагов или процессов) развертывания и повышенная отказоустойчивость новой платформы минимизировали вероятность простоев критически важного сервиса.
-
Создан масштабируемый фундамент для внедрения новых ИИ-моделей и расширения системы мониторинга на другие участки производства.
Технологии
Docker, Docker Compose, nginx, Gitlab, GitLab CI/CD, Helm, OKD.
