Создание системы технического зрения для горнодобывающего предприятия
SimbirSoft запустила новую систему для распознавания маркировки и подсчета продукции на транспортировочной ленте, которая работает с помощью алгоритмов компьютерного зрения — Computer Vision (CV). Этап R&D (Research and Development) —период исследований и разработок — длился 2 недели. К команде присоединились Data Science-инженеры.
Система сможет ускорить бизнес-процессы производителей, импортеров, оптовиков, автоматизирует производственные задачи в крупных торговых сетях и розничных магазинах, аптеках и медучреждениях с большим оборотом продукции, будет полезна в таможенных и логистических предприятиях.
Клиент
Крупное горнодобывающее предприятие.
Задача
Бизнес-задача
Наладить контроль качества в производственном процессе и уменьшить ошибки, связанные с некорректной отгрузкой продукции. Например, с расхождением в количестве, сорте или марке товаров.
Задача разработки
Для решения проблемы команда SimbirSoft в течение недели проводила мониторинг производства — фиксировала на камеру рабочие процессы. Следующий этап — разработка методов и алгоритмов для обработки изображений, обучение ML-моделей.
Ожидаемый результат: создать и запустить систему, способную по видео распознавать марку и количество товаров, проезжающих по ленте.
Решение
Команда использовала методы CV и рассмотрела несколько рабочих гипотез. В проекте пригодились технологии ИИ для точной обработки видео, анализа картинки и извлечения текста. Над транспортировочной лентой уже находилась камера — записи с нее специалисты тоже использовали в работе.
Этапы и механика
Этап R&D (Research and Development), или период исследований и разработок, длился 2 недели. К команде присоединились Data Science-инженеры.
Вначале приступили к детекции и распознанию наименований товара, цветов марки и веса продукции. В течение недели с помощью инструментов X-AnyLabeling и YOLOv8 nano разработчики проводили разметку изображений — присваивали метки и категории пикселям и элементам на картинке. Таким образом на основе собранных данных компьютерную модель обучали классифицировать объекты и понимать их содержимое.
С помощью OpenCV выстроили логику определения цвета маркировки. Протестировали разные инструменты распознавания текста и выбрали лучший по показателям вариант. С помощью регулярных выражений (шаблонов) в распознанном тексте модель научилась выделять марку и числовое значение веса. На втором этапе написали логику подсчета продукции, отслеживаемой трекингом дообученной модели.
Результат
Разработали алгоритм обработки данных и технический прототип, который анализирует видеопоток с камеры, определяет маркировку продукции, подсчитывает количество продукции на ленте.
Технологии
X-AnyLabeling для разметки изображений, OpenCV для обработки видеопотока, YOLOv8 nano для подсчета количества продукции на видео, PaddleOCR для распознавания маркировки продукции.
