Разработка и тестирование программно-аппаратного комплекса для горнодобывающего предприятия
С нуля разработали и протестировали программно-аппаратный комплекс — оригинальный планшет на Linux с технологиями компьютерного зрения (Computer Vision, CV) и машинного обучения (Machine Learning, ML) для анализа гранулометрического состава горной породы после буровзрывных работ.
Устройство делает и сохраняет фотографии, автоматически определяет расстояние до объектов и фактические размеры фрагментов, сегментирует породу, позволяет вручную корректировать результаты, формировать графики и отчеты и работать автономно в полевых условиях.
Клиент
Горнодобывающего предприятие.
Задача
Бизнес-задача
-
Разработать отечественное устройство для анализа фрагментации горной породы, способное заменить зарубежные решения, недоступные на российском рынке.
-
Ускорить оценку результатов буровзрывных работ, повысить ее объективность и упростить работу специалистов на карьерах.
Задача в контексте разработки
-
С нуля разработать и протестировать ПО и технические решения для специализированного планшета.
-
Объединить программную часть, ML-модель, камеры, оптику, аппаратные драйверы и математические алгоритмы в одном автономном устройстве.
-
Обеспечить автоматическую сегментацию, определение расстояния и размеров фракций, ручное редактирование, построение графиков и формирование отчетов.
-
Обеспечить стабильную работу устройства в полевых условиях и возможность отправки отчетов при наличии интернет-соединения.
Решение
Наша цель: создать готовый программно-аппаратный продукт, который автоматически анализирует фрагментацию горной массы непосредственно на месте проведения работ и снижает объем ручных измерений.
Что реализовали
-
Разработали ПО для пользовательского планшета на Linux, которое управляет фотосъемкой, хранением, редактированием и удалением снимков.
-
Обучили ML-модель. Она формирует карту сегментации, после чего программный модуль преобразует результат в массив границ полигонов и классифицирует сегменты по типам: пустота, мелкая фракция и отдельный кусок породы.
-
Реализовали автоматическое определение расстояния до снимаемых объектов и расчет их фактических линейных и глубинных размеров.
-
Добавили ручной замер, удаление и изменение границ и размеров фракций на фотографии.
-
Реализовали автоматический расчет состава фракций по математическим формулам, построение графиков и формирование отчетов.
-
Обеспечили автономную работу в полевых условиях и отправку отчетов при наличии интернет-соединения.
Этапы реализации
-
Подготовка требований, документации и предпроектное исследование.
-
Разработка и обучение ML-модели, подбор камер, оптики и комплектующих.
-
Разработка программной части, драйверов и интеграция с аппаратными компонентами.
-
Калибровка оптики и проверка автоматических математических расчетов ручными вычислениями.
-
Создание базы тестовых данных, стабилизация тестирования Computer Vision-алгоритмов и проверка устройства в полевых условиях.
-
Оптимизация производительности и интерфейса. Фоновую сегментацию перенесли с экрана фотографии на другие экраны, поэтому пользователь может сделать следующий снимок, не ожидая обработки предыдущего. Интерфейс адаптировали для управления пальцем.
-
Подготовка устройства к серийному производству и продаже.
Почему выбрали такой подход
Точность анализа зависит не только от ML-модели, но и от расстояния до объекта, оптики, калибровки и синхронизации всех аппаратных и программных компонентов. Поэтому продукт разрабатывался как единый программно-аппаратный комплекс, а не как отдельное приложение.
Результат
-
Создали полноценное отечественное устройство для горнодобывающей промышленности и довели его до серийного производства.
-
Обучили модель, которая автоматически определяет фракции и их размеры с учетом расстояния до объекта и особенностей ландшафта.
-
Реализовали автоматическую сегментацию, ручное редактирование, математические расчеты, графики и отчеты.
-
Обеспечили автономную работу устройства и повысили его стабильность в полевых условиях.
-
Сократили время создания и сохранения фотографии примерно с 30 секунд до практически моментального результата.
-
Стабилизировали тестирование Computer Vision-алгоритмов и создали базу тестовых данных.
-
Сократили время выкатки обновлений и ускорили реализацию новых функций без потери качества.
-
Наладили взаимодействие между разработкой, тестированием, ML- и аппаратной командами, а также процесс обратной связи с заказчиком.
-
Устройство запущено в производство и продажу; решение запатентовано заказчиком.
Бизнес-эффект
-
Заказчик получил отечественный импортозамещающий продукт, готовый к практическому применению, серийному выпуску и продаже.
-
Автоматизация измерений и формирование готовых отчетов позволяют сделать анализ результатов буровзрывных работ быстрее и объективнее.
-
Продукт запатентован заказчиком.
Трудности
-
Синхронизация программной и аппаратной частей: камер, оптики, драйверов, фоновых сервисов и пользовательского ПО.
-
Подбор оптики и ее калибровка для точного определения расстояний и размеров фрагментов.
-
Проверка сложных математических расчетов: автоматические результаты сравнивали с ручными вычислениями.
-
Оптимизация фоновой сегментации, которая ранее задерживала создание следующего снимка.
-
Разработка нетипичных функций и адаптация интерфейса для работы пальцем на специализированном устройстве.
-
Повышение стабильности устройства в реальных полевых условиях.
Технологии
-
Фреймворк интерфейса: Qt
-
Компьютерное зрение: OpenCV, Computer Vision
-
Машинное обучение: ML-модель сегментации изображений
-
Фоновые сервисы: Daemon-процессы
-
Аппаратная часть: камеры, оптика, специализированные комплектующие и драйверы
