Интеллектуальное видеонаблюдение: как IT-команды «докручивают» нейроопции в совместных проектах
В рамках партнерского проекта специалисты SimbirSoft приняли участие в разработке программного обеспечения для компании Insentry — одного из лидеров в области комплексных решений для интеллектуального видеонаблюдения. Команда расширила функционал приложения, отвечающего за обработку видеопотоков в реальном времени, где ключевыми задачами являются скорость, точность и надежность.
Клиент
Insentry — один из лидеров в области комплексных решений для интеллектуального видеонаблюдения.
Задача
Ускорить и синхронизировать видеоаналитику.
К началу совместной работы видеоаналитическая подсистема в рамках платформы была уже развернута и функционировала. Следующий этапа развития требовал повышения производительности и внедрения функций групповой обработки видеопотоков.
Разработчики предложили механизм синхронизации графической аннотации, он позволяет накладывать результаты анализа нейронных сетей на видео, получаемое из множества источников.
Решение
Решение комплексное: учитывает задержки при доставке и декодировании видео, различия в частоте кадров и временных характеристиках потоков. Благодаря этому система способна согласованно отрисовывать детекции на множестве камер — с минимальной задержкой и без визуального шума.
Практический эффект в том, что операторы видят чистое изображение и могут оперативно реагировать на различные ситуации. Это особенно важно для задач с использованием носимых камер, дронов и роботизированных устройств, где задержка обратной связи критична.
Результат
Уникальность проекта
Ключевая значимость платформы видеонаблюдения в том, что клиентская часть полностью построена на веб-технологиях. Это позволяет отказаться от специализированных десктопных решений и управлять системой прямо из браузера, с любого устройства. Второе важное преимущество — возможность строить распределенные системы, поддерживающие репликацию данных, отказоустойчивость и балансировку нагрузки.
Инструменты и подходы
В процессе работы команда протестировала различные подходы и в итоге разработала собственный механизм на базе Media Source Extensions, по принципу аналогичной WebCodecs; чтобы сократить задержку буферизации, специалисты адаптировали алгоритмы трекинга объектов для использования данных о движении, закодированных прямо во фреймах видео. Такой метод позволяет предсказывать траектории объектов и своевременно накладывать аннотации, снижая нагрузку на вычислительные ресурсы. Для групповой обработки видеопотоков с нейросетями разработан механизм автомасштабирования и совместного использования вычислительных мощностей, функционально близкий к Nvidia Triton. При этом эффективнее передавать в системе информацию между камерами, нейросетями и аннотациями в плеере. Данный механизм позволяет эффективно подбирать вычислительные ресурсы для проектов, что экономит внедрение видеоаналитики в больших проектах (более 100 видеокамер).
Обновленная система видеонаблюдения получила опции, которые позволяют:
-
эффективно обрабатывать видеопотоки с нескольких камер в реальном времени;
-
использовать нейросетевые алгоритмы без потери скорости;
-
снижать нагрузку на операторов и повышать точность реакций;
-
интегрировать новые сценарии — от носимых устройств до беспилотных систем.
Технологии
Java 11, Spring Framework, Apache Maven, Hibernate, Cassandra, PostgreSQL, ActiveMQ, Docker