Проектирование и разработка сервиса автоматического аудита кода
En
Проекты Вакансии Блог

Автоматизация код-ревью автотестов для крупной ИТ-компании

Ведущие инженеры тратили часы на ручную проверку сотен типовых ошибок в коде стажеров: пропущенных проверок в тестах, жестко заданных пауз вместо ожиданий, паролей, прописанных прямо в коде, и объемных решений, бездумно скопированных из нейросетей.

Мы создали автономный сервис, который автоматически получает код из репозиториев, анализирует его синтаксическую структуру без запуска и с помощью локальной языковой модели оставляет прямо в коде подробные комментарии к ошибкам — простым и понятным языком наставника.

Клиент

Корпоративный университет и центр компетенций по тестированию в крупной ИТ-компании.

Обучают и стажируют начинающих инженеров по автоматизации тестирования: от написания базовых тестов пользовательского (UI) и программного интерфейса (API) до работы с базами данных и тестовыми сценариями.

Задача

Бизнес-задачи:

1. Разгрузить опытных инженеров. Наставники тратили много времени на повторяющиеся замечания к типовым ошибкам: добавить проверку результата, вынести локатор, убрать жестко заданную задержку. Из-за этого на разбор архитектуры, логики и более сложных решений оставалось меньше времени.

2. Ускорить обучение. Студенты ждали проверки по 2–3 дня. Пока придет ответ, контекст задачи уже забывался, а темп группы падал.

3. Научить понимать код, а не копировать. С распространением ИИ-чат-ботов стажеры все чаще приносили внешне рабочий, но плохо осмысленный код, который не могли объяснить или уверенно доработать.

Инженерные ограничения:

1. Нельзя запускать чужой код. Код пишут новички — запускать его на тестовых серверах небезопасно, а разворачивать под каждую проверку базы данных и заглушки внешних сервисов слишком долго и дорого. Нужен был строгий статический анализ.

2. Работа с минимальными правами доступа. У сервиса не было прав администратора в проектах учеников, поэтому использовать стандартные механизмы уведомления о событиях было нельзя. Вместо этого сервис периодически самостоятельно проверял репозитории на наличие изменений.

3. Обучающий тон вместо готовых решений. Бот не должен делать работу за человека. Его задача — объяснить суть проблемы и направить к верному решению.

0 запусков
непроверенного кода — полная безопасность инфраструктуры
5-10 минут
на разбор задания вместо 2–3 дней ожидания очереди
14 тем
учебной программы определяются автоматически
~25 часов в неделю
экономия времени каждого наставник потока

Решение

Что и как делали:

Мы сознательно не стали передавать нейросети весь проект целиком — это повысило бы риск неточных ответов модели и создало бы избыточную нагрузку на вычислительные ресурсы. Вместо этого разделили процесс на два этапа:

1. Сначала код анализирует синтаксический парсер. Он без компиляции строит карту классов и цепочек вызовов: видит, где объявлены тесты, какие методы вызываются внутри, где создаются тестовые страницы или клиенты для запросов к API.

2. Затем алгоритм проверяет аномалии. Например, если в базовой теме по основам ООП сдан сложный функциональный код с лямбда-выражениями и комментариями на академическом английском, сданный одним изменением (коммитом) на сотни строк, — система отмечает подозрение на генерацию.

3. В языковую модель уходит только структурированная выжимка: проблемные участки с номерами строк и контекстом связей. Модель формулирует замечания по правилу: что не так, в какой строке и почему это приведет к проблемам.

Сроки и этапы (2 месяца):

  • Недели 1–2: создали модуль синтаксического анализа и научились строить связи между файлами без компиляции.

  • Недели 3–4: настроили связь с репозиторием: чтение изменений, точечные комментарии к строкам и автоопределение темы задания.

  • Недели 5–6: добавили детектор аномалий и генератор вопросов для защиты. Настроили тон ответов модели, убрав менторство и штампы.

  • Недели 7–8: реализовали очередь задач с ночным окном для пиковых нагрузок, развернули сервис в контейнерах и запустили его в эксплуатацию.


Пример автоматического разбора и точечных комментариев в репозитории

Результат

1. Первичный аудит полностью перешел на сервис: в течение 5–10 минут после отправки изменений студент получает разбор прямо в репозитории.

2. Замечания приходят точечно к строкам кода, а при отправке правок старые ветки обсуждений автоматически аккуратно сворачиваются.

3. Если есть подозрение на списывание, сервис готовит наставнику пару точных вопросов по коду для устного собеседования.

Бизнес-эффект

Освободили около 65% времени наставников: черновую вычитку синтаксиса и базовых правил взял на себя бот, а специалисты подключаются уже к осознанному коду.

Срок получения первой обратной связи сократился с нескольких дней до считанных минут — студенты не теряют фокус и быстрее сдают модули.

Разработка окупилась за один квартал за счет экономии рабочих часов ведущих инженеров компании.

«Раньше проверка заданий превращалась в день сурка: каждый вечер сидеть и объяснять, почему тест «зеленый», хотя проверок внутри нет вообще. Бот снял эту рутину. Ребята получают замечания сразу, быстро правят ошибки, а на созвон приходят уже обсуждать архитектуру. Качество тестов на выходе заметно подросло». — Руководитель направления автоматизации тестирования.

Трудности

1. Ограничение прав в репозиториях: студенты часто давали боту минимальный гостевой доступ, блокируя стандартные системные уведомления.

Решение: перевели сервис на периодический автономный опрос открытых изменений через API.

2. Пиковые нагрузки перед сроками сдачи: когда поток одновременно отправлял работы в полночь, локальный сервер модели перегружался.

Решение: внедрили умную очередь, которая отсекает промежуточные коммиты и распределяет тяжелый анализ на ночное окно.

3. Списывание через нейросети: код компилировался, но изобиловал конструкциями, которых в программе еще не было.

Решение: научили синтаксический анализатор подсвечивать нехарактерные для новичков приемы и формулировать проверочные вопросы для очной защиты.


Скриншот уведомления бота в корпоративном мессенджере

Технологии

Бэкенд и среда: Kotlin, JVM, Docker.

Статический анализ: JavaParser (построение AST-дерева и графа зависимостей без компиляции).

Инфраструктура и хранение: GitLab API, SQLite.

Языковые модели: локальный шлюз LiteLLM.


Хотите узнать подробнее об услуге?
Узнать подробнее
snippet
Другие работы
Создание Android-приложения для «Major Express»
Ускорение UI-тестирования с помощью локального ИИ-агента в крупной продуктовой компании
Доработка безопасности приложения «ЮMoney» для Android
Реализация новых функций и рефакторинг существующих модулей Android-приложения компании «Юрент»
Разработка цифрового продукта для российского банка
Создание приложения управления сном для компании «Аскона»
Создание единой системы авторизации для крупной российской компании
Анализ процессов крупной производственной компании
Создание Android-приложения для «Major Express»
Ускорение UI-тестирования с помощью локального ИИ-агента в крупной продуктовой компании
Доработка безопасности приложения «ЮMoney» для Android
Реализация новых функций и рефакторинг существующих модулей Android-приложения компании «Юрент»
Разработка цифрового продукта для российского банка
Создание приложения управления сном для компании «Аскона»
Создание единой системы авторизации для крупной российской компании
Анализ процессов крупной производственной компании
Оставьте заявку на проект
Оставьте контакты, чтобы обсудить проект и условия сотрудничества, или позвоните: 8 800 200-99-24
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Написать нам
Оставьте контакты, чтобы обсудить проект и условия
сотрудничества, или позвоните: 8 800 200-99-24
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Оставьте свои контакты
SimbirSoft регулярно расширяет штат сотрудников.
Отправьте контакты, чтобы обсудить условия сотрудничества.
  • Системный аналитик (банк)
  • DevOps/Build-инженер
  • Data-инженер
  • C++-разработчик
  • Scala-разработчик
  • SRE-инженер
  • SDET Java/Kotlin
  • QA Fullstack Java\Kotlin
  • NLP-разработчик
  • Сетевой инженер/системный аналитик
  • DevOps-инженер
  • 1С-аналитик ЗУП
  • Системный аналитик (Минск)
  • MLOps-инженер
  • 1С-разработчик (БП, ЗУП, ERP, Oracle)
  • SDET Python
  • Архитектор IDM/IAM
  • Инженер AD + Azure AD
  • 1С-аналитик (УХ+ факторинг)
Прикрепить резюме, до 10 Мб*
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Написать нам
Расскажите, какие задачи сейчас на вашем проекте.
Проконсультируем и предложим подходящих специалистов, а также сориентируем по ставкам на выделенные команды.
Направление
Количество специалистов
Middle
TeamLead
Senior
TechLead
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Экспресс-консультация
Заполните все поля формы.
Эксперт свяжется с вами в течение рабочего дня.
Тематика
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Порекомендуйте друга — получите вознаграждение!
  • Системный аналитик (банк)
  • DevOps/Build-инженер
  • Data-инженер
  • C++-разработчик
  • Scala-разработчик
  • SRE-инженер
  • SDET Java/Kotlin
  • QA Fullstack Java\Kotlin
  • NLP-разработчик
  • Сетевой инженер/системный аналитик
  • DevOps-инженер
  • 1С-аналитик ЗУП
  • Системный аналитик (Минск)
  • MLOps-инженер
  • 1С-разработчик (БП, ЗУП, ERP, Oracle)
  • SDET Python
  • Архитектор IDM/IAM
  • Инженер AD + Azure AD
  • 1С-аналитик (УХ+ факторинг)
Ваши данные
Данные кандидата
Прикрепить резюме, до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Отправить
Отправлено
Заказать демонстрацию
Оставьте контакты, чтобы обсудить проект и условия
сотрудничества, или позвоните: 8 800 200-99-24
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.