Автоматизация код-ревью автотестов для крупной ИТ-компании
Ведущие инженеры тратили часы на ручную проверку сотен типовых ошибок в коде стажеров: пропущенных проверок в тестах, жестко заданных пауз вместо ожиданий, паролей, прописанных прямо в коде, и объемных решений, бездумно скопированных из нейросетей.
Мы создали автономный сервис, который автоматически получает код из репозиториев, анализирует его синтаксическую структуру без запуска и с помощью локальной языковой модели оставляет прямо в коде подробные комментарии к ошибкам — простым и понятным языком наставника.
Клиент
Корпоративный университет и центр компетенций по тестированию в крупной ИТ-компании.
Обучают и стажируют начинающих инженеров по автоматизации тестирования: от написания базовых тестов пользовательского (UI) и программного интерфейса (API) до работы с базами данных и тестовыми сценариями.
Задача
Бизнес-задачи:
1. Разгрузить опытных инженеров. Наставники тратили много времени на повторяющиеся замечания к типовым ошибкам: добавить проверку результата, вынести локатор, убрать жестко заданную задержку. Из-за этого на разбор архитектуры, логики и более сложных решений оставалось меньше времени.
2. Ускорить обучение. Студенты ждали проверки по 2–3 дня. Пока придет ответ, контекст задачи уже забывался, а темп группы падал.
3. Научить понимать код, а не копировать. С распространением ИИ-чат-ботов стажеры все чаще приносили внешне рабочий, но плохо осмысленный код, который не могли объяснить или уверенно доработать.
Инженерные ограничения:
1. Нельзя запускать чужой код. Код пишут новички — запускать его на тестовых серверах небезопасно, а разворачивать под каждую проверку базы данных и заглушки внешних сервисов слишком долго и дорого. Нужен был строгий статический анализ.
2. Работа с минимальными правами доступа. У сервиса не было прав администратора в проектах учеников, поэтому использовать стандартные механизмы уведомления о событиях было нельзя. Вместо этого сервис периодически самостоятельно проверял репозитории на наличие изменений.
3. Обучающий тон вместо готовых решений. Бот не должен делать работу за человека. Его задача — объяснить суть проблемы и направить к верному решению.
Решение
Что и как делали:
Мы сознательно не стали передавать нейросети весь проект целиком — это повысило бы риск неточных ответов модели и создало бы избыточную нагрузку на вычислительные ресурсы. Вместо этого разделили процесс на два этапа:
1. Сначала код анализирует синтаксический парсер. Он без компиляции строит карту классов и цепочек вызовов: видит, где объявлены тесты, какие методы вызываются внутри, где создаются тестовые страницы или клиенты для запросов к API.
2. Затем алгоритм проверяет аномалии. Например, если в базовой теме по основам ООП сдан сложный функциональный код с лямбда-выражениями и комментариями на академическом английском, сданный одним изменением (коммитом) на сотни строк, — система отмечает подозрение на генерацию.
3. В языковую модель уходит только структурированная выжимка: проблемные участки с номерами строк и контекстом связей. Модель формулирует замечания по правилу: что не так, в какой строке и почему это приведет к проблемам.
Сроки и этапы (2 месяца):
-
Недели 1–2: создали модуль синтаксического анализа и научились строить связи между файлами без компиляции.
-
Недели 3–4: настроили связь с репозиторием: чтение изменений, точечные комментарии к строкам и автоопределение темы задания.
-
Недели 5–6: добавили детектор аномалий и генератор вопросов для защиты. Настроили тон ответов модели, убрав менторство и штампы.
-
Недели 7–8: реализовали очередь задач с ночным окном для пиковых нагрузок, развернули сервис в контейнерах и запустили его в эксплуатацию.
Пример автоматического разбора и точечных комментариев в репозитории
Результат
1. Первичный аудит полностью перешел на сервис: в течение 5–10 минут после отправки изменений студент получает разбор прямо в репозитории.
2. Замечания приходят точечно к строкам кода, а при отправке правок старые ветки обсуждений автоматически аккуратно сворачиваются.
3. Если есть подозрение на списывание, сервис готовит наставнику пару точных вопросов по коду для устного собеседования.
Бизнес-эффект
Освободили около 65% времени наставников: черновую вычитку синтаксиса и базовых правил взял на себя бот, а специалисты подключаются уже к осознанному коду.
Срок получения первой обратной связи сократился с нескольких дней до считанных минут — студенты не теряют фокус и быстрее сдают модули.
Разработка окупилась за один квартал за счет экономии рабочих часов ведущих инженеров компании.
Трудности
1. Ограничение прав в репозиториях: студенты часто давали боту минимальный гостевой доступ, блокируя стандартные системные уведомления.
Решение: перевели сервис на периодический автономный опрос открытых изменений через API.
2. Пиковые нагрузки перед сроками сдачи: когда поток одновременно отправлял работы в полночь, локальный сервер модели перегружался.
Решение: внедрили умную очередь, которая отсекает промежуточные коммиты и распределяет тяжелый анализ на ночное окно.
3. Списывание через нейросети: код компилировался, но изобиловал конструкциями, которых в программе еще не было.
Решение: научили синтаксический анализатор подсвечивать нехарактерные для новичков приемы и формулировать проверочные вопросы для очной защиты.
Скриншот уведомления бота в корпоративном мессенджере
Технологии
Бэкенд и среда: Kotlin, JVM, Docker.
Статический анализ: JavaParser (построение AST-дерева и графа зависимостей без компиляции).
Инфраструктура и хранение: GitLab API, SQLite.
Языковые модели: локальный шлюз LiteLLM.