Автоматизация тестирования: как снизить затраты на разработку на реальном примере
Мировой рынок автоматизации тестирования растет на 14% в год, и не просто так. Критические баги в продакшене и длительные регрессионные тесты (регрессы) тормозят выход продукта на рынок и увеличивают расходы. Рассмотрим, как автоматизация решила эти проблемы для крупного маркетплейса и принесла конкретную финансовую выгоду.
К нам обратился крупный маркетплейс, который столкнулся с критичными проблемами:
- Длительные ручные регрессы (до 30 часов), задерживающие релизы.
- Критические баги в продакшене.
- Низкое покрытие и нестабильность существующих автотестов.
- Отсутствие интеграций с CI/CD и системами управления задачами (TMS, трекер).
Эти проблемы приводили к длительным регрессам, которые сильно влияли на time to market, критичные баги на продакшене и на небольшое количество существующих автотестов. Мы предложили решение — автоматизацию тестирования.
Исходя из задач, которые ставил перед нами клиент, и обозначенных проблем, мы выбрали следующие метрики для оценки эффективности автоматизации тестирования:
- Скорость обратной связи и быстрота обнаружения дефектов.
- Passrate (процент успешно пройденных в рамках прогона) тестов. Показатель стабильности тестовой системы.
- Время прохождения тестового набора. Оно прямо влияет на частоту запусков и скорость обратной связи.
После оценки существующих показателей на проекте мы предложили оптимизировать и дополнить эти процессы:
- Внедрить раннее тестирование (например, за счет контрактных и интеграционных тестов при размещении на стенд).
- Оптимизировать график тестирования и запуска тестов.
- Сделать артефакты тестирования более подробными и открытыми для команд.
К каким результатам пришли
Наше решение привело к ощутимым снижениям затрат и росту качества ПО:
- Скорость обнаружения дефектов выросла более чем в 2 раза. Теперь ошибки выявляют раньше, когда на их исправление нужно меньше ресурсов.
- Стабильность тестов значительно повысилась, благодаря изменению подхода по работе с тестовыми данными в сторону их полной генерации и внедрению системы логирования для локализации проблем с тестами.
- Время регрессионного тестирования сократилось с 30 до 14 часов. Автотесты взяли на себя рутинную проверку.
Сокращение времени регресса на 55% — это прямая экономия человеко-часов QA-команды. Освободившиеся ресурсы были перенаправлены на высокоценные активности: углубленный анализ требований, разработку тестовой документации, исследовательское тестирование новых фич и работу над качеством на ранних этапах.
Это предотвращает появление дорогостоящих в исправлении багов на поздних стадиях или в продакшене. Более быстрые и стабильные тесты ускоряют весь цикл разработки (CI/CD), сокращая time to market и позволяя раньше получать прибыль.
У вас остались вопросы? Оставьте заявку, чтобы обсудить их и получить решение под ваши задачи.
