Создание системы сбора данных с сайтов объявлений для российской компании
Программа для сбора данных с сайтов объявлений. Роботы-краулеры имитируют действия пользователя сайта и собирают требуемую информацию. Помимо текстовых данных роботы распознают и информацию с изображений: адреса, номера телефонов.
Результат
Мы внедрили авто тесты для проверки функционала сайтов. Сбор информации на одном ресурсе занимает 3-6 дней. Всего за один день обрабатывалось1 000 000 записей. Поэтому перед запуском тестов нужно проверить, не изменился ли функционал или расположение блоков, чтобы роботы не «потерялись».
10 роботов
разработано
7 месяцев
разработки
Технологии
Разработка: Scrapy, Spark, Scala, Java, Python, Tesseract.
Инструменты тестирования: XPath, Selenium, PyTest, JSON, request.
Другие работы
Оставьте заявку на проект
Оставьте контакты, чтобы обсудить проект и условия сотрудничества, или позвоните:
8 800 200-99-24