Система сбора данных с сайтов объявлений

Программа для сбора данных с сайтов объявлений. Роботы-краулеры имитируют действия пользователя сайта и собирают требуемую информацию. Помимо текстовых данных роботы распознают и информацию с изображений: адреса, номера телефонов.

Результат

Мы внедрили авто тесты для проверки функционала сайтов. Сбор информации на одном ресурсе занимает 3-6 дней. Поэтому перед запуском тестов нужно проверить, не изменился ли функционал или расположение блоков, чтобы роботы не “потерялись”.

10 роботов
разработано
7 месяцев
разработки
90% распознавание данных с изображений
1 000 000 записей в день

Технологии

Разработка: Scrapy, Spark, Scala, Java, Python, Tesseract.

Инструменты тестирования: XPath, Selenium, PyTest, JSON, request.

Другие работы
Оставьте заявку на проект
Оставьте контакты, чтобы обсудить проект и условия сотрудничества, или позвоните: 8 800 200-99-24
Написать нам
Оставьте контакты, чтобы обсудить проект и условия
сотрудничества, или позвоните: 8 800 200-99-24
Оставьте свои контакты
SimbirSoft регулярно расширяет штат сотрудников.
Отправьте контакты, чтобы обсудить условия сотрудничества.
Порекомендуйте друга — получите вознаграждение!
  • Python-разработчик
  • Java-разработчик
  • Node.js-разработчик
  • Системный аналитик
  • DevOps-инженер
  • Специалист тендерного отдела
  • Менеджер по привлечению клиентов
  • 1С-консультант
  • Data Engineer
  • Java-архитектор
  • 1С-архитектор
  • Data Scientist
Прикрепить резюме, до 10Мб
Файл выбран