Система сбора данных с сайтов объявлений

Программа для сбора данных с сайтов объявлений. Роботы-краулеры имитируют действия пользователя сайта и собирают требуемую информацию. Помимо текстовых данных роботы распознают и информацию с изображений: адреса, номера телефонов.





Результат

Мы внедрили авто тесты для проверки функционала сайтов. Сбор информации на одном ресурсе занимает 3-6 дней. Поэтому перед запуском тестов нужно проверить, не изменился ли функционал или расположение блоков, чтобы роботы не “потерялись”.

10 роботов
разработано
7 месяцев
разработки
90% распознавание данных с изображений
1 000 000 записей в день

Технологии

Разработка: Scrapy, Spark, Scala, Java, Python, Tesseract.

Инструменты тестирования: XPath, Selenium, PyTest, JSON, request.

Другие работы
Оставьте заявку на проект
Оставьте контакты, чтобы обсудить проект и условия сотрудничества, или позвоните: 8 800 200-99-24
Написать нам
Оставьте контакты, чтобы обсудить проект и условия
сотрудничества, или позвоните: 8 800 200-99-24
Оставьте свои контакты
SimbirSoft регулярно расширяет штат сотрудников.
Отправьте контакты, чтобы обсудить условия сотрудничества.
Порекомендуйте друга — получите вознаграждение!
  • Python-разработчик
  • Node.JS-разработчик
  • PHP-разработчик
  • Системный аналитик
  • iOS-разработчик
  • Android-разработчик
  • Golang-разработчик
  • DevOps Engineer
  • Аналитик 1С по управленческому учету
  • Юрист
  • C++-разработчик
  • Middle Fullstack QA Engineer
  • 1С-разработчик
  • DBA-разработчик
  • Bitrix-разработчик
  • Ruby-разработчик
  • Архитектор IT Backend
Прикрепить резюме, до 10Мб
Файл выбран