Создание системы сбора данных с сайтов объявлений для российской компании

Программа для сбора данных с сайтов объявлений. Роботы-краулеры имитируют действия пользователя сайта и собирают требуемую информацию. Помимо текстовых данных роботы распознают и информацию с изображений: адреса, номера телефонов.

Результат

Мы внедрили авто тесты для проверки функционала сайтов. Сбор информации на одном ресурсе занимает 3-6 дней. Всего за один день обрабатывалось1 000 000 записей. Поэтому перед запуском тестов нужно проверить, не изменился ли функционал или расположение блоков, чтобы роботы не «потерялись».

10 роботов

разработано

7 месяцев

разработки

90% распознавание данных с изображений

Технологии

Разработка: Scrapy, Spark, Scala, Java, Python, Tesseract.

Инструменты тестирования: XPath, Selenium, PyTest, JSON, request.

Другие работы

Создание приложения управления сном для компании «Аскона»

Создание единой системы авторизации для крупной российской компании

Анализ процессов крупной производственной компании

Разработка мобильного приложения для Подели

Усиление команды по разработке системы управления грузоперевозками для компании «ТЕХНОНИКОЛЬ»

Автоматизация финансовой аналитики для «МК Лизинг»

Разработка корпоративного портала для обучения сотрудников крупной технологической компании

Развитие приложения Askona Sleep для компании «Аскона»

Создание приложения управления сном для компании «Аскона»

Создание единой системы авторизации для крупной российской компании

Анализ процессов крупной производственной компании

Разработка мобильного приложения для Подели

Усиление команды по разработке системы управления грузоперевозками для компании «ТЕХНОНИКОЛЬ»

Автоматизация финансовой аналитики для «МК Лизинг»

Разработка корпоративного портала для обучения сотрудников крупной технологической компании

Развитие приложения Askona Sleep для компании «Аскона»

Оставьте заявку на проект

Оставьте контакты, чтобы обсудить проект и условия сотрудничества, или позвоните: 8 800 200-99-24

Имя или организация

Телефон или Email

Расскажите про проект

Прикрепить файл до 10Мб

Файл выбран

Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.

Подтверждаю свое ознакомление и согласие на обработку моих персональных данных в соответствии с Политикой защиты и обработки персональных данных ООО «СимбирСофт»