Создание системы сбора данных с сайтов объявлений для российской компании

Программа для сбора данных с сайтов объявлений. Роботы-краулеры имитируют действия пользователя сайта и собирают требуемую информацию. Помимо текстовых данных роботы распознают и информацию с изображений: адреса, номера телефонов.

Результат

Мы внедрили авто тесты для проверки функционала сайтов. Сбор информации на одном ресурсе занимает 3-6 дней. Всего за один день обрабатывалось1 000 000 записей. Поэтому перед запуском тестов нужно проверить, не изменился ли функционал или расположение блоков, чтобы роботы не «потерялись».

10 роботов
разработано
7 месяцев
разработки
90% распознавание данных с изображений

Технологии

Разработка: Scrapy, Spark, Scala, Java, Python, Tesseract.

Инструменты тестирования: XPath, Selenium, PyTest, JSON, request.

Другие работы
Создание приложения управления сном для компании «Аскона»
Создание единой системы авторизации для крупной российской компании
Анализ процессов крупной производственной компании
Усиление команды по разработке системы управления грузоперевозками для компании «ТЕХНОНИКОЛЬ»
Автоматизация финансовой аналитики: модернизация сервиса
Разработка корпоративного портала для обучения сотрудников крупной технологической компании
Развитие приложения Askona Sleep для компании «Аскона»
Разработка мобильного приложения для HeadHunter
Создание приложения управления сном для компании «Аскона»
Создание единой системы авторизации для крупной российской компании
Анализ процессов крупной производственной компании
Усиление команды по разработке системы управления грузоперевозками для компании «ТЕХНОНИКОЛЬ»
Автоматизация финансовой аналитики: модернизация сервиса
Разработка корпоративного портала для обучения сотрудников крупной технологической компании
Развитие приложения Askona Sleep для компании «Аскона»
Разработка мобильного приложения для HeadHunter
Оставьте заявку на проект
Оставьте контакты, чтобы обсудить проект и условия сотрудничества, или позвоните: 8 800 200-99-24
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Написать нам
Оставьте контакты, чтобы обсудить проект и условия
сотрудничества, или позвоните: 8 800 200-99-24
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Оставьте свои контакты
SimbirSoft регулярно расширяет штат сотрудников.
Отправьте контакты, чтобы обсудить условия сотрудничества.
Прикрепить резюме, до 10 Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Написать нам
Расскажите, какие задачи сейчас на вашем проекте.
Проконсультируем и предложим подходящих специалистов, а также сориентируем по ставкам на аутстаф.
Направление
Количество специалистов
Middle
TeamLead
Senior
TechLead
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Экспресс-консультация
Заполните все поля формы.
Эксперт свяжется с вами в течение рабочего дня.
Тематика
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Порекомендуйте друга — получите вознаграждение!
  • Java-разработчик
  • Аккаунт-менеджер IT-проектов
  • Системный аналитик
  • iOS-разработчик
  • QA Engineer Fullstack (Python)
  • C#-разработчик
  • Инженер по нагрузочному тестированию
  • Bitrix24-аналитик
  • DevOps-инженер
  • 1С-аналитик
  • 1С-разработчик
  • Разработчик Битрикс
  • Менеджер по сопровождению бизнес-процессов
  • Data Scientist (NLP)
  • SDET (Python)
  • Аналитик DWH
  • Менеджер проектов 1С
  • Лидогенератор
  • Fullstack-аналитик
  • DBA
  • QA Engineer Fullstack (Kotlin)
  • Специалист по кадровому делопроизводству
  • QA с опытом в автоматизиции Java
  • Менеджер продуктовых продаж
  • Коммуникационный/графический дизайнер
  • RPA-разработчик
  • MLOps инженер
  • Архитектор ML и AI проектов
  • Бухгалтер по расчету заработной платы
Прикрепить резюме, до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.