Система сбора данных с сайтов объявлений

Программа для сбора данных с сайтов объявлений. Роботы-краулеры имитируют действия пользователя сайта и собирают требуемую информацию. Помимо текстовых данных роботы распознают и информацию с изображений: адреса, номера телефонов.

Результат

Мы внедрили авто тесты для проверки функционала сайтов. Сбор информации на одном ресурсе занимает 3-6 дней. Всего за один день обрабатывалось1 000 000 записей. Поэтому перед запуском тестов нужно проверить, не изменился ли функционал или расположение блоков, чтобы роботы не «потерялись».

10 роботов
разработано
7 месяцев
разработки
90% распознавание данных с изображений

Технологии

Разработка: Scrapy, Spark, Scala, Java, Python, Tesseract.

Инструменты тестирования: XPath, Selenium, PyTest, JSON, request.

Другие работы
Разработка мобильного приложения для «Подели»
Усиление команды «ТехноНИКОЛЬ»: разработка системы управления грузоперевозками
Автоматизация финансовой аналитики: модернизация сервиса
Корпоративный портал для обучения сотрудников
Развитие приложения для «Асконы»
Разработка мобильного приложения для HeadHunter
Создание корпоративных продуктов для «Татнефти»
Разработка мобильного приложения для «Подели»
Усиление команды «ТехноНИКОЛЬ»: разработка системы управления грузоперевозками
Автоматизация финансовой аналитики: модернизация сервиса
Корпоративный портал для обучения сотрудников
Развитие приложения для «Асконы»
Разработка мобильного приложения для HeadHunter
Создание корпоративных продуктов для «Татнефти»
Оставьте заявку на проект
Оставьте контакты, чтобы обсудить проект и условия сотрудничества, или позвоните: 8 800 200-99-24
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Написать нам
Оставьте контакты, чтобы обсудить проект и условия
сотрудничества, или позвоните: 8 800 200-99-24
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Оставьте свои контакты
SimbirSoft регулярно расширяет штат сотрудников.
Отправьте контакты, чтобы обсудить условия сотрудничества.
Прикрепить резюме, до 10 Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Написать нам
Расскажите, какие задачи сейчас на вашем проекте.
Проконсультируем и предложим подходящих специалистов, а также сориентируем по ставкам на аутстаф.
Направление
Количество специалистов
Middle
TeamLead
Senior
TechLead
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Экспресс-консультация
Заполните все поля формы.
Эксперт свяжется с вами в течение рабочего дня.
Тематика
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Порекомендуйте друга — получите вознаграждение!
  • Python-paзработчик
  • Java-разработчик
  • Node.js-разработчик
  • Аккаунт-менеджер IT-проектов
  • Системный аналитик
  • iOS-разработчик
  • QA Engineer Fullstack (Python)
  • React-разработчик
  • C#-разработчик
  • Android-разработчик
  • Golang-разработчик
  • DevOps-инженер
  • 1С-аналитик
  • Разработчик на C++
  • 1С-разработчик
  • Архитектор Node.js
  • Менеджер по продажам IT SaaS
  • IT-рекрутер
  • SMM-менеджер
  • Бизнес-аналитик
  • HR-менеджер
  • Менеджер проектов 1С
  • Руководитель отдела Backend
  • SDET (Java)
  • Fullstack-аналитик
  • SDET Python (мобильные приложения)
  • Руководитель отдела ИТ-аналитики
  • Junior Golang-разработчик
  • Junior Python разработчик
  • SRE-инженер
Прикрепить резюме, до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.