En
Проекты Вакансии Блог

Создание системы сбора данных с сайтов объявлений для российской компании

Программа для сбора данных с сайтов объявлений. Роботы-краулеры имитируют действия пользователя сайта и собирают требуемую информацию. Помимо текстовых данных роботы распознают и информацию с изображений: адреса, номера телефонов.

Результат

Мы внедрили авто тесты для проверки функционала сайтов. Сбор информации на одном ресурсе занимает 3-6 дней. Всего за один день обрабатывалось1 000 000 записей. Поэтому перед запуском тестов нужно проверить, не изменился ли функционал или расположение блоков, чтобы роботы не «потерялись».

10 роботов
разработано
7 месяцев
разработки
90% распознавание данных с изображений

Технологии

Разработка: Scrapy, Spark, Scala, Java, Python, Tesseract.

Инструменты тестирования: XPath, Selenium, PyTest, JSON, request.

Другие работы
Создание Android-приложения для «Major Express»
Доработка безопасности приложения «ЮMoney» для Android
Реализация новых функций и рефакторинг существующих модулей Android-приложения компании «Юрент»
Разработка цифрового продукта для российского банка
Создание приложения управления сном для компании «Аскона»
Создание единой системы авторизации для крупной российской компании
Анализ процессов крупной производственной компании
Создание Android-приложения для «Major Express»
Доработка безопасности приложения «ЮMoney» для Android
Реализация новых функций и рефакторинг существующих модулей Android-приложения компании «Юрент»
Разработка цифрового продукта для российского банка
Создание приложения управления сном для компании «Аскона»
Создание единой системы авторизации для крупной российской компании
Анализ процессов крупной производственной компании
Оставьте заявку на проект
Оставьте контакты, чтобы обсудить проект и условия сотрудничества, или позвоните: 8 800 200-99-24
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Написать нам
Оставьте контакты, чтобы обсудить проект и условия
сотрудничества, или позвоните: 8 800 200-99-24
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Оставьте свои контакты
SimbirSoft регулярно расширяет штат сотрудников.
Отправьте контакты, чтобы обсудить условия сотрудничества.
  • Python-paзработчик
  • Node.js-разработчик
  • Project-менеджер
  • Системный аналитик (финтех)
  • iOS-разработчик
  • Golang-разработчик
  • DevOps/Build-инженер
  • 1С-аналитик
  • Data-инженер
  • C++-разработчик
  • DWH-аналитик
  • SRE-инженер
  • SDET Java
  • QA Fullstack Java/Kotlin
  • Java-разработчик
  • Специалист тендерного отдела
  • Системный аналитик ЦФТ
  • Сетевой инженер/системный аналитик
  • SDET JS/TS
  • DevSecOps
  • Системный аналитик (AI)
Прикрепить резюме, до 10 Мб*
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Написать нам
Расскажите, какие задачи сейчас на вашем проекте.
Проконсультируем и предложим подходящих специалистов, а также сориентируем по ставкам на аутстаф.
Направление
Количество специалистов
Middle
TeamLead
Senior
TechLead
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Экспресс-консультация
Заполните все поля формы.
Эксперт свяжется с вами в течение рабочего дня.
Тематика
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Порекомендуйте друга — получите вознаграждение!
  • Python-paзработчик
  • Node.js-разработчик
  • Project-менеджер
  • Системный аналитик (финтех)
  • iOS-разработчик
  • Golang-разработчик
  • DevOps/Build-инженер
  • 1С-аналитик
  • Data-инженер
  • C++-разработчик
  • DWH-аналитик
  • SRE-инженер
  • SDET Java
  • QA Fullstack Java/Kotlin
  • Java-разработчик
  • Специалист тендерного отдела
  • Системный аналитик ЦФТ
  • Сетевой инженер/системный аналитик
  • SDET JS/TS
  • DevSecOps
  • Системный аналитик (AI)
Ваши данные
Данные кандидата
Прикрепить резюме, до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Отправить
Отправлено
Заказать демонстрацию
Оставьте контакты, чтобы обсудить проект и условия
сотрудничества, или позвоните: 8 800 200-99-24
Прикрепить файл до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.