A System for Gathering Data From Classifieds Websites

The program for data gathering from classified websites. Web crawlers imitate the actions of the website user and collect the required information. In addition to text data, robots also recognize information from images: locations, phone numbers, etc.

SOLUTION

We have implemented autotests to check the functionality of the websites. Collecting information on one resource takes 3-6 days. Therefore, before running the tests, you need to check whether the functionality or location of the blocks has changed so that the robots didn’t get lost.

TECHNOLOGIES

Development: Scrapy, Spark, Scala, Java, Python, Tesseract Testing Tools: XPath, Selenium, PyTest, JSON, request

7 months
of development

10 robots
developed
1 000 000
records per day
90% recognition of image data
Other cases
Warehouse Management System (WMS) Audit in 10 Days
Mobile App for Yugoria Insurance Company
Magnit Delivery: IT System Quality Assurance
Designing a Mobile App for ViewEvo
Warehouse Management System (WMS) Audit in 10 Days
Mobile App for Yugoria Insurance Company
Magnit Delivery: IT System Quality Assurance
Designing a Mobile App for ViewEvo
Send us your request
Upload a file up to 10MB
File selected
Required extensions: .txt, .doc, .docx, .odt, .xls, .xlsx, .pdf, .jpg, .jpeg, .png

Maximum file size: 10 MB
Tell us your idea
Upload a file up to 10MB
File selected
Required extensions: .txt, .doc, .docx, .odt, .xls, .xlsx, .pdf, .jpg, .jpeg, .png

Maximum file size: 10 MB
Оставьте свои контакты
SimbirSoft регулярно расширяет штат сотрудников.
Отправьте контакты, чтобы обсудить условия сотрудничества.
Написать нам
Расскажите, какие задачи сейчас на вашем проекте.
Проконсультируем и предложим подходящих специалистов, а также сориентируем по ставкам на аутстаф.
Middle
TeamLead
Senior
TechLead
Upload a file up to 10MB
File selected
Required extensions: .txt, .doc, .docx, .odt, .xls, .xlsx, .pdf, .jpg, .jpeg, .png

Maximum file size: 10 MB
Экспресс-консультация
Заполните все поля формы.
Эксперт свяжется с вами в течение рабочего дня.
File selected
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.
Порекомендуйте друга — получите вознаграждение!
Прикрепить резюме, до 10Мб
Файл выбран
Можно прикрепить один файл в формате: txt, doc, docx, odt, xls, xlsx, pdf, jpg, jpeg, png.

Размер файла до 10 Мб.