Парсер PARTS.MAJOR-AUTO.RU

Перед нами стояла задача:

Создать программу, по подбору кроссов автозапчастей через поиск по артикулу и на основе полученных данных формировать файл, содержащий в себе актуальный артикул, а также историю его изменений.

Решение:

Для начала необходимо заполнить входной файл списком пар бренд - артикул. Бренд необходим для возможности отсеивания лишних результатов поиска при наличии продуктов с одинаковым артикулом.
Далее идет поиск по артикулам из входного списка. Осуществляется запрос на поиск, из его результата выбираются продукты соответствующие бренду. Для этих продуктов делается запрос на получение дополнительной информации и на его основе формируется запись, которая будет занесена в xlsx файл после окончания работы.

Parsingsite

Результат:

Поле выполнения получается xlsx файл, содержащий в себе информацию по входным артикулам, которая может быть использована для актуализации информации по продуктам.

Parsingsite

Затраченного времени на разработку:

5 часов

Использованные технологии:

Python - язык программирования, на котором был написан парсер

Requests - библиотека для отправки http запросов

Bs4 - библиотека для парсинга html кода страницы сайта

Loguru - библиотека для логирования

Openpyxl - библиотека для работы с xlsx файлами

В проекте принимали участие:

Алексей Пушилов – Разработчик Python

Ангелина Южик – Project Manager

Ответы на частые вопросы

Можно ли что-то дополнить или убрать в программе?

Да, перед началом сотрудничества клиент формирует список требований к парсеру. Мы со своей стороны разрабатываем индивидуальный парсер по заказу клиента.

Сколько стоит парсер?

Стоимость парсера рассчитывается индивидуально под задачу. Она зависит от сайта-источника, объема данных, сложности доступа, наличия защиты, авторизации, личного кабинета, нужной частоты сбора и формата выгрузки. Простой парсер обычно стоит дешевле. Если нужен регулярный мониторинг, обход ограничений, работа с большим объемом данных, Telegram-бот, личный кабинет или интеграция с CRM/API, стоимость будет выше. Чтобы оценить проект, нам нужно понимать: с какого сайта собирать данные, какие поля нужны, какой объем, как часто запускать сбор и в каком формате передавать результат.

Сколько стоит наше обслуживание?

Стоимость обслуживания зависит от проекта: частоты сбора, объема данных, сложности сайта, стабильности источника, необходимости прокси, сервера, мониторинга и регулярных доработок. Обычно обслуживание включает контроль работы парсера, проверку выгрузок, исправление ошибок после изменений на сайте-источнике и поддержку регулярного сбора данных. Точная стоимость рассчитывается после понимания задачи: как часто нужно собирать данные, сколько позиций обрабатывать и насколько критична бесперебойная работа.

Можно ли автоматизировать проценку?

Да, можно. Автоматическая проценка позволяет регулярно проверять цены, наличие и условия у поставщиков или конкурентов, а затем рассчитывать свою цену по заданным правилам. В расчете можно учитывать наценку, минимальную цену, исключения по продавцам, срокам доставки, складам, комиссиям и другим условиям. Итог можно выгружать в Excel, Google Таблицы, API, CRM или другую систему клиента.