Перед нами стояла цель:
По заданным категориям необходимо было произвести сбор данных с карточек товаров конкурентов.
Этапы реализации:
- Анализ структуры сайта: изучение устройства карточек товаров, проверили ограничения и лимиты, определили, что для стабильной работы понадобятся прокси
- Подготовка списка категорий: клиент предоставил список категорий для мониторинга, для каждой категории мы задали фильтры
- Разработка парсера
- Подключение прокси
- Реализовали возможность парсинга по планировщику
- С каждой карточки собирались ключевые поля: артикул, название, бренд, категория, цена, цена со скидкой, цена по карте, рейтинг, ссылка на карточку, ссылка на изображение и др.
- Тестирование и отладка: провели тестовую выгрузку, проверили корректность цен, наличия и ссылок.
- Формат выгрузки: данные выгружаются в формате Excel(можно менять по желанию)
Результаты:
- Разработан автоматизированный парсер Wildberries, который собирает товары по любым ссылкам на категории, с учетом лимита в 10 000 товаров на категорию.
- Реализовали вариант разбить категории на подкатегории для обхождения лимитов сбора
- Все результаты выгружаются в структурированном виде (Excel, CSV или Google Sheets)
- Продумали возможность запуска парсинга по планировщику
Работа самой программы:
Тип сбора по ссылке на категорию:
Далее выбираем нужный нам итоговый файл с таблицей.
Структуру и формат итоговой таблицы можно менять.
Более подробную информацию по работе данной программы можно найти по ссылке
Часов понадобилось:
8 часов
