Парсинг Wildberries: сбор брендов (товаров по ссылке на бренд)

Перед нами стояла цель:

Разработать программу сбора данных карточек по ссылке на бренд с учетом лимита выдачи не более 10000 товаров.

Что нам понадобилось:

• Список брендов
• Список полей для выгрузки
• Формат на выгрузке: Excel/CSV

Как обошли лимиты в 10000 товаров:

WB отдаёт максимум 10 000 товаров за один запрос

Мы разбили один большой запрос на несколько маленьких с разными фильтрами.

Этапы реализации:

1.Анализ структуры сайта

2.Создали план фильтров

3.Осуществили сбор по страницам

4.Обработка ошибок

5.Проверка выгрузки

6.Сохранили данные в Excel таблице

Результаты:

• собрали весь ассортимент бренда, несмотря на лимит 10 000.
• Дали чистый файл без дублей с ценами, скидками, рейтингами, отзывами, остатками/размерами и ссылками на фото.
• По желанию — регулярные обновления (например, раз в день/неделю) тем же способом.
• Решение легко перенастроить на другой бренд: меняем ссылку и фильтры — и всё.

Программа:

Для начала работы выбираем нужный тип сбора и запускаем программу.

После завершения работы программы выбираем нужный нам итоговый файл с данными.

Более подробную информацию по работе данной программы можно найти по ссылке

Часов понадобилось:

8 часов