Перед нами стояла цель:
Разработать программу сбора данных карточек по ссылке на бренд с учетом лимита выдачи не более 10000 товаров.
Что нам понадобилось:
- Список брендов
- Список полей для выгрузки
- Формат на выгрузке: Excel/CSV
Как обошли лимиты в 10000 товаров:
WB отдаёт максимум 10 000 товаров за один запрос
Мы
разбили один большой запрос на несколько маленьких с разными фильтрами.
Этапы реализации:
1.Анализ структуры сайта
2.Создали план фильтров
3.Осуществили сбор по страницам
4.Обработка ошибок
5.Проверка выгрузки
6.Сохранили данные в Excel таблице
Результаты:
- собрали весь ассортимент бренда, несмотря на лимит 10 000.
- Дали чистый файл без дублей с ценами, скидками, рейтингами, отзывами, остатками/размерами и ссылками на фото.
- По желанию — регулярные обновления (например, раз в день/неделю) тем же способом.
- Решение легко перенастроить на другой бренд: меняем ссылку и фильтры — и всё.
Программа:
Для начала работы выбираем нужный тип сбора и запускаем программу.
После завершения работы программы выбираем нужный нам итоговый файл с данными.
Более подробную информацию по работе данной программы можно найти по
ссылке
Часов понадобилось:
8 часов
