Перед нами стояла цель:
Разработать программу, которая автоматически собирает данные о товарах Wildberries по ссылкам на карточки или по артикулам, и формирует файл с актуальной информацией для анализа.
Для выполнения задачи понадобилось:
- Анализ структуры Wildberries : изучили, какие данные доступны в карточках товаров: артикул, название, описание, характеристики, цена, фото, рейтинг, наличие, продавец, отзывы и др., проверили ограничение и защиту
- Проектирование логики парсера: определили режим сбора парсера: по прямым ссылкам на товары, разработали схему полей и структуру выгрузки(в данном примере Excel)
- Подготовка данных: автоматическая очистка текста, проверка валидности ссылок, преобразование значений в удобный вид
- Экспорт результатов: формирование итогового файла Excel с колонками: артикул, название, цена, цена со скидкой, цена по карте, характеристики, описание, продавец, количество отзывов, ссылка, фото(URL), дата обновления
- Тестирование и отладка: проверили работу на выборке 1000 артикулов, настроили логи и уведомления об ошибках, сравнили полученные данные с фактическими карточками для проверки точности
В итоге разработана программа, которая:
- Собирает актуальные данные по товарам Wildberries по прямым ссылкам или артикулам
- Формирует структурированные файлы (CSV/Excel) для анализа и импорта
- Поддерживает массовую обработку
- Обеспечивает стабильность за счёт многопоточности и прокси
- Может использоваться для мониторинга цен, наполнения каталогов и анализа конкурентов
Дополнительно:
- Реализована поддержка прокси для обхода ограничений WB
- Встроен лог ошибок и отчёт о завершённых задачах
Работа самой программы:
Выбираем тип сбора и запускаем программу.
В папке Output находим нужный нам итоговый файл.
Программа собрала такие данные как: ссылка, название, категория, изображение, код товара, цена, цена со скидкой, цена по карте, история цен, продавец, характеристики, описание, аналоги и др.
Более подробную информацию можно найти по ссылке
Часов понадобилось:
8 часов
