Парсер собирает не все товары: 7 причин неполной выгрузки

Если парсер собирает не все товары, это не всегда значит, что программа работает неправильно. Часто причина в самом сайте: товары скрыты за фильтрами, выдача ограничена, карточки подгружаются не сразу, а данные зависят от региона или авторизации.

Клиент может видеть на сайте 20 000 товаров, а в итоговой таблице получить 5 000, 8 000 или 12 000. На первый взгляд кажется, что выгрузка неполная. Но на практике сайт не всегда отдает весь каталог по одной ссылке.

Разберем простыми словами, почему парсер собирает не все товары, как это проверяется и что нужно подготовить, чтобы получить более полную и точную выгрузку.

Неполная выгрузка товаров: что это значит

Неполная выгрузка товаров — это ситуация, когда в итоговый файл попали не все позиции, которые клиент ожидал увидеть.

Например, на странице категории указано 30 000 товаров. Парсер прошел по доступным страницам и собрал только 10 000. Или клиент видит конкретный товар в браузере, но в Excel его нет.

На выходе обычно нужен не просто список ссылок. Клиенту нужна таблица с данными: название, цена, наличие, бренд, артикул, фото, характеристики, рейтинг, продавец, категория и другие поля.

Поэтому важно понять не только “почему не все собралось”, но и какие товары сайт реально позволяет получить.

Почему парсер собирает не все товары

Главная причина простая: сайт не всегда показывает весь каталог одним прямым способом.

Часть товаров может быть спрятана за кнопкой “Показать еще”, фильтрами, сортировкой, регионами, личным кабинетом или внутренними лимитами. Иногда сайт пишет одно количество товаров, а фактически выдает только ограниченную часть.

Поэтому перед разработкой парсера важно смотреть не только на внешний вид страницы. Нужно проверить, как сайт загружает товары технически.

1. У сайта есть лимит выдачи

Многие сайты и маркетплейсы ограничивают количество товаров в выдаче. Пользователь вводит запрос или открывает категорию, но площадка показывает только первые несколько тысяч товаров.

Остальные позиции могут существовать, но не попадать в обычную выдачу. В этом случае парсер собирает не все товары не из-за ошибки, а из-за ограничения самого источника.

Чтобы получить больше данных, сбор часто дробят на части. Например, отдельно проходят бренды, ценовые диапазоны, размеры, цвета, категории или продавцов.

2. Товары подгружаются при прокрутке

На многих сайтах товары появляются не сразу. Пользователь прокручивает страницу вниз, и новые карточки постепенно догружаются.

Обычный парсер может увидеть только первую часть страницы. Например, первые 24, 48 или 100 товаров. Остальные позиции появляются только после прокрутки или нажатия кнопки.

В таких случаях нужен другой подход. Программа должна открыть страницу, дождаться загрузки, прокрутить каталог и собрать новые карточки после появления.

3. Неправильно обработана пагинация

Пагинация — это переход по страницам каталога: первая, вторая, третья и дальше.

Иногда страницы открываются обычными ссылками. Тогда пройти по ним относительно просто. Но бывает, что переход работает через кнопку, скрипт или внутренний запрос сайта.

Если парсер не учитывает эту логику, он может собрать только первую страницу. Поэтому при настройке нужно проверять, как именно сайт показывает следующую часть товаров.

4. Фильтры меняют состав каталога

Фильтры не только уточняют выдачу. Иногда они открывают товары, которых нет в общей выдаче.

Например, без фильтра сайт показывает 10 000 позиций. Но если отдельно пройти бренды, размеры, цвета или диапазоны цен, можно найти дополнительные товары.

Поэтому в сложных задачах сбор строится не по одной ссылке. Сначала изучается структура каталога, потом составляется схема обхода фильтров.

5. Данные зависят от региона или склада

Один и тот же сайт может показывать разные товары для разных городов.

Это часто встречается в интернет-магазинах, автозапчастях, строительных материалах, продуктах и маркетплейсах. В одном регионе товар есть, в другом его нет. Цена и срок доставки тоже могут отличаться.

Если регион не задан, парсер может собрать не те данные, которые видит клиент в своем браузере.

6. Часть товаров доступна только после авторизации

Некоторые сайты показывают полный каталог только после входа в личный кабинет.

Без авторизации может быть видна только часть ассортимента. Также от аккаунта могут зависеть цены, скидки, остатки, склады и условия доставки.

Это особенно важно для B2B-сайтов и поставщиков. Поэтому перед запуском нужно понять: сбор должен идти как обычный пользователь или из личного кабинета.

7. Сайт включает защиту от частых запросов

Если программа слишком быстро открывает много страниц, сайт может включить защиту. Например, капчу, временную блокировку, пустые ответы или обрезанную выдачу.

Капча — это проверка, что перед сайтом человек, а не программа.

Из-за защиты парсер может собрать часть товаров, а потом начать получать пустые страницы. Поэтому в серьезных задачах добавляют паузы, повторные попытки, логи ошибок, прокси и проверку результата.

Почему нельзя сразу точно назвать количество товаров

Снаружи сайт может выглядеть простым. Но реальная сложность становится понятна только после проверки.

Нужно узнать, как загружаются товары, есть ли лимит выдачи, влияет ли регион, нужна ли авторизация, работают ли фильтры, есть ли дубли и защита.

Иногда достаточно одной ссылки на категорию. А иногда нужно строить отдельную схему сбора, чтобы обойти ограничения и получить более полный каталог.

Пример простой задачи

Клиент дает ссылку на категорию интернет-магазина. В категории 500 товаров. Все страницы открываются обычными ссылками. Карточки доступны без входа в личный кабинет.

В этом случае парсер проходит по страницам, собирает ссылки на товары, открывает карточки и выгружает данные в Excel или CSV.

В итоговой таблице могут быть название, артикул, бренд, цена, наличие, ссылка, фото, характеристики и категория.

Пример сложной задачи

Клиент хочет собрать товары с маркетплейса по большому поисковому запросу. В выдаче есть лимит, товары зависят от фильтров, часть данных подгружается динамически, а сайт периодически включает защиту.

Здесь простого сбора по одной ссылке мало. Нужно разбивать запрос на части, проходить фильтры, удалять дубли, проверять пропуски и собирать итоговый файл из нескольких выгрузок.

На выходе клиент получает не случайный набор товаров, а очищенную таблицу с понятной структурой.

Вопросы, которые чаще всего задают клиенты

Почему на сайте указано одно количество товаров, а в таблице меньше?

Можно ли собрать все товары из категории, если сайт показывает только первые страницы?

Почему парсер видит не те товары, что я вижу в браузере?

Можно ли собрать товары, которые появляются только после прокрутки?

Что делать, если сайт ограничивает выдачу по одному запросу?

Нужно ли давать доступ в личный кабинет?

Можно ли проверить, какие товары не попали в выгрузку?

Можно ли настроить регулярный сбор, чтобы данные обновлялись каждый день?

Что подготовить перед разработкой парсера

Чтобы быстрее получить результат, лучше заранее подготовить ссылки на категории, бренды, продавцов или поисковые запросы.

Также нужен список полей для выгрузки: цена, наличие, фото, характеристики, рейтинг, отзывы, продавец, артикул, категория и другие данные.

Если данные зависят от региона, нужно указать город или склад. Если сбор идет из личного кабинета, нужно заранее обсудить доступ и правила работы с аккаунтом.

Также важно сразу определить формат результата: Excel, CSV, Google Таблица, база данных, API или файл для загрузки на сайт.

Главное

Если парсер собирает не все товары, причина часто не в одной ошибке. Обычно дело в лимитах сайта, фильтрах, подгрузке, регионе, авторизации или защите.

Хороший сбор начинается с анализа источника. Сначала нужно понять, как сайт показывает товары. Потом выбрать правильную схему обхода. И только после этого собирать данные в нужный формат.

Такой подход помогает получить не просто выгрузку, а рабочий файл для анализа, загрузки товаров, мониторинга цен или обновления каталога.