Перед нами стояла задача:

Разработать программу для сбора данных о товарах по прямым ссылкам или артикулу, с последующим созданием файла с актуальной информацией: артикул, название, описание, ссылка, аналоги, категория, бренд, цена (со скидкой, по карте Ozon), изображения, рейтинг, название продавца, количество отзывов, отзывы, характеристики.

 

Решение и пример как работает программа парсинга Ozon:

 

 

Пользователю предоставляется возможность выбора наиболее подходящего для него способа сбора данных: по ссылке на товар, по артикулу товара, по конкретному продавцу, бренду, категории или по поисковому запросу.

 

Сбор выполнятся по списку ссылок.

 

Есть возможность выбрать колонки отображаемые в выходном файле.

 

Программа отображает статус выполнения в реальном времени, что позволяет видеть прогресс на каждом этапе.

 

В случае возникновения ошибок, система выводит их количество.
По завершении сбора, пользователь может скачать результат — либо каждый файл отдельно, либо все данные в одном архиве, либо все данные в одном файле.

 

Результат:

Поле выполнения получается xlsx файл, содержащий в себе информацию по артикулам и названиям, которая может быть использована для актуализации информации по продуктам.

 

Затраченного времени на разработку:

 

54 часа

 

Использованные технологии:

 

Core MVC - Фреймворк для разработки веб-приложений.

EF Core - ORM предназначенная для работы с базой данных.

MassTransit - Библиотека для интеграции брокеров сообщений.

Polly - Библиотека для использования различных политик по обработки http запросов.

Selenium WebDriver — инструмент для автоматизации действий веб-браузера

NanoXLSX - Библиотека для создания Excel документов.

 

В проекте принимали участие:

 

Александр Игнатюк - Разработчик C#

Алёна Рябая - Project Manager