Цель проекта
Разработка WEB-приложения для автоматизации сбора и обработки новостей с различных ресурсов, позволяющего заказчику быстро получать структурированную информацию для анализа рынка, повышения конкурентоспособности и оперативной адаптации к изменениям.
Основные задачи проекта
- Парсинг данных с ресурсов:
- Сбор информации с новостных сайтов, маркетплейсов, социальных сетей и других источников.
- Выделение данных по категориям: новости, события, распродажи, розыгрыши, коллаборации.
- Обработка данных:
- Фильтрация новостей по ключевым и стоп-словам.
- Формирование единого Excel-файла с утвержденной структурой (дата, источник, ссылка, текст новости).
- Интеграция:
- Автоматическая загрузка новостей в Telegram-бот.
- Передача данных на веб-платформу с удобным интерфейсом для просмотра, фильтрации и поиска.
Этапы реализации проекта
- Сбор источников:
- Анализ списка ресурсов, предоставленных заказчиком.
- Определение структуры сайтов для правильного извлечения данных.
- Разработка парсеров:
- Создание программ для сбора информации с учетом особенностей каждого сайта.
- Настройка механизмов обработки изменений структуры сайтов.
- Составление ключевых и стоп-слов:
- Ручной анализ первичных данных для выявления релевантных тем.
- Формирование словарей для повышения точности фильтрации.
- Автоматизация обработки:
- Настройка скриптов для создания Excel-файлов.
- Добавление возможности предварительного просмотра и корректировки данных перед загрузкой.
- Интеграция с Telegram и веб-платформой:
- Настройка автоматического обновления данных в боте.
- Разработка веб-интерфейса с функциями поиска и фильтрации.
Результаты проекта
- Внедрение системы автоматизации позволило:
- Сократить время на сбор и анализ данных.
- Своевременно получать информацию об акциях и тенденциях рынка.
- Упрощать процесс мониторинга событий и коллабораций.
- Улучшить внутреннюю организацию работы с данными.
- Все новости теперь доступны в одном месте, с удобным интерфейсом для поиска и анализа, что позволило заказчику повысить оперативность принятия решений и укрепить свои позиции на рынке.
Как работает система
- Заказчик предоставляет список источников.
- Составляются словари ключевых и стоп-слов.
- Система автоматически парсит данные, фильтрует их и формирует Excel-файлы.
- Новости загружаются в Telegram-бот и веб-платформу для дальнейшей работы.
Дополнительно:
- Поддержка регулярных обновлений.
- Возможность адаптации системы под потребности заказчика.
- Интеграция с другими источниками данных.
При этом, настройка цветов, источников новостей, порядок и фильтрация недель и в общем внешний вид может быть абсолютно любой. Все наши проекты осуществляются непосредственно под клиента.
Часов понадобилось:
35 часов
Технологии:
JavaScript - Язык программирования.
React. js — библиотека для JavaScript с открытым исходным кодом для разработки пользовательских интерфейсов.
Redux Toolkit - стейт менеджер.
Ant Design - UI фреймворк.
Принимали участие:
Дима Хилюк– разработчик
JavaScript
Пётр Секриеру – руководитель группы
Parsingsite 
