Competitor parser - парсинг сайтов для OpenCart/OcStore
Competitor parser - парсинг сайтов для OpenCart/OcStore
Автоматический импорт товаров с любых сайтов в ваш интернет-магазин. Настроили один раз – модуль сам парсит по расписанию, загружает фото, создаёт категории и обновляет цены.
Промокод применится автоматически при добавлении товара в корзину
Поле необязательное — вы сможете указать домен позже в личном кабинете.
Описание
Competitor Parser — позволяет автоматически импортировать товары и категории с любых сторонних сайтов прямо в ваш интернет-магазин. Настраиваете один раз — дальше всё работает по расписанию без вашего участия. Для кого этот модуль?- Вы хотите наполнить новый магазин товарами с сайта поставщика- Вам нужно поддерживать цены и наличие в актуальном состоянии – данные обновляются автоматически- У вас несколько источников, и каждый нужно парсить по своим правилам- Вы устали вручную копировать описания, фото и характеристики Как это работает:Вы создаёте профиль, указываете ссылку на страницу каталога или sitemap, настраиваете CSS/XPath-селекторы полей товара, задаёте расписание. Дальше модуль сам обходит все страницы, загружает товары и добавляет их в OpenCart. Что парсит:Основные поля товара:- Название, описание (HTML сохраняется), модель, артикул (SKU)- Цена и акционная цена- Количество на складе Изображения:- Главное фото и вся галерея товара- Изображения внутри HTML-описания – тоже загружаются и заменяются на локальные ссылки- Сжатие и изменение размера при загрузке (задаёте максимальную ширину и высоту)- Поддержка WebP – автоматически конвертируется в JPG при необходимости Атрибуты (характеристики):- Парсит пары название/значение из таблиц характеристик- Поддержка группировки по разделам – важно для сложных товаров (телефоны, ноутбуки): «Память», «Камера», «Питание» и т.д. создаются как отдельные группы атрибутов- Название группы по умолчанию настраивается под ваш магазин Опции товара (варианты):- Парсит варианты типа Размер, Цвет и любые другие- Несколько слотов опций – для сайтов, где опции свёрстаны по-разному- К каждому значению можно привязать цену и количество Категории:- Хлебные крошки (для автоматического создания категорий)- Два режима: помещать все товары в одну выбранную категорию – или автоматически воссоздавать иерархию из хлебных крошек- Категории создаются в OpenCart автоматически, если их ещё нет Источники данных:Link — Страница каталога с пагинацией, парсер сам переходит по страницамSitemap — XML Карта сайта, берёт список URL товаров напрямуюFeed / RSS / Atom — Любой XML-фид с товарамиПагинация поддерживается двумя способами: CSS/XPath-селектор кнопки «Следующая страница» или шаблон URL (?page={n}). Режимы импорта:Только новые — существующие товары не трогаютсяТолько обновление — обновляет существующие, новые не создаётНовые + обновление — создаёт новые и обновляет существующиеПолная синхронизация — дополнительно удаляет из магазина товары, которых больше нет в источнике Фоновая обработка и расписание:Парсинг выполняется через cron-запрос без ограничений времени выполнения, без тайм-аута. Каждый профиль имеет свою cron-ссылку – просто добавьте её в планировщик задач сервера. Расписание настраивается в профиле (cron expression).Между запросами к сайту-источнику пауза 0.5 секунды, браузерные заголовки и поддержка cookie – для обхода базовой защиты от ботов. Реестр и умный матчинг:Модуль ведёт реестр всех спарсенных товаров и категорий. При повторном запуске не создаёт дубликаты – находит существующий товар по URL, затем по артикулу, затем по названию. Если URL товара изменился, реестр обновляется автоматически. Тестирование без риска:Перед запуском полного парсинга проверьте настройки в тестовом режиме:Тест страницы категории — показывает, сколько товаров найдено, и примеры ссылокТест товара — парсит одну страницу и показывает все найденные поля; ничего не сохраняется в БДДиагностика — по каждому полю видно: «найдено» / «не найдено» / «пустой» / «селектор не указан» Сервисные инструменты:Управление SEO URL — сканирует ЧПУ-адреса магазина, находит товары и категории без slug, заполняет отсутствующие, исправляет дублирующиеся адреса.Очистка изображений — находит файлы в папке модуля, которые больше не используются ни в одном товаре, показывает, сколько места освободится, – и удаляет одной кнопкой.Очистка реестра — удаляет записи реестра, у которых товар или категория уже удалены через админку.Отключение неполных товаров — находит и отключает товары без фото или с ценой 0. Интерфейс:- Весь модуль управляется с одной страницы в админке OpenCart- Поддержка тёмного режима- Лог в реальном времени – видно, что происходит прямо сейчас- Несколько профилей – каждый со своими настройками, расписанием и источником- Реестр категорий и товаров с пагинацией и быстрыми ссылками на редактирование Требования:- Расширение cURL (для отправки сообщений)- Cron на сервере (для автоматической работы)- PHP расширения: curl, gd, dom Лицензия:Коммерческий модуль с привязкой к домену.Лицензия проверяется через защищённый сервер.Одна лицензия – один домен.
Характеристики
- Версия OpenCart
- 2.0.3 2.1.0 2.2.0 2.3.0 3.0.0 3.0.1 3.0.2 3.0.3 3.0.4 3.0.5
- Локализация модуля
- Украинский, Английский, Русский
- Язык поддержки
- Украинский, Английский, Русский
- Метод активации
- Ключ лицензии
- Ioncube Loader
- Нет (не нужен)
- Обращение к серверу разработчика
- Да
- Если сервер разработчика недоступен
- Дополнение не работает
- Версия PHP
- 7.1 7.2 7.3 7.4 8.0 8.1
- Совместимо с шаблонами
- все шаблоны
Вопросы (0)
Войдите, чтобы задать вопрос.
ВойтиВопросов пока нет
Задайте первый вопрос об этом товаре!
История изменений
- *Безопасность
- - Усилена защита от подмены цели запроса при сборе данных с сайта-донора (проверка адреса перед запросом и на каждом переходе по редиректу, блокировка обращений к внутренним/локальным адресам).
- - Добавлена авторизация для автоматического запуска заданий по расписанию (cron) — запуск сторонним запросом больше невозможен.
- - Проверка SSL-сертификата сайта-донора включена по умолчанию; для отдельных профилей её можно отключить вручную, если это необходимо.
- - Ограничен доступ к разделам и действиям модуля для пользователей с недостаточными правами.
- - Устранена возможность выполнения стороннего кода через просмотр описания товара.
- *Производительность
- - Ускорена загрузка изображений товаров при парсинге за счёт параллельной загрузки вместо последовательной.
- *Исправлено
- - Исправлена ошибка, из-за которой обработка карты сайта (sitemap), содержащей ссылки на другие карты сайта (sitemap index), могла прерываться с ошибкой.
- - Исправлены и переведены тексты интерфейса модуля на всех поддерживаемых языках.
- *Безопасность
- - cron-endpoint защищён токеном — анонимный запуск парсинга заблокирован
- - защита от SSRF в загрузчике изображений — блокировка приватных IP-диапазонов и опасных протоколов
- - проверка прав доступа (`modify`) на всех изменяющих действиях админ-контроллера
- *Исправлено
- - дублирование товаров, которые были созданы вне модуля парсинга