Импорт данных в интернет-магазины: алгоритм, который упростит вам жизнь

    В предыдущей статье habrahabr.ru/post/209040 были рассмотрены общие вопросы импорта данных в интернет-магазины, связанные с этим особенности, преимущества и недостатки методов. Можно сделать вывод о том, что единственным эффективным способом в долгосрочной перспективе является разработка собственных модулей импорта данных в каждый интернет-магазин (имеется в виду прямой импорт в базу данных конкретной CMS). Почему? В первую очередь, полностью контролируется код модулей импорта, всегда можно оперативно внести изменения. Второе, что тоже очень важно, — это интеграция модулей в линейку ПО. Что особенного в модулях импорта? Это большое количество параметров, которые влияют на процесс импорта данных. Ниже приведена упрощенная схема алгоритма импорта данных в модулях CatalogLoader.

    Алгоритм импорта данных в интернет-магазин




    Реализация


    На следующем изображении показан стандартный диалог выгрузки из ПО CatalogLoader в OpenCart:


    Стандартные параметры для OpenCart:
    — Отключать товары (определяет возможность отключать “исчезнувшие” товары).
    — Префикс артикулов, которые не нужно обновлять.
    — Префикс базы данных.
    — Путь к файлу Catalogloader_handler.php.
    — Путь к файлу delete_cache.php (характерно именно для OpenCart).
    Стоит отметить, что стандартный модуль импорта, который предоставляется пользователям, не обладает всем набором параметров, доступных в алгоритме. Это сделано сознательно для того, чтобы не загромождать интерфейс и чтобы у пользователей не возникало дополнительных вопросов. Этих параметров достаточно для подавляющего большинства проектов. И только части необходимы специальные параметры, которые доступны в специальном режиме.

    На следующем изображении показан стандартный диалог выгрузки в Битрикс через протокол 1С-Exchange:

    Особенности:
    — поддержка протокола 1С-Exchange.
    — поддержка режима «отладки». Часто этот режим является единственным вариантом импорта в Битрикс.

    Принцип алгоритма


    Принцип алгоритма построен на следующей идее. Входными данными для алгоритма является локальная база данных с новым состоянием интерент-магазина (мы это называем КЛП-базой). Т.е. после завершения процесса импорта КЛП-база “перетечет” в требуемую базу данных CMS. Полностью или нет, с какими-то особенностями или нет — это уже зависит от настроек самого процесса импорта данных, которые определяет пользователь.

    Ниже приведены техническая информация, которая будет интересна интеграторам и разработчикам, — параметры, которые влияют на ход процесса импорта данных.

    CmsEngine строковая переменная [значение по умолчанию("")]
    Определяет CMS интернет-магазина. Возможные значения: bitrix, commerceml, magento, insales, prestashop, vamshop, opencart, hostcms, shopcms, shopscript, virtuemart, joomshoping, simpla и т.д.

    ModeIsDisable логическая переменная [значение по умолчанию(false)]
    Включает режим, который будет деактивировать товары, которых нет в нашей КЛП-базе.

    DbPrefix строковая переменная [значение по умолчанию("")]
    Определяет префикс базы данных интернет-магазина.

    HttpTunnelLink строковая переменная [значение по умолчанию("")]
    Определяет ссылку, которая служит интерфейсом передачи данных между CatalogLoader и интернет-магазином.
    Возможные варианты: ссылка на скрипт CatalogLoader_hanpler.php, ссылка на скрипт 1c_exchange.php для передачи по CommerceML протоколу.

    HttpTunnelDelay числовая переменная [значение по умолчанию(0)]
    Определяет задержку между запросами, которые идут на интерфейс, определенный в HttpTunnelLink. Это нужно, если сайт расположен на слабом хостинге и активные действия со стороны CatalogLoader (частые вызовы) останавливают работу сайта (CPU limit, например).

    HttpImageWebDownloaderLink строковая переменная [значение по умолчанию("")]
    Определяет ссылку на скрипт закачки изображений на хостинг интернет-магазина.
    Для таких cms, как Битрикс, insales не требуется.

    HttpImageWebDownloaderLinkSaveToFile логическая переменная [значение по умолчанию(false)]
    Запрещает загрузку изображений по интерфейсу, определенному в HttpImageWebDownloaderLink, и сохраняет все параметры вызова этого интерфейса в файл в папке с программой CatalogLoader. Это необходимо, когда стоит потребность отложить загрузку изображений на будущее.

    SqlConnectionString строковая переменная [значение по умолчанию("")]
    Определяет Connectionстроковая переменная базы данных интернет-магазина. Это позволяет значительно увеличить скорость загрузки данных.
    строковая переменная ShopUser [значение по умолчанию("")]
    Определенный логин пользователя (обычно это админ) в целевом интернет-магазине.
    Доступно для: bitrix в режиме 1c-exchange, insales.

    ShopPassword строковая переменная [значение по умолчанию("")]
    Определенный пароль пользователя (обычно это админ) в целевом интернет-магазине.
    Доступно для: bitrix в режиме 1c-exchange, insales.

    CategoryNameForImportAll строковая переменная [значение по умолчанию("")]
    Определяет категорию, в которую будут определены все “новые” товары для интернет-магазина. Иногда требуется все новые товары импортировать в категорию “Новинки”, а старые товары просто обновлять.
    Замечание: не работает для bitrix, commerceml.

    PriceUpdate логическая переменная [значение по умолчанию(true)]
    Определяет поведение функции обновления товара, при котором цена товара не изменяется программой CatalogLoader. Это нужно, когда администратор сайта самостоятельно выставляет цены на товар.

    MissedProductIsDisabled логическая переменная [значение по умолчанию(true)]
    Определяет режим деактивации продуктов. Если значение “true”, то деактивация продукта означает реальную деактивацию (товар остается в БД и помечается как неактивный), иначе товар будет удален из магазина ПО CatalogLoader. (НЕ ПОНЯЛА)

    MissedProductProcess логическая переменная [значение по умолчанию(true)]
    Определяет поведение функции деактивации товаров. Если значение “true”, то товары, которые присутствуют в БД интернет-магазина и отсутствуют в КЛП-файле, будут деактивированы, иначе ни к одному товару, который отсутствует, не будет применена функция деактивации товара.
    логическая переменная MissedCombinationIsDisabled [значение по умолчанию(true)]
    Определяет поведение функции деактивации комбинаций товаров. Если значение “true”, то комбинации товаров, которые присутствуют в БД интернет-магазина и отсутствуют в КЛП-файле, будут деактивированы, иначе следует удаление из БД.

    CustomParameters строковая переменная [значение по умолчанию(“”)]
    Определяются параметры, специфичные для какой-то конкретной CMS. Например, для prestashop значение этого параметра может быть id_lang=7, означающее, что нужно импортировать текстовые данные товаров в язык интернет-магазина под номером семь.

    CallUrlOnStart строковая переменная [значение по умолчанию(“”)]
    Определяет http ссылку, которая будет вызвана из ПО CatalogLoader (get запрос) перед стартом процесса импорта. Обычно используется для создания резервной копии БД.

    CallUrlOnFinish строковая переменная [значение по умолчанию(“”)]
    Определяет http-ссылку, которая будет вызвана из ПО CatalogLoader (get запрос) после завершения процесса импорта. Обычно используется для очистки кэша или создания резервной копии БД.

    ProductsUpdateSkip логическая переменная [значение по умолчанию(false)]
    Определяет поведение функции обновления товаров. Если установлено значение “false”, то для продукта применяется функция обновления, иначе — нет.

    CustomerProductSkuTemplate строковая переменная [значение по умолчанию(“”)]
    Определяет шаблон (регулярное выражение), с помощью которого можно определить товар, который был внесен в интернет-магазин вручную, а не через ПО CatalogLoader. Если шаблон определен, то товары, артикул которых подходит под шаблон, исключаются из выборки товаров, к которым должна быть применена функция “Деактивация”.
    Например, CustomerProductSkuTemplate=CUS_

    ImagesUpdate логическая переменная [значение по умолчанию(false)]
    Определяет поведение функции обновления изображений. Если значение “false”, то изображения не обновляются, в обратном случае обновляются полностью, при этом предварительно автоматически удаляются все изображения обрабатываемого продукта. Обычно этот параметр необходимо выставлять однократно в “true” при некачественной заливке фотографий в предыдущих итерациях обновления.

    ImagesUpdateMissed логическая переменная [значение по умолчанию(false)]
    Определяет поведение функции обновления изображений. Если значение “false”, то изображения не обновляются, иначе обновляются в режиме добавления. Cперва программа определяет изображения, которые уже есть у товара и только после этого добавляет требуемые “новые” изображения товару. Обычно этот параметр необходимо выставлять один раз в “true” при некачественной заливке фотографий в предыдущих итерациях обновления.
    Доступно для: prestashop.

    MiminumProductsCountInSet числовая переменная [значение по умолчанию(0)]
    Определяет минимальное количество товаров. Если значение параметра больше нуля, то ПО CatalogLoader не начнет работу процесса импорта товаров, если в обрабатываемом КЛП-файле находится меньше товаров, чем определено параметром.

    Конечно, везде есть много нюансов, не всегда и не для каждой CMS получается поддержать все параметры алгоритма. Это может быть обусловлено протоколом обмена, архитектурой базы данных или особенностями реализации CMS. Представленный подход позволяет достаточно гибко настраивать процессы импорта данных в интернет-магазины и справляется с большими объемами данных до сотен тысяч позиций.

    Данный подход был реализован для импорта данных в следующие CMS:


    Николай Кекиш,
    директор CatalogLoader
    • +4
    • 27,3k
    • 2
    Поделиться публикацией
    Ой, у вас баннер убежал!

    Ну. И что?
    Реклама
    Комментарии 2
      0
      А делаете ли вы API для автоматического импорта?
      Например для Magentoo есть бесплатная утилита Magmi, которая позволяет быстро импортировать продукты, в том числе с помощью API. Как пример — есть парсер, который парсит сайты поставщиков и сразу загружает почти готовые товары в магазин.
        0
        Мы подумываем сделать такое. Но сейчас нет в наличии.

      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

      Самое читаемое