ИИ устраняет хаос в каталоге ТМЦ: забудьте о дублях и некорректных описаниях ТМЦ
Чем больше каталог ТМЦ, тем сложнее им управлять: дубли, некорректные описания ТМЦ, как следствие избыточные запаса и снижение уровня обеспеченности — эти проблемы хорошо знакомы бизнесу. Чистить каталоги вручную — долго и неэффективно, поэтому мы решили проблему через ИИ: разработали алгоритм, который быстро наводит и поддерживает порядок даже в самых запущенных каталогах. Сейчас расскажем, как он работает и какие задачи бизнеса может решить
Какие проблемы возникают из-за дублей в каталогах
Каталоги товарно-материальных ценностей (ТМЦ) можно сравнить со шкафом: если его долго не открывать, то кажется, что там все в порядке и на своих местах. В реальности так бывает редко.
Основная проблема каталогов крупных корпораций – обилие дублей номенклатуры, когда один и тот же товар или материал учитывается в системе под разными названиями. Иногда дубли появляются из-за невнимательности: допускаются ошибки или опечатки, и вот «металлическая труба» превращается в «металическую», в описание вклиниваются лишние пробелы, транслит. Часто из-за лени вместо поиска нужной позиции сотрудники просто создают новую.
Наша команда работала с каталогами многих промышленных компаний (например, ЕвроХим, Русал, СУЭК, ММК, ОМУ, УГМК, ERG), число записей там варьировалось от 500 тысяч до 1,2 млн. При этом количество дублей могло достигать 30%, а это десятки и сотни тысяч лишних записей.
Дубли усложняют работу многих подразделений:
Планировщикам сложнее проводить анализ и учитывать реальные потребности предприятия. Если товар записан под двумя разными наименованиями, система может показывать избыток по одной позиции и дефицит по другой.
Закупщикам труднее оперировать заказами. Дубликаты могут закупаться по-отдельности, тогда на склад под разными названиями привезут аналогичный товар.
Логистам придется разбираться со множеством учетных позиций и выделять дополнительное место под хранение.
Бухгалтеры столкнутся с проблемами во время инвентаризации.
Финансисты получат больший процент замороженных финансовых ресурсов, ошибки в себестоимости продукции.
Аналитикам будет сложнее свести данные, чтобы проанализировать запасы продукции.
Способы устранения дублей
Широко известны два способа, а мы придумали третий назвали его ПромМаркет. Разберем каждый из них.
Находить и удалять вручную Такая работа занимает месяцы и требует привлечения опытных специалистов, но пока они чистят одну часть каталога, в другой появляются новые дубли.
Использовать встроенный функционал систем учета по поиску дублей Алгоритм работает по принципу обычного поисковика, то есть ищет набор похожих слов, но не учитывает технические характеристики товаров. Например, по запросу «сапоги женские» алгоритм 1С найдет и «сапоги женские», и «сапоги мужские». Поэтому каждое обнаруженное совпадение придется проверять вручную.
Вычистить дубли при помощи технологий искусственного интеллекта Система автоматически распознает дубли одного и того же товара, объединяет их в одну позицию и создает стандарты наименований и характеристик ТМЦ в каталогах, чтобы исключить появление дубликатов в будущем.
Какое решение мы сделали на основе ИИ
Нам было важно, чтобы система работала полностью автоматически, могла быстро обрабатывать большие массивы данных без потери качества, но при этом работала с контекстом не хуже людей.
Один человек в среднем за день может обработать 80-120 позиций, но это не значит, что за 10 дней он проверит и исправит 1200 позиций. После первой сотни концентрация снизится и, вероятнее всего, специалист начнет допускать ошибки. В отличие от человека алгоритм на основе ИИ не имеет ограничений по объему обрабатываемой информации – это большой плюс для крупных предприятий.
Схема решения ПромМаркет выглядит так:
Система анализирует структуру всех данных Искусственный интеллект изучает существующие паттерны классификации, выявляет ключевые характеристики различных групп товаров и формирует логику организации каталога.
Приступает к поиску дублей ИИ использует алгоритмы, которые извлекают из текста численные характеристики, ссылки на стандарты, длину и толщину изделий, марки и обозначения, классификаторы, справочники и другую значимую техническую информацию, а затем раскладывают в таблицы согласно принятой онтологии. Это позволяет системе «понимать» смысл, чтобы эффективно находить дубли и аналоги.
Выявляет и устраняет ошибки Система вычищает некорректные и повторяющиеся символы, убирает лишние пробелы, ошибки импорта и экспорта данных, переводит текст в верхний регистр, выполняет десятки других операций по подготовке данных.
Объединяет позиции Все найденные дубли ИИ объединяет в одну позицию, сохраняя и обогащая важную информацию из всех карточек, а еще система может предложить аналоги, исходя из выбранной стратегии.
Предотвращает появление новых дублей Система формирует стандарты описания и автоматически проверяет новые позиции при добавлении в каталог, снижая вероятность появления новых дублей. Более того, она может переименовать весь каталог под новый формат описания ТМЦ.
Что получает бизнес
У технологии ПромМаркет есть основные и дополнительные функции, и все показывают отличные результаты.
Основные функции:
Сокращение объемов каталога на 25-30%;
Качественные метрики данных (система проверяет каждую запись и весь справочник в целом, а затем оценивает полноту их заполнения и степень соответствия заданным стандартам, рассчитывает «индекс здоровья каталога»);
Быстрая проверка на дубли новых позиций.
Дополнительные функции
Возможности системы не ограничиваются работой с дублями, ее можно использовать для оптимизации всех процессов работы с ТМЦ:
- Подбор аналогов
Система автоматически определяет взаимозаменяемые товары — особенно актуально при перестройке цепочек поставок.
- Защита от переплат
ИИ анализирует историю цен и выявляет подозрительные отклонения, которые могут говорить об ошибках или недобросовестности поставщиков.
- Упрощение интеграций
Автоматическое сопоставление разных каталогов существенно ускоряет процессы синхронизации каталогов компаний и работу с новыми поставщиками.
Как мы проверяли эффективность ИИ
Чтобы проверить продуктивность технологии, мы провели эксперимент: поручили очистку одного и того же сегмента каталога команде опытных специалистов и нашей системе.
Ставка на искусственный интеллект себя оправдала: качество обработки данных ИИ превзошло результаты ручной работы в среднем на 12%, а скорость оказалась выше «человеческой» в несколько тысяч раз.
Какие результаты дает дедубликация:
повышается прозрачность учета ТМЦ на всех этапах: от планирования до списания;
ускоряется работа аналитиков по запасам
сокращаются складские запасы и операционные издержки
повышается уровень обеспеченности
Результаты виден сразу: ИИ систематизирует каталог компании и повышает эффективность работы с ТМЦ.
Немного реальных данных
Рассмотрим один из проектов конца 24го года. Клиент — крупный промышленный застройщик с оборотом около 100 млрд рублей в год. В каталоге ТМЦ (товарно-материальных ценностей) компании было представлено 115 326 записей.
Для демонстрации возможностей ПромМаркет приведем реальный пример, связанный с одной из категорий материалов — «Кабель электрический». В этой группе было выявлено 3567 записей, содержащих дублирующую или схожую информацию. На картинке представлен фрагмент данных. На первый взгляд каждая строчка выглядит уникальной. Но так ли это на самом деле?
Если посмотреть внимательно, несмотря на различия в описаниях, эти записи фактически представляют один и тот же товар. Подадим эти данные в систему. В автоматическом режиме она выделит все ключевые параметры.
Система ПромМаркет автоматически выделила все значимые атрибуты и добавила их в соответствующие столбцы для дальнейшей обработки.
Но возможности системы на этом не заканчиваются. Она построила сводную таблицу по классу «Кабель электрический». Как видно на картинке, система может учитывать все атрибуты, значимые для конкретного случая.
Ниже представлен другой разрез детализации
В итоге мы получаем записи, которые заказчик может рассматривать как дубли, если совпадают все важные атрибуты, а также как аналоги, если совпадает только часть атрибутов.
При этом выбор атрибутов и определение уровня совпадения полностью зависят от заказчика и может изменяться в зависимости от ситуации
Также привожу пример работы стенда, были загруженны исходные данные, столбец - Полное наименование, система сама разобрала записи на атрибуты
