Итак, вы приняли решение автоматизировать ввод первички, кого же выбрать?
Беглый просмотр интернета выявит более 20 компаний, которые так или иначе занимаются распознаванием документов. Как определить, на кого обратить внимание?
Несколько открытий и советов от человека, который достаточно глубоко погружался в тему распознавания в процессе реализации подобных проектов для своих заказчиков:
1. «Бизнес-то не очень»
Сама по себе деятельность по разработке решений для распознавания документов, прямо скажем, с инвестиционной точки зрения не привлекательна для бизнеса. Времена, когда это занимало топовую позицию, прошли, ЭДО серьезно повлияло на емкость рынка услуг обработки бумажной первички, и сегодня он с каждым годом стагнирует, а не растет. Дальше вспоминаем институт, матрицу БКГ и становится понятно, что заветных 10% роста больше нет, а значит, финансово благополучными эти проекты могут быть только у компаний, которые в свое время сделали свои «звезды» и для которых сейчас пришла пора «доить корову». Соответственно, если не хотим лишиться поставщика после реализации проекта потому, что тот решил вдруг закрыть убыточное направление, то:
разумно выбирать из монопрофильных компаний с приличным стажем, от 8 лет.
Если распознавание документов – не единственный профиль компании, то стоить изучить отзывы в интернете и поинтересоваться, к примеру, сможет ли поставщик настроить распознавание какого-нибудь специфичного для вас документа: паспорт поверки, бланк приема-сдачи металла и пр. Если адекватного ответа по срокам и стоимости нет (адекватные цифры: 2 недели и 200 тысяч рублей), то, скорей всего, программа по развитию системы распознавания заморожена и продукт находится в продакт-листе для галочки.
2. «Иностранное или отечественное»
Треть рынка поставщиков решений (Гендальф, Efsol (Fasta/ 42clouds), LEXEMA и др.) использовали в архитектуре своих продуктов программы иностранных компаний (ABBYY, Kofax), которые по понятным причинам теперь вне списка отечественного ПО. Речь идет об OCR, – важном и сложном элементе программного обеспечения для распознавания документов, который отвечает непосредственно за перевод растрового рисунка скана документа в набор символов, обозначающих поля, текст, координаты и т.п., т.е. то, с чем потом работает сама программа, делая различные проверки, сопоставления, корректировки на пути к формированию документа поступления. При работе с такими компаниями есть два очевидных минуса:
Придется платить НДС с лицензий, так как льгота на такие решения не распространяется;
Использование иностранного программного обеспечения на критической инфраструктуре будет полностью запрещено с 2025 года.
Интересуйтесь у поставщика, на каких OCR работает его решение.
3. «Про качество распознавания»
Распознавание документов – не такая простая задача.
Сайты компаний просто пестрят заявлениями о качестве распознавания, близком к 100%. Но так ли это на самом деле? Сразу скажу, что без привлечения труда человека (верификаторов) достичь 100% невозможно потому, что косяки при сканировании, передача через определенные мессенджеры, плохо пропечатанный текст и т.д. снижают качество распознавания.
Более того, из-за многообразия заполнения самих документов в пределах одной и той же формы система регулярно дообучается и периодически фиксирует новые изменения.
Необходимо учитывать, что:
Если мы говорим не про «сферического коня в вакууме», а про реальность, то 83-85% корректно распознанных полей можно назвать хорошим показателем.
Если слышим 90-98%, то, скорей всего, считали по символам.
Если 100% и выше, то вам предлагают сервис распознавания и сервис верификации «в одном флаконе». Если по-другому поставщик не предлагает, то это повод задуматься, возможно с реальным качеством распознавания у ИТ- решения есть проблемы. В свое время Jetlex заменил распознавание, полностью перейдя на верификацию людьми, и впоследствии внезапно ушел с рынка.
На что это влияет:
a) Скорость.
«Распознавание + верификация» будет происходить медленнее, чем просто «распознавание» и чувствительней к нагрузке, т.к. кол-во одновременно работающих верификаторов всегда ограничено:
«Распознавание + верификация» – от 2, 5 мин за документ, а если кинуть большую пачку, то можно и до утра прождать.
«Распознавание» – займет от 4-х секунд за 1 страницу; если решение облачное, то скорей всего есть «параллельное распознавание» и, соответственно, по сравнению с вариантом выше скорость будет космическая.
b) Цена варианта «Распознавание + верификация» обойдется дороже
На что это НЕ влияет:
Как не странно это звучит, но верификация в сервисе распознавания бухгалтерских первичных документов вещь абсолютно бесполезная, если используется ИТ-решение с высоким качеством распознавания и сопоставления.
Давайте разберемся, почему.
При вводе первичного документа в 1С вручную около 80% времени бухгалтера уходит на ввод номенклатурных позиций, вернее выбор их из локального справочника. Да, если вы работаете с ERP, с заказами, то, в основном, это время тратит отдел закупок.
Автоматизация распознавания позволяет серьезно сократить ручной труд на этом участке, но часть позиций все равно приходится сопоставлять вручную: выбирать из списка похожих или создавать новые автоматом/вручную. Причина, по которой так происходит, кроется не только в качестве распознавания, сопоставления, но и в том, что довольно часто существуют объективные различия между номенклатурой, при которых система не рискует брать на себя ответственность.
Например,
В документе: «C2H5OH 0,2 л», в локальном справочнике: «Спирт 98%-ный 0,2».
В документе: «Вода АРХЫЗ, 25л», в локальном справочнике: «Вода артезианская 25 л»».
В таких случаях, работа по сопоставлению не сопоставленных автоматически позиций по-прежнему ложится на плечи бухгалтерии заказчика.
Но, если мы берем кадровые документы, либо юридические документы, то там верификация может оказаться весьма полезной сопутствующей услугой, так как сопоставлений минимум, плюс часто встречается рукописный текст.
Когда заказчик спрашивает про качество распознавания, то зачастую он имеет в виду % документов, полностью обработанных системой в автоматическом режиме, от всех документов. С этим показателем вообще все неоднозначно, он сильно зависит и от того, на сколько успешно прошло сопоставление, и от наличия каких-либо несоответствий в документах контрагента, соответственно он тем выше, чем выше качество документа, чем меньше параметров контролирует система и чем ниже порог чувствительности к расхождениям в настройках системы. На практике получается, что этот показатель находится в пределах от 20% по бухгалтерским и до 100% по кадровым.
Цель ввода первичного документа в учетную систему – корректно созданный документ в 1С (например, документ поступления товаров и услуг). Одного лишь качества распознавания здесь недостаточно, крайне важно качество сопоставления номенклатурных позиций, контрагентов, организаций, договоров: учитываются ли артикулы, размеры, веса, производитель и др. параметры в наименовании, какими символами пренебрегает система, на что обращает внимание, как используется накопительный справочник.
Здесь два лагеря: одни не заморачиваются и используют штатный механизм сопоставления 1С, подвергая его тюнингу, на сколько это возможно; другие, кто уже столкнулся с ограничениями штатного поиска, переходят на свой движок и вкладываются в его развитие.
Уровень распознавания и качество сопоставления – два важных фактора, которые обуславливают достижение цели, причем продвинутый алгоритм сопоставления способен нивелировать даже огрехи в распознавании.
Выводы:
Заявление поставщиков о качестве распознавания носят, как правило, рекламный характер, поэтому всегда проводите тестирование.
Если у вас небольшой поток (до 1000 документов в месяц), то смело рассматривайте в том числе совмещенные с верификацией сервисы распознавания.
Если вы обрабатываете больше 1000 первичных документов в мес., то выбирайте из решений с чисто техническим распознаванием. Сервис верификации можно будет подключать по мере необходимости: вы и бюджет сэкономите и высокую скорость обработки обеспечите при любых пиковых нагрузках.
При тестировании смотрите не только на качество распознавания, но и на финальный результат сопоставления.
4. Используемые технологии
Все поставщики по типу используемых решений делятся на 3 класса:
1. Специализируются на распознавании. Работают на собственном OCR, архитектурно представляющем собой каскад нейронок, каждая из которых отвечает за решение определенной задачи в рамках процесса распознавания документа: одна за распознавание вида документа, другая за поиск таблиц, третья за поиск конкретного поля и т.д.
Пример: Smart Engines, Dbrain, Биорг, Soika
Плюсы:
Высокая скорость: водительские права, паспорт распознаются практически моментально, – от 1-2 секунд;
Требования к качеству сканов снижены: «замыленные» документы распознаются;
Есть аппаратно-программная реализация в виде готовых сканеров с функцией распознавания;
Есть параметризация для глубокой настройки OCR, самостоятельной сборки шаблонов, что весьма удобно для интеграции функции распознавания в смешанные процессы, где могут встречаться абсолютно разные виды документов: производственные, складские, HR.
Минусы:
Высокая стоимость владения, вызванная повышенными требования к аппаратной части решения; для поддержки и развития системы используется ресурсоемкий процесс машинного обучения: сбор большого кол-ва примеров для обучения, их разметка, выбор гипотез, их проверка, подбор методов и т.д. В результате цена за распознавание 1 страницы документа может составлять 35 рублей и выше
ограниченный перечень готовых документов, на которых специализируется компания: чаще кадровые, реже бухгалтерские, поскольку они отличаются большим разнообразием форм и вариантов заполнения. Под многие документы требуется дообучение системы под проект, а за это берутся отдельные деньги.
интеграция с 1С неудобна либо совсем отсутствует:
интерфейсы для загрузки и верификации документов вынесены за пределы учетной системы;
интерфейсы верификации, обработки найденных несоответствий универсальны для всех документов.
в результате сотрудникам заказчика приходится:
работать в нескольких интерфейсах: в интерфейсе поставщика загружать и верифицировать документ, а в интерфейсе 1С завершать его обработку;
выполнять кучу лишних действий, переходить между консолями, делать повторные действия для групповых изменений и т.п.;
!!! Обратите внимание на этот пункт: если ваша цель не просто упорядочить документооборот и снизить кол-во ошибок, а еще и добиться экономического эффекта, то всегда надо помнить, что главная задача сократить ресурсоемкость процесса ввода документа, иначе вся экономика выше летит в тар-тара-ры.
Решения данного класса поставщиков идеальны для:
проходных мест, где нужна скорость и желательно контурное решение, желательно с аппаратной реализацией: заводы, таможенные посты. гостиницы и т.п.;
проектов с онлайн регистрацией в сервисе через смартфон: скорость распознавания не средняя, а именно в моменте «здесь и сейчас», распознавание документа по фото;
интеграция в СЭД: автозаполнение карточки различных документов, когда шаблонов нужно много и заказчик может собирать их самостоятельно.
2. Специализируются на распознавании. Задействуют несколько готовых OCR иностранных и отечественных компаний, опенсорсные OCR с открытым кодом, дополняют различными перекрестными проверками с глобальными и накопительными справочниками и таким образом, получая информацию из разных источников управляют распознаванием. Такие компании строят всю математику в основном на алгоритмах, упрощая и удешевляя эксплуатацию и развитие системы, в том числе изготовление новых шаблонов.
Пример: Entera/365 Docs, ТКсэт/CORRECT, 1C/РПД
Плюсы:
Низкая стоимость владения: нет особых требований к аппаратным мощностям; в сопровождении система относительно проста, достаточно компетенций бэкендеров Си шарп и т.п. Цена распознавания может быть от 6 рублей и ниже.
Широкий перечень распознаваемых документов, дообучение готовых шаблонов, как правило, ничего не стоит, готовые шаблоны не требуют кастомизации и учитывают опыт всех заказчиков.
Удобные готовые интеграции, часто с разными конфигурациями 1С, – бухгалтер работает с распознаванием в привычном интерфейсе 1С.
Кастомизированные под конкретный кейс реализации (интерфейсы, настройки OCR, проверки, сценарии обработки и т.д.): такой подход максимально минимизирует затраты времени сотрудников на работу с документами, т.к. нет лишних действий, все находится «под рукой».
Минусы:
Относительно долгое время распознавания 1 стр. документа, – от 9 сек. В кейсах, где время критично и бизнес-процесс не позволяет распараллелить распознавание с чем-либо еще использование таких систем «под вопросом»: КПП, проходные, онлайн регистрация по паспорту и т.п. При этом стоит учесть, что при наличии параллельного распознавания среднее время обработки документа может стремиться к нулю.
Такие системы чаще всего не становятся полностью в контур без потери качества. Поскольку перекрестные сверки – это часть их технологии, то им нужен интернет для связи с глобальными справочниками, сторонними OCR. При этом надо заметить, что поставщики данных решений в качестве дополнительной защиты данных нередко предлагают сопутствующие к On-premise установке сервисы: деперсонализация, маскирование.
Решения от таких поставщиков больше всего подходят для:
автоматизации процесса ввода первичных бухгалтерских документов с учетом всего их многообразия;
интеграции в кадровые бизнес-процессы: прием сотрудника, больничного листа.
3. Специализируются в целом на бизнес-приложениях (СЭД, учетные системы, эл.архив). Распознавание – дополняющая функция в их продукте.
Помимо самостоятельных решений встречается распознавание, уже встроенное в бизнес-приложение самим разработчиком: Контур, Elma, Directum (Ario One), Делис и др. Обычно это доработанный Tesseract (опенсорсный OCR от Google), который годится под простые бюджетные задачи с оговоркой «без претензии к качеству и скорости». Опыт говорит нам, что в серьезных проектах использовать такой OCR можно лишь как дополнительный к основному, но ни в коем случае в роли основного.
5. Облако или контур
Условно все заказчики в зависимости от позиции своих служб безопасности по отношению к использованию SaaS решений делятся на 3 типа:
«Ультраконсерваторы»: те у которых «контур» звучит всегда как некое табу, которое ставить под сомнение, – уже большой грех
«Демократы»: ранее использовали контурное решение, например, ABBYY FlexiCapture, теперь в связи с известными событиями готовы рассматривать все решения, в т.ч. облачные с соответствующей защитой.
«Либералы»: с SaaS решениями уже работают, в приоритете качество, стоимость.
Для «ультраконсерваторов» есть поставщики 1 и 3 классов с их особенностями. Для «демократов» и «либералов» ограничений по выбору нет, но можно посмотреть 2 класс, так как это отличное качество за разумные деньги, плюс у некоторых поставщиков этого класса есть вариант поставки on-premise.
На что еще обратить внимание при выборе поставщика?
Работа службы технической поддержки поставщика предполагает ответ максимум в течение 1 дня; специалист ТП связывается с вами по телефону, если вопрос сложный; ваши обращения не футболят, если ловят ошибку озвучиваю срок устранения, – верный признак зрелой компании, а значит, проект по автоматизации не затянется.
Доступность информации. Вы должны иметь возможность достаточно оперативно искать ответы на свои вопросы, иметь возможность тестировать ключевые параметры работы решения: как распознает, как сопоставляет, какие поля распознает, в каком виде поступает результат и прочее. Если компания уверена в своем продукте, то все это, как правило, есть на сайте, либо в ЛК, куда просто получить доступ. Если же вы видите красивые картинки, бодрые фразы, но при этом вся информация предоставляется «по запросу», либо протестировать решение невозможно, поскольку все собирается «под проект», то, скорее всего, «не все так красиво» и вас ждет разочарование.
«Дьявол кроется в деталях». Когда речь идет о вводе первички, то важны точность и с качество, с которым собран продукт, и речь не о том, «с душой или нет», а о вполне конкретных вещах:
маркировка места документа: обратить внимание или нет;
уведомление об ошибках в документе: есть или нет;
ручное сопоставление: сколько кликов нужно;
ручное заведение контрагента, номенклатур, договора: сколько кликов нужно;
автозаведение новых номенклатур, контрагента: удобно/нет;
проверка печатей, подписей: есть/нет
работа с нераспознанными страницами: есть/нет.
тупиковые ситуации: есть/нет.
Все это расписывать не обязательно, но дать поработать своему бухгалтеру на какой-либо из возможных конфигураций и получить от него обратную связь крайне желательно.
К примеру, при тестировании, казалось бы, неплохого решения, может оказаться, что есть неточности в работе, которые могут оказаться критичными для работы бухгалтера, и либо он не сможет пользоваться им в полной мере, либо это вызовет дополнительный объем ручной работы.
В приведенном примере система путает буквы, регистр, пропускает символы при полной уверенности в корректности распознанного. Поскольку эти расхождения не отмаркированы, то бухгалтер их не заметит, а значит, при автосоздании новой номенклатуры будут заведены позиции с изначально некорректными наименованиями, что в дальнейшем повлечет закономерные проблемы. В такой ситуации попробуйте обратиться в поддержку и понять по планируемым срокам устранения, насколько глобальной для него является эта проблема.
Ценовая политика
Среди систем распознавания встречаются следующие способы тарификации:
A. За фактический объем страниц в месяц;
B. За «несгораемый» пакет страниц;
C. За «сгораемый» пакет страниц;
D. За «несгораемый пакет» + годовую техническую поддержку;
E. За лимит страниц в месяц;
F. За рабочее место в год;
G. За рабочее место пожизненно;
H. Др.
Если вы подключаете облачный сервис по распознаванию, постарайтесь найти поставщика с вариантом А. Это наиболее оптимальная на сегодня тарификация SaaS сервиса: нет нужды морозить значительные суммы на год вперед, вы можете в любое время без потерь прервать или сделать перерыв в использовании сервиса.
Если рассматриваете установку в контур (on-premise, box), то разницы нет, просто считаем совокупную стоимость владения на 3,5 лет в пересчете на 1 страницу.
Поставщик выбран, что дальше?
Дальше нужно определиться с вариантом внедрения:
I. Делать простое подключение к рабочему месту бухгалтера и не менять бизнес-процесс.
Например, у вас 6 бухгалтеров, каждый из которых полностью сам вводит свои первичные документы, заводит новые позиции, если нужно и т.д. Здесь достаточно каждому бухгалтеру предоставить доступ к функции распознавания прямо в учетной системе из его рабочего места, к которому он привык.
II. Выстраивать многоролевой процесс ввода первичных документов и делать автоматизацию уже измененного процесса, например, как здесь: https://www.youtube.com/watch?v=HM47oW3iwJI Взято с сайта https://tcset.ru/
Такой процесс имеет смысл если у вас к вводу первички причастны множество сотрудников (от 10 человек) и вы хотите получить дополнительный «конвейерный» эффект. Часто, это ситуации, когда:
у вас сеть распределенных складов, централизованная бухгалтерия, служба НСИ, архив и стоит задача автоматизировать уже сложившийся процесс с частичным перераспределением обязанностей между отделами;
заказчик решил организовать в рамках холдинга объединенный центр обслуживания (ОЦО) и вынести обработку документов туда.
Такого рода изменения могут кратно усилить эффект от автоматизации
После остается выбрать вариант интеграции, их несколько:
1. Интеграция с 1С через расширение/обработку поставщика;
2. Интеграция через API поставщика;
3. Интеграция через RPA:
Sherpa //https://sherparpa.ru/partners/
ElectroNeek //https://electroneek.com/ru/partners/
4. Инструменты интеграции Яндекс.Cloud: CORRECT: Сервис распознавания документов | Yandex Cloud - Marketplace
И далее все просто:
1. Если у вас учетная система 1С и вы:
выбрали SaaS c простым подключением (1-й вариант внедрения), то заходите на сайт поставщика, скачиваете интеграционный модуль, инструкцию и активируете сервис.
Пример:
решили подключиться к 1С через API (цена понравилась, либо конфигурация своя), то нужно привлечь разработчика 1С (своего, либо поставщика), который произведет настройку под вашу конфигурацию, процесс.
Закладывайтесь на 2-3 недели работы одного специалиста ~ 300 тысяч рублей. Также поставщики для ускорения работ часто бесплатно предлагают использовать исходники своих расширений.
2. При наличии другой учетной системы вам понадобится специалист.
Если у вас другая учетная система (SAP, Парус) то единственный вариант подключения это API и, соответственно, нужен будет специалист, который сможет произвести настройку со стороны вашей учетной системы.
При этом стоит:
решить заранее, где будут консоли для загрузки документов, их верификации, обработки несоответствий либо непосредственно в учетной системе, либо в ПО поставщика, и заложить бюджет на их настройку, так как далеко не всегда подходят универсальные типовые консоли систем распознавания и необходимо проектное решение.
выбрать, какие несоответствия должна ловить система:
отсутствуют печати и подписи контрагента;
адрес не совпадает с ЛС;
цена оригинала выше цены скана;
цена ПБД превышает цену заказа;
дубль;
приходный документ для СФ не найден;
и др., их более 40.
какие процессы должны поддерживаться:
ввод первички от поставщиков;
ввод счетов и формирование заявок на РДС/ПП;
ввод документов на реализацию;
ввод авансовых отчетов;
анализ актов сверок;
проверка транспортных накладных;
формирование электронного архива;
и пр.
какие сценарии обработки должна поддерживать система:
загрузка сканов документов;
загрузка оригиналов документов;
загрузка документов ЭДО.
какие роли будут в системе, маршруты движения документов и т.д.
Для этого формируем функциональные требования (ФТ), получаем от поставщика оценку и планируем бюджет на внедрение. В зависимости от объема проекта бюджет на внедрение составляет от 0,4 при простом подключении до 6 млн. рублей при многоролевом процессе, срок от 1 до 6 месяцев, плюс пилот 1-3 месяца.
