Распознавание документов для целей ДБО

    Появление дистанционного банковского обслуживания (ДБО) поменяло весь банковский бизнес, предоставив возможность получения финансовых услуг «в два счета». Сегодня мы хотим рассказать вам о нашем новом продукте Smart Document Engine, который изменит процесс ДБО, обеспечив процедуру открытия счетов и получения кредитов «за два клика».

    Дистанционное банковское обслуживание (ДБО) – удобный инструмент управления финансами, уровень развития которого в нашей стране трудно недооценить. Популярность цифровых банковских сервисов велика как среди обычных людей (физических лиц), так и среди компаний. Верные спутники ДБО – это системы распознавания документов. Они играют важную роль в процессе ДБО, уже сегодня решив задачу моментального и безопасного онбординга для физических лиц и реализовав несколько удобных кейсов (например, автоматизировав перевод с карты на карту или оплату квитанций по QR-кодам).

    На сегодняшний день передовые цифровые банки активно используют технологии распознавания паспорта и сверки лиц для открытия счетов физическим лицам. С открытием счета для юридических лиц все сложнее. Необходимый комплект документов шире. Обычно банки для открытия счета требуют предоставить устав, свидетельства о регистрации компании в различных государственных органах, статистики, приказ о назначении единоличного исполнительного органа, карточку с печатью и подписью и другие документы.

    Представьте, насколько бы упростился процесс открытия счета, если бы была функция ДБО для автоматической проверки и распознавания изображений указанных документов с резервированием счета под нового клиента. Конечно, принести оригиналы всех документов в банк или передать их выездному сотруднику позже обязательно надо (таковы требования закона). Но это можно сделать уже в рабочем порядке, а не в «горячке», когда реквизиты нужны «здесь и сейчас».

    Как-то так (только более эмоционально) мы рассуждали, погрузившись в бесконечный процесс открытия расчетного счета в одном из крупнейших банков нашей страны. Как ни печально, никакой автоматизации нам не продемонстрировали. Причина оказалась простая: используемые решения по распознаванию документов распознают только «в теории», а на практике «натыкаются» на технологические барьеры из прошлого века:

    • в качестве входных изображений ожидают сканы 300 DPI, фотографии с малоформатных камер не обеспечивают необходимого качества изображения;

    • требуют высокопроизводительных серверов для развертывания;

    • из коробки предоставляется фактически только OCR, а весь дополнительный интеллектуальный анализ документа требуется реализовывать на своей стороне.

    Поэтому мы решили создать такую систему распознавания, которая лишена указанных ограничений. Мы постарались переосмыслить задачу распознавания документов заново и зафиксировали следующие требования к новому продукту:

    1. Поддержка сканов и фотографий. Это одно из ключевых требований. Мы уже неоднократно писали, что способ оцифровки бумажных документов из сканирования движется в сторону фотографирования. Это быстрее, удобнее, однако имеет свои особенности: возникает полный спектр проблем, связанных с проективными геометрическими искажениями формируемого образа документа, изменчивостью освещения, наличием посторонних элементов на фотографируемой сцене.

    2. Только on-premises. Данные НЕ должны передаваться ни на какие сервисы, НЕ должны сохраняться, и для работы системы НЕ должен требоваться доступ в интернет. Вся обработка документов должна вестись строго локально на устройстве клиента или внутри инфраструктуры банка.

    3. Работа как на серверах, так и на мобильных девайсах. Время работы на мобильных устройствах должно быть приемлемым, при этом оптимизация времени распознавания должна быть без ущерба качеству.

    4. Поддержка «жестких» и «гибких» форм. Новый продукт должен поддерживать все виды документов. В том числе многостраничные. Кроме того, нужен функционал адаптации под произвольные новые виды документов.

    5. Распознавание различных элементов. Документ – это не только буквы. Соответственно, распознавание – это не просто OCR. Необходимо дополнительно локализовать и распознавать прочие обязательные элементы бизнес-документов: таблицы, метки и чекбоксы, подписи и печати, рукописные пометки и т.д.

    6. Анализ заполнения документа. Встроенный механизм нового продукта должен обеспечивать контроль заполнения документа, наличие ключевых слов и словосочетаний, контроль отсутствия помарок, исправлений и прочих пометок.

    7. Элементы проверки подлинности документа. Дополнительный контроль цветности как отдельных элементов, так и всего документа в целом, анализ начертания шрифтов, визуализация логотипов позволяют продукту на ранних стадиях детектировать отдельные случаи фрода.

    8. Нативная работа на отечественных вычислительных комплексах. Комментарии здесь излишни.

    Приступив к созданию продукта, мы поняли, что большинство технологических заделов для обеспечения нужной функциональности у нас просто уже есть! Более того, мы про это даже писали на Хабре:

    • Вот здесь мы рассказываем о том, как научили свои продукты находить четырехугольник документа на изображении. Добавление к этому функционалу нормализации цвета позволяет реализовать технологию «сканирования» документа с помощью мобильного телефона.

    • Мы разработали инфраструктуру обучения крайне компактных вычислительно эффективных сверточных нейронных сетей (об этом можно почитать, например здесь, здесь и здесь). Кроме того, мы постоянно совершенствуем собственный аппарат цифровой обработки изображений, уделяя отдельное внимание сложности используемых алгоритмов (ознакомиться можно здесь, здесь и здесь). Все это позволяет делать вычислительно эффективные системы распознавания, способные запускаться и на серверах, и на мобильных устройствах.

    • У нас уже есть опыт распознавания жестких форм и квази-жестких форм, когда допустимая модель изменения формы документа проста и заранее понятна. Мы умеем распознавать документы в виде «книжечки» (паспорт РФ) и «тройной книжечки» (сертификат регистрации проституток в Германии).

    • Мы уже реализовали технологию классификации сложных деловых документов.

    • У нас давно апробирован механизм локализации и распознавания графических элементов типа «печать», «штамп», «подпись», «логотип» и т.д. Мы реализовали собственный декодер штрихкодов, который отлично справляется с 1D- и 2D-баркодами.

    • Мы разработали уникальный подход анализа подлинности документов и уже внедрили его в свой продукт распознавания паспорта.

    • Все составляющие части нашей платформы работают на Эльбрусе! И об этом тоже писали здесь, здесь и здесь.

    В результате у нас все получилось. Итак, рады представить вам наш новый продукт, полностью удовлетворяющий сформулированным выше требованиям – Smart Document Engine. Что же он умеет?

    Функциональные возможности Smart Document Engine

    Классификация и распознавание жестких форм. Жесткими формами называют документы, разные экземпляры которых совпадают “на просвет” при удалении реквизитов. Smart Document Engine содержит алгоритмы быстрой локализации и жестких форм на сканах, фотографиях и в видеопотоке, что позволяет осуществлять разбор таких документов.

    Классификация и распознавание гибких форм. Гибкими формами называют документы, элементы и реквизиты которых могут менять взаимное расположение на бланке. Примерами гибких форм являются налоговые и бухгалтерские документы, такие как справка 2-НДФЛ, бухгалтерский баланс предприятия, отчет о финансовых результатах и т.п.

    Анализ документов произвольного вида. Smart Document Engine позволяет распознавать и анализировать документы произвольного вида (доверенности, согласия, договора). При помощи Smart Document Engine можно производить классификацию таких документов, извлекать реквизиты, верифицировать наличие подписей и печатей и др.

    Поддержка сканов, фотографий и видео. Smart Document Engine может распознавать документы и формы как на изображениях, полученных с планшетных и протяжных сканеров, так и с фотографий и видео, полученных при помощи смартфонов, планшетов и других мобильных устройств.

    Анализ многостраничных документов. Smart Document Engine позволяет классифицировать и распознавать многостраничные документы. Обработка последовательности страниц позволяет упростить процесс потокового сканирования, производить сортировку потока и проверять наличие необходимых документов.

    Распознавание текстовых реквизитов. Стек технологий локализации и распознавания символов, реализованный в системе Smart Document Engine, позволяет быстро и точно распознавать однострочные и многострочные текстовые поля на более чем 100 языках мира, извлекать реквизиты из сплошного текста, машинописные и рукопечатные поля в разграфке и многое другое.

    Распознавание меток и чекбоксов. Система Smart Document Engine позволяет точно и надежно распознавать метки и чекбоксы, выполненные как в печатном варианте, так и ручкой.

    Проверка наличия и распознавание рукописных пометок и подписей. Smart Document Engine позволяет извлекать рукописные поля и подписи, распознавать цифровые поля, выполненные от руки в свободной форме, а также верифицировать наличие отметок и подписей.

    Распознавание таблиц. В системе Smart Document Engine реализован поиск и распознавание табличных данных. Поддерживаются таблицы с жесткой структурой, реляционные и нереляционные, таблицы с переменным количеством столбцов и структурированные наборы реквизитов с разграфкой.

    Поиск и распознавание печатей. Система Smart Document Engine оснащена модулями быстрого детектирования, локализации и классификации печатей. Помимо поиска и верификации наличия печати, платформа позволяет реализовать распознавание отдельных текстовых компонентов печатей.

    Проверка наличия ключевых слов и словосочетаний. Для идентификации значимых фраз, а также для обнаружения некорректных изменений в тексте система Smart Document Engine позволяет проверять наличие ключевых слов, словосочетаний и фраз.

    Контроль заполнения документа. С помощью Smart Document Engine можно произвести контроль заполнения документа, включая проверку наличия обязательных текстовых или графических полей, анализ зон документа, предназначенных для рукописного или рукопечатного заполнения.

    Контроль отсутствия помарок, исправлений и прочих пометок. Система Smart Document Engine позволяет детектировать, локализовать и распознавать помарки, зачеркивания, исправления и прочие пометки на документе с целью контроля его достоверности и извлечения дополнительной информации.

    Контроль логотипов и прочих графических элементов. Smart Document Engine позволяет детектировать, локализовать и контролировать наличие графических элементов, таких как логотипы компаний, а также важных графических полей документов, таких как фотография, вклеенная в анкету.

    Контроль цветности документа. Система Smart Document Engine определяет как цветность документа в целом, так и его отдельных элементов (печатей и подписи), что позволяет детектировать черно-белую копию документа.

    Анализ атрибутов текстовых полей. Помимо распознавания текстовых полей Smart Document Engine анализирует атрибуты полей и отдельных текстовых символов, таких как характеристики шрифта (наличие засечек, курсив, жирность), оценки однородности и монотонности и др.

    Какие банковские процессы решает Smart Document Engine?

    1. Автоматизация процесса открытия счета. Smart Document Engine дает возможность не только считать и ввести данные в информационную систему банка, но и провести верификацию документа: проверить заполнение всех необходимых полей, проверить наличие подписей и печатей, выполнить перекрестные проверки.

    2. Автоматизация процесса одобрения кредита. Smart Document Engine ускоряет и автоматизирует решение о выдаче кредита как для физических лиц, так и для юридических лиц за счет распознавания Справки 2-НДФЛ, Бухгалтерского баланса, Отчета о финансовых результатах.

    3. Автоматизация работы мобильных агентов. Благодаря полноценной автономной работе на мобильных устройствах Smart Document Engine обеспечивает сканирование, распознавание и верификацию заполненных анкет и других документов в полевых условиях.

    Читатель, погруженный в банковскую тематику, самостоятельно найдет еще с десяток полезных применений нашего нового продукта. Важно то, что Smart Document Engine избавляет от рутины ввода данных, сокращая количество ошибок и освобождая ценные минуты на работу с клиентом, а также расширяет область применения ДБО.

    Что имеем в итоге?

    Современный мобильный телефон позволяет распознавать с помощью Smart Document Engine поток изображений документов со специализированного документного сканера производительностью до 30 страниц в минуту, что ранее было доступно только высокопроизводительным рабочим станциям или серверам, обеспечивая высочайшую точность распознавания текстовых, цифровых и иных данных документа. Так, распознавание справки 2-НДФЛ на телефоне Galaxy S10 в среднем занимает меньше 3 секунд. Система одинаково хорошо и быстро обрабатывает как сканы анкет, так и фотографии, автоматически выполняя все действия, необходимые для классификации, извлечения из них данных и распознавания текста с учетом геометрических искажений, перепадов и неравномерностей освещения, характерных для фотографий.

    Smart Document Engine «из коробки» распознает свидетельство о постановке на налоговый учет гражданина РФ (ИНН), справку 2-НДФЛ, платежное поручение (форма 0401060), бухгалтерский баланс (форма 0710001), отчет о финансовых результатах (форма 0710002), а также справки о результатах анализов ПЦР нескольких популярных лабораторий России. Smart Document Engine может быть настроен на распознавание других документов (кастомных договоров и бланков, соглашений и доверенностей, и т.д.).

    Таким образом, мы создали полную линейку продуктов, обеспечивающих все потребности ДБО в системах распознавания. Smart ID Engine автоматизирует ввод персональных данных клиента (распознавание паспорта, водительских удостоверений и т.п.) и выполняет проверку подлинности ID документов, решает задачу сверки лиц. Smart Code Engine решает задачу быстрого извлечения и ввода всех необходимых данных с платежной карты для совершения операции (распознавание банковской карты), а также позволяет распознать штрихкоды QR Code, AZTEC, PDF417 и других 1D и 2D. И наконец, наш новый флагманский продукт – Smart Document Engine – решает задачи распознавания документов, связанные с регистрацией и обслуживанием юридических лиц, а также обработкой комплекта документов, необходимых для кредитного скоринга, онлайн-бухгалтерии, совершения платежей.

    Smart Engines
    Обработка изображений, распознавание в видеопотоке

    Комментарии 13

      0

      Есть ли в вашем модуле распознавания фотографий документов создание изображения по нескольким фото?
      Простейший пример, когда это надо — документ заламинирован, в файле или под стеклом. Фотография делается или в условиях паразитной засветки (блики местного освещения) или со вспышкой (темный коридор, документ на стенде под стеклом). Любая из одиночных фотографий содержит блик. Но есть возможность сделать несколько фото со смещением точки съемки (значит и блика) или же произвести видеосъемку.

        0
        Прям готового продукта по созданию «идеальной» фотографии без бликов и других артефактов у нас нет. Зато у нас есть технология создания интегрированных результатов распознавания по нескольким фото. Кроме того, мы уже сделали качественную склейку панорамы. Если надо именно собирать результирующее изображение — обращайтесь.
        0
        Подскажите ссылку на " декодер штрихкодов". В статье гиперссылка не работает… Ищем как раз декодер мульти ШК на одной картинке.
        0
        Здравствуйте! Как раз недавно появилась задача подобрать систему для ускорения ввода и сокращения ошибок при занесении данных с паспортов РФ и пенсионного свидетельства (СНИЛС) в одну самописную систему. Можно ли узнать реально ли будет использовать ваш продукт в связке с вебкамерами, если у клиента используются машины от win XP до 10-ки? Есть ли на данный момент рабочий вариант интеграции с заполнением форм в MS Access или Excel (где используется древний VBA) или надо писать самому? Каков порядок цен для организации одного рабочего места, это будет разовая цена или «абонентка»?
          0
          Добрый день. Конечно, мы распознаем такие документы, как паспорт РФ и СНИЛС. В том числе на старых машинах. В том числе видеопоток с веб-камер. Единственное, есть несколько технических ограничений:

          1. Версия Windows XP должна быть с установленным SP3
          2. Веб-камера должна быть с функционалом автофокуса
          3. Минимальное разрешение камеры — 1280x720 (этого достаточно для распознавания СНИЛС и одной страницы паспорта). Минимальное разрешение камеры для распознавнаия всего разворота паспорта одновременно — 1920x1080

          В любом случае, Вы всегда можете написать нам на sales@smartengines.ru и мы обо всем Вам расскажем.
            0
            Спасибо за ответ. Я подготовлю более детальный список вопросов и напишу на почту.
          0
          Здравствуйте! В данный момент как раз ищем технологию для сканирования справки 2-НДФЛ в мобильном приложении. Можно ли как-то попробовать, как работает ваша система? На примере, предположим, 50 распознаваний. Будет ли это платная услуга? С кем лучше связаться на этот счет?
          0
          Добрый вечер. А для распознавания букв вы используете Tesseract?
            0
            Естественно, нет. У нас свой свой движок распознавания. Кстати, про него мы уже столько писали здесь на Хабре…
            0
            Извините за оффтоп, а не подскажете, известны ли вам распознавалки почтового индекса (который с индексной сеткой)? Или вам тоже пришлось самим писать? Странная ситуация: пишется достаточно просто, а сниппетов мне не попадалось.
              0
              Честно сказать, мы даже не занимались этой задачей. Наша омнифонтовая технология распознавания букв отлично справляется и с индексами, написанными поверх специальной индексной сетки, и обычными напечатанными индексами, и даже написанными от руки.

            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

            Самое читаемое