Если мы правильно поняли, то в Вашем комментарии маскируется два вопроса:
1. Зачем изобретать велосипед, когда давно продаются планшетные сканеры
Время сканирования документа А5 на самых быстрых планшетных сканерах составляет порядка 3 секунд. После получения изображения, процедура обработки полученного изображения и распознавания занимает порядка от 1 до 10 секунд (в зависимости от производительности ПК). Наше решение за счет мгновенного получения кадров позволяет распознать все паспортные данные за 1-2 секунды.
2. Зачем встраивать компьютер в сканер, какое преимущество это дает.
Тут может быть несколько соображений. Во-первых, не свегда есть возможность модифицировать информационную систему (встроить API распознавания паспорта). Во-вторых, описанный ПАК может вообще функционировать без компьютера (будучи подключенным, например, к турникету на проходной).
В следующей модели мы планируем совсем отказаться от кнопки начала распознавания, добавив в программу модуль, отслеживающий наличие нового документа на рабочей области.
Мы создавали демонстратор технологии, эргономику мы планируем отработать при переходе к промышленным образцам. В данной модели кнопка инициирует распознавание, данные передаются автоматически по сигналу системы распознавания об окончании работы.
Работа с XU4 у нас отработана, мы решили использовать знакомую модель, C2 с OTG рассматривали и рассматриваем на будушее, уже для промышленого применения, пока остаются вопросы с производительностью.
В нашем устройстве все вычисления выполняются на встроенном миникомпьютре Odroid XU4, а запрограммированный микроконтролллер Arduino micro используется в качестве эмуляции клавиатуры.
Мы выбрали именно камеру Microsoft потому, что она отлично управляется. Можно задать фокусное расстояние и все параметры камеры, причем не только под Windows, но под Linux.
ПАК — это не только ящик (который является понятным устройством), но и распознающая программа (которую реализовать не так легко). Если кто-то (в том числе и безликий китаец) украдет наш ПАК и будет его продавать, то мы обратимся к специалистам. Насчет внесения изменений в ПАК — регистратор результатов интеллектуальной деятельности (РИД) проводит поиск на предмет совпадения, по заключению которого станет понятно достаточно ли Ваших изменений для регистрации нового РИД.
Спасибо за интересные вопросы! Ниже ответы по пунктам:
1) База сделана в различных условиях. Менялись устройства, освещение, снимали разные люди (иногда даже пальцы на картах присутствуют). При этом в основном снимали карточку «на весу», стол использовали в основном для получения рекламных фотографий.
2) Обучение свёрточных сетей производилось на искусственно созданной базе изображений (благо целевой шрифт известен – OCR-B) с последующей аугментацией. Ни одно изображение из упомянутых 750 картинок не использовалась для обучения.
3) Шрифт на картах один (OCR-B) и места для творчества платежные системы здесь не предоставляют. Фон придумывает банк. Было замечено использование OCR-A шрифта на indent-картах некоторых банков. Но для нас не проблема, так как мы используем искусственно созданную обучающую выборку.
4) Пестрый высокочастотный фон действительно создает дополнительные трудности. В этом месте нас спасает тот факт, что алгоритм поиска анализирует изображение границ, зная, что ищется три геометрически описанных строки. Такая задача похожа чем-то с распознаванием у окулиста цветных зашумленных карточек с цифрами: без знания того, что на карточках цифры распознать на них что-то разумное проблематично.
5) В настоящий момент наше SDK не распознает CSV код. При этом понимаем, что эта задача представляет собой omni-шрифтовое распознавание текстовой строки, которое у нас имплементировано.
Хотелось бы выразить отдельную благодарность автору очень удобного редактора LaTeX -> habrahabr, который сэкономил огромное количество времени и сил при написании статьи.
Если Вы посмотрите наш предыдущий комментарий, то увидите, что в примере, мы увеличиваем выборку всего на 20% при добавлении всех типов искажений. 400 — кратного увеличения выборки никто применять не призывает. Отличие нашего метода от описанного Вами второго подхода лишь в том, что мы осуществляем предварительную аугментацию данных. Это позволяет оптимизировать проведение несколько одновременных экспериментов по обучению сетей и эффективно использовать аппаратные ресурсы. К тому же мы не разу не говорили о применении случайных преобразований при создании данных. Применение случайных искажений, а в особенности их комбинаций, сильно усложняет задачу обучения нейронной сети и далеко не всегда приводит к уменьшению ошибки на тестовой выборке.
1. Вы правы.
2. Нам не ясно, что значит «неправильно», и какой эксперимент это показывает. Вычислительные мощности, очевидно, не зависят от порядка применения операций (далее вы сами, противореча себе, написали "… и по времени то же самое"). Размер профита в нашем случае опубликован, статья ровно об этом. Какая цифра вам показалась слишком маленькой? Заранее сделать аугментацию, как мы предлагаем, это (-) потратить много места на диске, (+) получить возможность архивирования удачного варианта раздутия, (+) возможность передать выборку согласно договору, не раскрывая алгоритмов ее создания. Но наша статья — не об этом, а о «профите» от собственно аугментации, вне зависимости от того, на каком этапе она производится.
3. Насколько нам подсказали наши эксперты, большинство победителей (если не все из них) последних лет на MNIST-e использовали раздутие обучающей выборки. Что бы нового мы могли сообщить об этом? В данной публикации мы не предлагаем никакого распознающего алгоритма, мы сосредоточены на выборке. И аугментация, конечно же, известный подход. Нашей целью было показать, насколько хорошо или плохо он работает. При этом раздутие на рукописных символах, очевидно, иное, чем на печатных. Для ниста обычно используются деформации сглаженным случайным полем смещений.
4. Нам тоже интересно, но, к сожалению, мы не являемся специалистами в этой области.
Подобные методы построения обучающей выборки действительно могут улучшать финальное качество распознавания. Если интересна данная тематика, можем написать про это еще статью.
А, идея ясна. Да, это действительно быстро, но на классе изображений и документов, которые хорошо поддаются бинаризации. Должны быть видны все 4 стороны и не должно быть полос внутри, иначе фейл. Неплохо подходит к съемке чего-либо формата А4 на столе, а розовые права в руках или всевозможные карточки/визитки (прозрачные, полосатые, серые в ёлочку) с бинаризацией не дружат.
1. Зачем изобретать велосипед, когда давно продаются планшетные сканеры
Время сканирования документа А5 на самых быстрых планшетных сканерах составляет порядка 3 секунд. После получения изображения, процедура обработки полученного изображения и распознавания занимает порядка от 1 до 10 секунд (в зависимости от производительности ПК). Наше решение за счет мгновенного получения кадров позволяет распознать все паспортные данные за 1-2 секунды.
2. Зачем встраивать компьютер в сканер, какое преимущество это дает.
Тут может быть несколько соображений. Во-первых, не свегда есть возможность модифицировать информационную систему (встроить API распознавания паспорта). Во-вторых, описанный ПАК может вообще функционировать без компьютера (будучи подключенным, например, к турникету на проходной).
1) База сделана в различных условиях. Менялись устройства, освещение, снимали разные люди (иногда даже пальцы на картах присутствуют). При этом в основном снимали карточку «на весу», стол использовали в основном для получения рекламных фотографий.
2) Обучение свёрточных сетей производилось на искусственно созданной базе изображений (благо целевой шрифт известен – OCR-B) с последующей аугментацией. Ни одно изображение из упомянутых 750 картинок не использовалась для обучения.
3) Шрифт на картах один (OCR-B) и места для творчества платежные системы здесь не предоставляют. Фон придумывает банк. Было замечено использование OCR-A шрифта на indent-картах некоторых банков. Но для нас не проблема, так как мы используем искусственно созданную обучающую выборку.
4) Пестрый высокочастотный фон действительно создает дополнительные трудности. В этом месте нас спасает тот факт, что алгоритм поиска анализирует изображение границ, зная, что ищется три геометрически описанных строки. Такая задача похожа чем-то с распознаванием у окулиста цветных зашумленных карточек с цифрами: без знания того, что на карточках цифры распознать на них что-то разумное проблематично.
5) В настоящий момент наше SDK не распознает CSV код. При этом понимаем, что эта задача представляет собой omni-шрифтовое распознавание текстовой строки, которое у нас имплементировано.
2. Нам не ясно, что значит «неправильно», и какой эксперимент это показывает. Вычислительные мощности, очевидно, не зависят от порядка применения операций (далее вы сами, противореча себе, написали "… и по времени то же самое"). Размер профита в нашем случае опубликован, статья ровно об этом. Какая цифра вам показалась слишком маленькой? Заранее сделать аугментацию, как мы предлагаем, это (-) потратить много места на диске, (+) получить возможность архивирования удачного варианта раздутия, (+) возможность передать выборку согласно договору, не раскрывая алгоритмов ее создания. Но наша статья — не об этом, а о «профите» от собственно аугментации, вне зависимости от того, на каком этапе она производится.
3. Насколько нам подсказали наши эксперты, большинство победителей (если не все из них) последних лет на MNIST-e использовали раздутие обучающей выборки. Что бы нового мы могли сообщить об этом? В данной публикации мы не предлагаем никакого распознающего алгоритма, мы сосредоточены на выборке. И аугментация, конечно же, известный подход. Нашей целью было показать, насколько хорошо или плохо он работает. При этом раздутие на рукописных символах, очевидно, иное, чем на печатных. Для ниста обычно используются деформации сглаженным случайным полем смещений.
4. Нам тоже интересно, но, к сожалению, мы не являемся специалистами в этой области.
серые в ёлочку) с бинаризацией не дружат.