Есть задача идентификации, есть задачи верификации. Это две разных задачи. Для них по разному выбираются пороги, по разному происходить оптимизация. Apple не надо иметь хороших алгоритмов, в том числе из-за их железа. Там и детектор лица на порядок проще, и поиск ключевых точек.
По сравнению с тем, что у Ntech и VisonLabs — у них детский сад.
У них есть своё решение по 2д + используется 3Д. Но оно очень нишевое под их задачу. По сравнению с конкурентами именно по 3д лицу — там всё слабо. Единственный их плюс, но плюс существенный — это то что их математика оптимизирована для распознавания пользователя смартфона. Её достаточно сложно обмануть. Гопники из из соседнего подъезда не откроют(хотя для любого профессионала сложности нет). При этом оно куда удобнее в эксплуатации того же Самсунга с радужкой. И всё. Всё остальное — весьма слабо и не имеет отношения к тему статьи.
Со вкусом проблема в том, что тайный покупатель тоже его корректно не сможет оценить, это эксперт нужен. Так что единственный способ что-то мониторить — это следить за соблюдением рецептуры и технологии.
У Додо, на мой взгляд, это хорошо сделано. Ел у них три раза в жизни: в Смоленске, в Москве и в Находке. И везде было ровно одно и то же. А вот ПапаДжонс, который куда вкуснее чем они — от пиццерии к пиццерии может кардинально отличаться.
Вроде как тут вот «5.2 Test design» написано всё же, что «The number of images used to make 1 template is 1». Поправьте если не прав.
С дескриптором персоны методология должна усложниться ощутимо.
Не все задачи решены, ещё раз. Есть математические и физические ограничения сегодняшнего развития: их никто не отменял.
Я знаю, что сейчас алгоритмов трекинга/реиндентификации не хватает для этой задачи. Можно ли их допилить? Возможно да, возможно нет. Они явно не допиливаются госконторой в рамках госзаказа -> не хватит компетенций и энтузиазма.
Да, если вбухать туда денег как в олимпиаду — наверное можно через десять. А может получиться как с тем ишаком говорящим.
В любом случае, любые задачи которые на сегодняшний день существуют — можно решить проще, дешевле и быстрее. Хотя да, местами нужны будут административные вмешательства.
Спасибо!
Вроде на Ализара я ссылался только в местах где контекст «журналисты говорят». Там как-бы подразумевается, что всё написанное несусветная противоречивая чушь:)
Но, возможно, я сделал это чересчур серьёзно…
Сделайте;)
Опять же. Вы говорите про очень-очень сложную систему. Которая съест огромное число человекочасов, стоимость внедрения которой будет астрономической. Но зачем, если можно делать проще, лучше, надежнее, поставив её на входе?
При этом эти стоимости — никак не будут окупаться. Система будет стоить миллиарды. Общественный резонанс — ужасный. Что от самой идеи, что от стоимости. Финансовая прибыль — нулевая. Все задачи можно решить проще и дешевле.
А то что такая система будет хоть как-то работать, у меня есть очень большие сомнения. Выше я писал почему (все алгоритмы всех уровней сырые, дают плохие точности). Камеры ужасные.
То что сейчас есть — уже позволяет работать в ручном режиме, если надо кого-то найти поймать. Это как сделать и разработать робота который будет вам наливать в бокал коктейль. Сделать можно, из любви к искусству. Но стоимость создания и эксплуатации в жизни не окупиться.
Смотрите. Я в статье писал про математику, про FAR и FRR. И проще оценивать через них.
FARы таким подходом мы не сильно сократим если люди похожи, похожи причёски, и.т.д. а большая часть FARов именно на таких данных. FRR — мы таким подходом можем немного сократить, там с 40% в лучшем случае до 20-30.
Но даже если мы выиграем порядок — ситуация сильно не поменяется. Как вы видите по остальным цифрам — для полного решении задачи там ещё много порядоков точности надо. А для минимальной помощи сотрудникам — да, можно уже сейчас делать, я это тоже показывал. Можно чуть-чуть уменьшить количество ошибок.
Если же камеры с хорошим освещением поставить на входе — то можно выиграть сильно дешевле, без непонятной математики два порядка. Всё равно для полноценной системы не хватит. Но уже лучше.
Добрый день, спасибо за статью! Слышал про всю эту тему ещё год назад, было интересно чем закончилось.
Даже если считать по максимальным затратам, решение все равно выглядит выгодным – нейросеть есть не просит и не претендует на бесплатную пиццу.
Это верное утверждение для решения ivideon, которое явно делалось на потоке, так же как и другим компаниям. Но вряд ли верно для решения по распознаванию качества пицц. К сожалению, любая такая система имеет и большую стоимость разработки (разработка идёт под одного заказчика), и неплохую стоимость эксплуатации (вышла новая пицца — нужно добавить в модели, в обучение). Поддерживать сервера, поддерживать качество обучения, и.т.д.
Учитывая размер Додо — это, безусловно, должно быть выгодное решение. Но интересны именно то во сколько раз получилось поднять качество/снизить косты работы системы.
В идеале, на полупустой улице это теоретически возможно. Но в метро/любом прочем транспорте где толпа и всё загружено — это нереально. Алгоритмы сильно не идеальные. Тут сразу две задачи, одна это «Tracking», вторая — «Reindentification». Можете погуглить. Первая решается хоть как-то, но при толпе всё плохо. Вторая решается откровенно плохо. Либо надо просто сплошное поле камер, вертикально ориентированных, перекрывающееся на потолке вешать, где трекать по головам. Но это нереально по стоимости. Да и не понятны цели. Плюс такую систему никто не будет давать гарантий что она работает.
Сильно проще поставить шлюзы с хорошим освещением и хорошими камерами на вход в метро. Точность значительно выше будет, чем от всяких таких ухищрений. Но даже так — не достаточно, я это тоже писал. Ложняков будет много, даже если и пропуски сильно упадут.
А по головам считать… Мосгостранс вроде уже 3-4 год ищет хоть у кого-то решение, чтобы поставить в автобусы и считать людей по головам с достаточной точностью. Так никто же не предлагает...;)
Дообучать надо всегда всей базой. Там есть работы где показывают, что буквально 3-4 эпохи по новым данным могут практически полностью разрушить всю сеть к восприятию старых данных.
Инициализировать сеть можно уже обученными — тогда быстрее будет. Но в теории это может немного качество просадить
К счастью, мы не решаем общую задачу поиска всех товаров на всех прилавках. Сейчас мы делаем решение для определённой группы товаров на довольно стандартизированных стеллажах в границах одной страны. С детектированием проблем практически нет. В статье тоже рассматриваем частный случай.
Вы дошли уже до того что реальные пользователи снимают фото? Просто всё начинает рушиться именно в этот момент. Например одна фирма начала закупать своим бегункам более качественные смартфоны, ибо по другому уже никак не решалось кривость их рук.
И всё равно данные были сильно хуже.
Вообще, успехов, вам конечно. Но рынок этот очень странный. Вроде их всех 4-5 компаний которые я знаю в какой-то плюс сейчас одна всего смогла выйти. Остальные инвестиции проедают/тестовые пилотные проекты с минимальным плюсом.
сейчас достигается использованием примера из Keras без усилий.
Ой, тут вы заблуждаетесь:)
Принципиально на Keras можно сделать решение лучше. Без нейронных сетей такое качество было не достижимо. Но объём работы который тратиться- значительно больше. Просто он даёт более предсказуемый результат. А вместо науки и математики приходиться заниматься набором, менеджментом базы и проверкой переобучением разных алгоритмов.
Буквально позавчера уже была статья про похожую задачу, писал там комментарий. В принципе, у вас он почти такой же :)
Нельзя решать задачу поиска товаров в магазинах переходя к задаче «поиск пачек сигарет». Как только ваша задача станет более общей, когда у вас появятся стиральные порошки, молочка, планограммы с товарами прикрепленными к стойкам — ваши методы перестанут работать. В первую очередь отлетит SSD. В нём нет математики которая бы разбирала большое число нагромождённых объектов в одной области. У вас каждый гиперпиксель выхода даёт 4 координаты:
Х смещения, Y смещения, высота и ширина объекта.
Сейчас вы боретесь с этим увеличением размера (что нельзя будет автоматизировать по разнородной выборке), а так же ручным разбором выдачи. Ручной разбор выдачи у вас сделан поглащением. Это перестанет работать когда у вас на снимаемой полке будет сложная архитектура выкладки, будет передний/задний план, и.т.д.
Смотрите сетки, которые не страдают такими проблемами как ограниченная разметка выхода. Их много, но да, они не настолько простые как TensorFlowApi.
Про то как вы классификацию выхода делаете — вообще промолчу. 10 классов с точностью 92% это очень плохо.
Когда мы такое делали — у нас по десятку тысяч классов была неплохая точность (были проблемы, конечно, когда два одинаковых порошка с разными вкусовыми добавками проскакивали). Но и для добавления нового класса ничего переобучать было не нужно.
Так что смотрите не в сторону классификационных алгоритмов лучше…
Да, моя статья:)
С тех пор реально стало всё получше. Мы в двух разных компаниях внедрили математику и процесс который хорошую локализацию и ценников и товаров делает.
Модельки появились неплохие. Но главное появилось понимание как объединять автоматические распознавания и ручной труд. Без этого понимания смысла нет. Какая бы хорошая модель не была — всё равно будет масса ошибок, с которыми надо работать, которые надо понимать как преодолеть.
Надо выстраивать многоуровневую автоматизацию труда, когда идёт оценка работы на каждом шаге независимая того что делает сотрудник а что сеть.
По тому как тут написано — сразу скажу что всё будет работать плохо:
1) SSD не разбирает варианты наложения. Любая молочка такого плана — это сразу треш-выдача:
Мы тестировали с SSD, но правильно сконструированная под задачу модель даёт сильно лучше качество. Если надо не ценники, а товары искать — SSD вообще не будет работать. И всё равно этого в боевом применении не всегда достаточно.
2) Обучающая выборка в ~400 примеров просто ни о чём. Хоть какая-то приемлемая точность по детекции возникает начиная с 3-4 тысяч изображений на каждой их которых ценников хотя бы пяток. Есть одна фирма которая предоставляет такие услуги по распознаванию, которая даже полноценный 3Д движок сделала для генерации семплов. На мой взгляд это оверкил, который плохо работает, но всё же.
3) Даже в рамках одного магазина ценник бывает принципиально разным. При этом доля основного ценника может составлять 60-70%.
Тут вообще не рассматривалось как всё плохо будет.
Мы обучали модель чтобы была стабильна даже к разным магазинам. Но, опять же — не SSD.
4) Мне нравиться как в задаче такого плана пишут «цена распознана более-менее правильно»:) И показывают кучу ошибок. Реально на боевых данных с ценой всё ооочень плохо. И видно, что тут авторы даже не пробовали начинать копать в эту сторону. Использование Тесеракта (какого, кстати? В новом, который месячной давности не всё так плохо, там сеточки хотя бы появились) — это уже дурной тон.
А вообще лучше без CTC-потерь и обучения соответствующих сетей ничего в эту сторону не делать. Даже использования распознавания гугла по текстам — и то более перспективно.
В целом тут нужно сказать что. Если работа была сделана несколькими студентами-недавными выпускниками в качестве развития и обучения — она хорошая и полезная. Если будете допиливать — то через пол года-год у вас появиться неплохая модель, которую можно будет начинать внедрять (чтобы понять что в реальности ничего не заработает, и идти надо не от задачи а от бизнес процесса). Но к тому моменту у вас будет достаточно опыта чтобы за месяц переписать всё с нуля:)
Советую пока что погуглить по сетки которые могут делать детекции при наличии большого числа объектов рядом (даже на Kaggle были неплохие конкурсы с участием таких сетей). Потом погуглить как делается распознавание текста. И да, без вашего модуля всё будет плохо.
И базы-базы. 80% работы любой компании в области DL — это не модели и обучение. Это сбор, разметки и подготовка хороших баз. Советую научиться использовать Яндекс Толоку или Механического Турка.
Да бред какой-то, а не статья. Просто много абсолютной чуши. К тому что выше написал Roman_Kh могу добавить что оригинальный Caffe уже больше года не разрабатывается. Есть Caffe2 — который по сути совершенно другая среда и про другое.
PyTorch и Torch опять же — абсолютно про разное, и для разного. Какого фига они замешаны в одну категорию, там даже границы не проводиться.
Не считая абсолютно некомпетентных вещей про скорость исполнения и про развёртывание моделей.
Может быть перевод статьи давностью где-то полтора-два года назад. На тот момент плюс-минус актуально выглядит.
Ну это ведь с какой стороны смотреть? Вот если открыть более полную картинку: www.nist.gov/sites/default/files/documents/2018/02/15/frvt_report_2018_02_15.pdf
Non-coperative как NTech был первым — так им и остаётся.
Решение Vocord было трёхмесячной давности. А VisionLab заапдейтил прямо перед конкурсом и обогнал Vocord на пол процента (NTech тоже месяца 2 ничего не апдейтил, китайцы тоже ничего не апдейтили, те же 0.5 процента на одном из датасетов). На алгоритмах 4хмесячной давности у VisionLab сильное отставание.
Это ни коем образом не меняет результат: статья полностью рекламная, в ней нет ни актуального положения на сегодняшний день, ни сравнения алгоритмов, а есть только одна реклама и маркетинговый булшит.
Но алгоритм VisionLabs был признан Массачусетским университетом одним из лучших среди существующих.
Странная отсылка. Тестированием алгоритмов всех мастей в Америке занимается NIST. И именно её отчёты считаются самыми лучшими и референсными. Там очевидно видно, что вижнлабс проигрывает много кому, ну либо на тех же уровнях: www.nist.gov/sites/default/files/documents/2017/10/03/frvt_report_2017_10_03.pdf
Даже в России лучше него как минимум NTech, Vocord (ещё есть 3divi примерно на том же уровне).
Плюс куча кто из России не попал в список тестирования (ЦРТ, например + десяток мелких).
По сравнению с тем, что у Ntech и VisonLabs — у них детский сад.
У них есть своё решение по 2д + используется 3Д. Но оно очень нишевое под их задачу. По сравнению с конкурентами именно по 3д лицу — там всё слабо. Единственный их плюс, но плюс существенный — это то что их математика оптимизирована для распознавания пользователя смартфона. Её достаточно сложно обмануть. Гопники из из соседнего подъезда не откроют(хотя для любого профессионала сложности нет). При этом оно куда удобнее в эксплуатации того же Самсунга с радужкой. И всё. Всё остальное — весьма слабо и не имеет отношения к тему статьи.
У Додо, на мой взгляд, это хорошо сделано. Ел у них три раза в жизни: в Смоленске, в Москве и в Находке. И везде было ровно одно и то же. А вот ПапаДжонс, который куда вкуснее чем они — от пиццерии к пиццерии может кардинально отличаться.
С дескриптором персоны методология должна усложниться ощутимо.
Я знаю, что сейчас алгоритмов трекинга/реиндентификации не хватает для этой задачи. Можно ли их допилить? Возможно да, возможно нет. Они явно не допиливаются госконторой в рамках госзаказа -> не хватит компетенций и энтузиазма.
Да, если вбухать туда денег как в олимпиаду — наверное можно через десять. А может получиться как с тем ишаком говорящим.
В любом случае, любые задачи которые на сегодняшний день существуют — можно решить проще, дешевле и быстрее. Хотя да, местами нужны будут административные вмешательства.
Вроде на Ализара я ссылался только в местах где контекст «журналисты говорят». Там как-бы подразумевается, что всё написанное несусветная противоречивая чушь:)
Но, возможно, я сделал это чересчур серьёзно…
Опять же. Вы говорите про очень-очень сложную систему. Которая съест огромное число человекочасов, стоимость внедрения которой будет астрономической. Но зачем, если можно делать проще, лучше, надежнее, поставив её на входе?
При этом эти стоимости — никак не будут окупаться. Система будет стоить миллиарды. Общественный резонанс — ужасный. Что от самой идеи, что от стоимости. Финансовая прибыль — нулевая. Все задачи можно решить проще и дешевле.
А то что такая система будет хоть как-то работать, у меня есть очень большие сомнения. Выше я писал почему (все алгоритмы всех уровней сырые, дают плохие точности). Камеры ужасные.
То что сейчас есть — уже позволяет работать в ручном режиме, если надо кого-то найти поймать. Это как сделать и разработать робота который будет вам наливать в бокал коктейль. Сделать можно, из любви к искусству. Но стоимость создания и эксплуатации в жизни не окупиться.
FARы таким подходом мы не сильно сократим если люди похожи, похожи причёски, и.т.д. а большая часть FARов именно на таких данных. FRR — мы таким подходом можем немного сократить, там с 40% в лучшем случае до 20-30.
Но даже если мы выиграем порядок — ситуация сильно не поменяется. Как вы видите по остальным цифрам — для полного решении задачи там ещё много порядоков точности надо. А для минимальной помощи сотрудникам — да, можно уже сейчас делать, я это тоже показывал. Можно чуть-чуть уменьшить количество ошибок.
Если же камеры с хорошим освещением поставить на входе — то можно выиграть сильно дешевле, без непонятной математики два порядка. Всё равно для полноценной системы не хватит. Но уже лучше.
Это верное утверждение для решения ivideon, которое явно делалось на потоке, так же как и другим компаниям. Но вряд ли верно для решения по распознаванию качества пицц. К сожалению, любая такая система имеет и большую стоимость разработки (разработка идёт под одного заказчика), и неплохую стоимость эксплуатации (вышла новая пицца — нужно добавить в модели, в обучение). Поддерживать сервера, поддерживать качество обучения, и.т.д.
Учитывая размер Додо — это, безусловно, должно быть выгодное решение. Но интересны именно то во сколько раз получилось поднять качество/снизить косты работы системы.
Сильно проще поставить шлюзы с хорошим освещением и хорошими камерами на вход в метро. Точность значительно выше будет, чем от всяких таких ухищрений. Но даже так — не достаточно, я это тоже писал. Ложняков будет много, даже если и пропуски сильно упадут.
А по головам считать… Мосгостранс вроде уже 3-4 год ищет хоть у кого-то решение, чтобы поставить в автобусы и считать людей по головам с достаточной точностью. Так никто же не предлагает...;)
Инициализировать сеть можно уже обученными — тогда быстрее будет. Но в теории это может немного качество просадить
Вы дошли уже до того что реальные пользователи снимают фото? Просто всё начинает рушиться именно в этот момент. Например одна фирма начала закупать своим бегункам более качественные смартфоны, ибо по другому уже никак не решалось кривость их рук.
И всё равно данные были сильно хуже.
Вообще, успехов, вам конечно. Но рынок этот очень странный. Вроде их всех 4-5 компаний которые я знаю в какой-то плюс сейчас одна всего смогла выйти. Остальные инвестиции проедают/тестовые пилотные проекты с минимальным плюсом.
Ой, тут вы заблуждаетесь:)
Принципиально на Keras можно сделать решение лучше. Без нейронных сетей такое качество было не достижимо. Но объём работы который тратиться- значительно больше. Просто он даёт более предсказуемый результат. А вместо науки и математики приходиться заниматься набором, менеджментом базы и проверкой переобучением разных алгоритмов.
не в ту ветку ответил
Нельзя решать задачу поиска товаров в магазинах переходя к задаче «поиск пачек сигарет». Как только ваша задача станет более общей, когда у вас появятся стиральные порошки, молочка, планограммы с товарами прикрепленными к стойкам — ваши методы перестанут работать. В первую очередь отлетит SSD. В нём нет математики которая бы разбирала большое число нагромождённых объектов в одной области. У вас каждый гиперпиксель выхода даёт 4 координаты:
Х смещения, Y смещения, высота и ширина объекта.
Сейчас вы боретесь с этим увеличением размера (что нельзя будет автоматизировать по разнородной выборке), а так же ручным разбором выдачи. Ручной разбор выдачи у вас сделан поглащением. Это перестанет работать когда у вас на снимаемой полке будет сложная архитектура выкладки, будет передний/задний план, и.т.д.
Смотрите сетки, которые не страдают такими проблемами как ограниченная разметка выхода. Их много, но да, они не настолько простые как TensorFlowApi.
Про то как вы классификацию выхода делаете — вообще промолчу. 10 классов с точностью 92% это очень плохо.
Когда мы такое делали — у нас по десятку тысяч классов была неплохая точность (были проблемы, конечно, когда два одинаковых порошка с разными вкусовыми добавками проскакивали). Но и для добавления нового класса ничего переобучать было не нужно.
Так что смотрите не в сторону классификационных алгоритмов лучше…
С тех пор реально стало всё получше. Мы в двух разных компаниях внедрили математику и процесс который хорошую локализацию и ценников и товаров делает.
Модельки появились неплохие. Но главное появилось понимание как объединять автоматические распознавания и ручной труд. Без этого понимания смысла нет. Какая бы хорошая модель не была — всё равно будет масса ошибок, с которыми надо работать, которые надо понимать как преодолеть.
Надо выстраивать многоуровневую автоматизацию труда, когда идёт оценка работы на каждом шаге независимая того что делает сотрудник а что сеть.
По тому как тут написано — сразу скажу что всё будет работать плохо:
1) SSD не разбирает варианты наложения. Любая молочка такого плана — это сразу треш-выдача:
Мы тестировали с SSD, но правильно сконструированная под задачу модель даёт сильно лучше качество. Если надо не ценники, а товары искать — SSD вообще не будет работать. И всё равно этого в боевом применении не всегда достаточно.
2) Обучающая выборка в ~400 примеров просто ни о чём. Хоть какая-то приемлемая точность по детекции возникает начиная с 3-4 тысяч изображений на каждой их которых ценников хотя бы пяток. Есть одна фирма которая предоставляет такие услуги по распознаванию, которая даже полноценный 3Д движок сделала для генерации семплов. На мой взгляд это оверкил, который плохо работает, но всё же.
3) Даже в рамках одного магазина ценник бывает принципиально разным. При этом доля основного ценника может составлять 60-70%.
Тут вообще не рассматривалось как всё плохо будет.
Мы обучали модель чтобы была стабильна даже к разным магазинам. Но, опять же — не SSD.
4) Мне нравиться как в задаче такого плана пишут «цена распознана более-менее правильно»:) И показывают кучу ошибок. Реально на боевых данных с ценой всё ооочень плохо. И видно, что тут авторы даже не пробовали начинать копать в эту сторону. Использование Тесеракта (какого, кстати? В новом, который месячной давности не всё так плохо, там сеточки хотя бы появились) — это уже дурной тон.
А вообще лучше без CTC-потерь и обучения соответствующих сетей ничего в эту сторону не делать. Даже использования распознавания гугла по текстам — и то более перспективно.
В целом тут нужно сказать что. Если работа была сделана несколькими студентами-недавными выпускниками в качестве развития и обучения — она хорошая и полезная. Если будете допиливать — то через пол года-год у вас появиться неплохая модель, которую можно будет начинать внедрять (чтобы понять что в реальности ничего не заработает, и идти надо не от задачи а от бизнес процесса). Но к тому моменту у вас будет достаточно опыта чтобы за месяц переписать всё с нуля:)
Советую пока что погуглить по сетки которые могут делать детекции при наличии большого числа объектов рядом (даже на Kaggle были неплохие конкурсы с участием таких сетей). Потом погуглить как делается распознавание текста. И да, без вашего модуля всё будет плохо.
И базы-базы. 80% работы любой компании в области DL — это не модели и обучение. Это сбор, разметки и подготовка хороших баз. Советую научиться использовать Яндекс Толоку или Механического Турка.
PyTorch и Torch опять же — абсолютно про разное, и для разного. Какого фига они замешаны в одну категорию, там даже границы не проводиться.
Не считая абсолютно некомпетентных вещей про скорость исполнения и про развёртывание моделей.
Может быть перевод статьи давностью где-то полтора-два года назад. На тот момент плюс-минус актуально выглядит.
www.nist.gov/sites/default/files/documents/2018/02/15/frvt_report_2018_02_15.pdf
Non-coperative как NTech был первым — так им и остаётся.
Решение Vocord было трёхмесячной давности. А VisionLab заапдейтил прямо перед конкурсом и обогнал Vocord на пол процента (NTech тоже месяца 2 ничего не апдейтил, китайцы тоже ничего не апдейтили, те же 0.5 процента на одном из датасетов). На алгоритмах 4хмесячной давности у VisionLab сильное отставание.
Это ни коем образом не меняет результат: статья полностью рекламная, в ней нет ни актуального положения на сегодняшний день, ни сравнения алгоритмов, а есть только одна реклама и маркетинговый булшит.
Странная отсылка. Тестированием алгоритмов всех мастей в Америке занимается NIST. И именно её отчёты считаются самыми лучшими и референсными. Там очевидно видно, что вижнлабс проигрывает много кому, ну либо на тех же уровнях:
www.nist.gov/sites/default/files/documents/2017/10/03/frvt_report_2017_10_03.pdf
Даже в России лучше него как минимум NTech, Vocord (ещё есть 3divi примерно на том же уровне).
Плюс куча кто из России не попал в список тестирования (ЦРТ, например + десяток мелких).
Так что статья чистая реклама. Это печально.