Мы брали те архитектуры, которые использовались в статьях от гугла и самсунга.
В планах есть попробовать и другие архитектуры, такие как: QRNN, RWKV, RetNet.
Добавлю SRU в этот список. Спасибо.
Если честно, то веры в другие архитектуры особой нет: трансформер выдает примерно такое же качество, как и LSTM. А лучше трансформера что-то придумать сложно.
Это у нас есть в планах, обязательно сделаем.
Никак не используется - это, просто, технически невозможно.
Т.к. мы полностью обезличиваем ввод (удаляем всё, что похоже на телефоны, почты, адреса и т.д.) и агрегируем по всем пользователям.
Введенные слова используются только для обучения языковых моделей - и то только с разрешения пользователя.
Тогда уж лучше использовать RWKV: полный параллелизм, свой аналог аттеншена и рекуррентный инференс.
Мы брали те архитектуры, которые использовались в статьях от гугла и самсунга.
В планах есть попробовать и другие архитектуры, такие как: QRNN, RWKV, RetNet.
Добавлю SRU в этот список. Спасибо.
Если честно, то веры в другие архитектуры особой нет: трансформер выдает примерно такое же качество, как и LSTM. А лучше трансформера что-то придумать сложно.
Мы постоянно переобучаем и улучшаем языковую модель.
Да, словари не встроены в клавиатуру.
Можно зайти в "настройки -> языки" и посмотреть, какие словари уже скачаны.
Но без интернета уже скачанные словари не будут обновляться.
Такой настройки на данный момент нет.
Походы в сеть нужны, как минимум, для загрузки и обновлений словарей.
Скорее всего, словари не успевают скачаться. Но все равно какие-то подсказки, пусть и не очень хорошие, должны быть. Попробуем разобраться.
Спасибо!
Спасибо за отзыв!
Можете написать в форму обратной связи клавиатуры?
Мы обязательно рассмотрим и постараемся разобраться.
Спасибо.
В настройках можно отключить подсказки, а потом вернуть обратно. Но это, конечно, не очень удобно.
По нашим замерам, скорость ввода свайпом в 2-3 раза быстрее обычного побуквенного ввода.
К сожалению, чтобы научиться писать свайпом нужно затратить некоторое время, но это время очень быстро окупается.
Спасибо! Обязательно попробуем разобраться с этой проблемой.
Спасибо!
Спасибо! Возможно, когда-нибудь напишем более подробно про наш нейросвайп.
На стадии экспериментов что-то более сложное, чем LSTM, GRU, писали сами.
Т.е. CIFG писали сами, но в CIFG особого смысла не оказалось: обычный LSTM из коробки проще и такого же качества.
Обучение у нас написано на keras + tensorflow, инференс - на tflite.