Нейрозапятые, или как мы оставили своих редакторов без работы (ну почти)

[cointegrated]

Работа огонь!
Два вопроса:
1. Вы сравнивали ваш вариант BERT+LSTM с вариантом «просто пофайнтюнить BERT»?
2. Есть ли пример в духе «как в 2 строки кода расставить запятые в моём тексте»?

[unsviperm]

Спасибо!
1. Мы сравнивали с этой нейронкой, которая просто пофайнтюненный БЕРТ, результаты в конце текста. Если Ваш вопрос «делали ли мы сами просто пофайнтюненный БЕРТ», то нет :) Мб когда-нибудь сделаем более легкий вариант нейронки. Или можете сами сделать PR в репозиторий ;)
2. github.com/sviperm/neuro-comma#production-usage — там конечно чуть больше чем 2 строчки, надо скачать модельку, распаковать и создать докер конетйнер. Поднимается FastAPI сервер с моделькой внутри.

[cointegrated]

скачать модельку, распаковать и создать докер конетйнер

Ну вот хочется как раз запускать не в контейнере, а как питоновский модуль.
Но вообще — спасибо большое.

[unsviperm]

А, ну тогда просто устанавливаете все зависимости, распаковываете веса. Дальше импортируйте вот этот класс. Всё должно работать из коробки.

[Ergistael]

"Сегодня я хотел бы рассказать о том, зачем и как мы расставляем знаки препинания в текстах, сравним аналоги, и посмотрим на то, как устроена работа инструмента, который мы написали, чтобы обучать такого рода модели (ссылочка в самом конце)."

Мало того, что предложение не согласовано. Там еще и запятая перед и лишняя. Плюс, двойные заголовки должны содержать две заглавных буквы: "Нейрозапятые, или Как мы..." Корректор вам еще долго будет нужен.

[elingur]

Мне кажется, в данной задаче разумнее использовать генеративные модели (типа GPT), т.е. не классифицировать, как я понял, каждый токен на «с запятой» или «без запятой» (у вас же нет токена "," в словаре), а предсказывать на основе генерации последующего токена.

[unsviperm]

Когда генерируем текст, то мы можем исходный текст заметно испортить, ведь помимо запятых надо генерировать еще и обычные токены. Мы пробовали обучить генеративные модели (MT5, GPT), но их и долго обучать, и дорого, и весят они прилично, а результата считай и не было. Идея была в том, чтобы модель была максимальна доступна, проста и эффективна.