Комментарии 12
У меня в Topito, где я генерировал детские книги, была похожая история: даешь нейронке идею, а она на выходе дает не просто сказку, а целый новый мир, который потом надо руками приводить к изначальному замыслу. Промпты промптами, но валидация смысла после AI-редактуры - это отдельный геморрой и затрата времени.
В сказках это особенно заметно: модели проще досочинить, чем сдержаться. Поэтому я и считаю долю правки скриптом. Если после «редактуры» поменялось больше 15% слов, это уже переписывание, и такой вариант проще выбросить, чем руками возвращать к замыслу)
15% это опытом выстрадано или метрика "на глаз"?
Честно — на глаз, в статье я так и написал, что пороги условные. Правильно откалибровать его можно только на живом редакторе: дать ему тот же текст, посчитать word_share по его правке и посмотреть, насколько дальше уходит модель. Тогда порог получится свой для каждого жанра: у сказки и у законопроекта нормальная доля правки точно разная.
Температуру не пробовали уменьшить до, например, 0,3? Мне для локальных моделей это помогло избавиться от лишних улучшений.
Температуру не трогал, всё шло на настройках по умолчанию. Ниже температура — меньше случайных замен, тут логика понятная. Но смысл модели меняют не случайно: им кажется, что переписанный текст «лучше». Это температурой не лечится, нужны жёсткий промпт и сверка версий. Интересно прогнать на 0,3 и посчитать, сколько упадёт word_share.
Я это оцениваю не как слцчайные замены, а как уменьшение диапазона свободы, в итоге модель меньше пытается улучшать. У меня была пачка порядка двух сотен текстов транскрибации (примерно на 1,5 часа каждый), нужно было исправить неверно распознанные слова, расставить знаки препинания и разбить правильно предложения, но не менять слова вообще никак, если только это не явная ошибка. Температура + промп (который модель сама же и написала). Температура помогает. В моем случае опытным путем получилось 0,3.
Дополню. Настройки могут зависеть от модели. Изначально я, по неопытности, взял Saiga и Яндекс - те болтали без умолку, не помогало ничего. Gemma4-31 - идеальный вариант.
Похоже, у вас сработала именно связка: температура плюс промпт, который написала сама модель. На расшифровке задача почти механическая, там свобода модели только мешает. В статье модель чаще переписывает, потому что считает улучшение частью работы. Поэтому я бы сначала затянул промпт, а температуру трогал вторым шагом. Gemma запомню, её я как раз не гонял.
Какова, на ваш взгляд, функция редактора при работе с текстом? Потому что запятые — это не работа редактора, это корректура.
Ваш способ надёжнее моего: модель вообще не трогает текст. В промпте из статьи я тоже прошу список правок, но вместе с готовым текстом, и тут модели иногда правят молча, мимо списка. Когда правки идут только списком, такой лазейки нет. Пример с законопроектами хороший: запятая там и правда меняет норму.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Затестил Kimi AI, Qwen, DeepSeek и Grok на работе с текстами. Делюсь результатами