Согласен, guardrails на входе сейчас почти везде, и полсекунды на простой модели - нормальная цена. У нас она неудобна тем, что стоит перед ответом последовательно, а подсказка в live разговоре нужна как можно раньше. Это можно обойти - например, запускать классификатор параллельно с основной моделью и пропускать ответ, если он сказал “пропустить”. Сложнее другое - guardrail оценивает само сообщение. Например, мат, опасный контент или инъекцию видно и без контекста. А “отвечать или нет” зависит от диалога: одно и то же “Какие?” бывает и обрывком фразы, и уточнением, на которое надо ответить. Чтобы это различать, классификатору нужна история, и простой моделью он быть перестает.
Спасибо за вопрос! Да, так можно, но есть два нюанса. Классификатору тоже нужен контекст: “Почему?” или “Угу. Какие?” сами по себе выглядят как мусор, а после объяснения собеседника это уточнение, на которое как раз надо ответить. На таких фразах у нас и проседала эвристика “не отвечать, пока человек говорит”. Второе - это лишний вызов перед каждой подсказкой, а в живом разговоре задержку видно сразу. Поэтому мы оставили один вызов, но решение он принимает с короткой историей, и по качеству этого хватило)
Согласен, guardrails на входе сейчас почти везде, и полсекунды на простой модели - нормальная цена. У нас она неудобна тем, что стоит перед ответом последовательно, а подсказка в live разговоре нужна как можно раньше. Это можно обойти - например, запускать классификатор параллельно с основной моделью и пропускать ответ, если он сказал “пропустить”. Сложнее другое - guardrail оценивает само сообщение. Например, мат, опасный контент или инъекцию видно и без контекста. А “отвечать или нет” зависит от диалога: одно и то же “Какие?” бывает и обрывком фразы, и уточнением, на которое надо ответить. Чтобы это различать, классификатору нужна история, и простой моделью он быть перестает.
Спасибо за вопрос! Да, так можно, но есть два нюанса. Классификатору тоже нужен контекст: “Почему?” или “Угу. Какие?” сами по себе выглядят как мусор, а после объяснения собеседника это уточнение, на которое как раз надо ответить. На таких фразах у нас и проседала эвристика “не отвечать, пока человек говорит”. Второе - это лишний вызов перед каждой подсказкой, а в живом разговоре задержку видно сразу. Поэтому мы оставили один вызов, но решение он принимает с короткой историей, и по качеству этого хватило)