Comments 5
проголосовал наоборот))
И напоследок, квиз: как думаете какие признаки не активируются при запросе «Ded Moroz» в модели GEmini2-27B?
исправьте опечатку
Иван, спасибо большое за материал (а также личное спасибо за лекции на курсе, который не будем тут рекламировать, очень толковые).
Есть вопрос - заинтересовал последний абзац про возможность отслеживания признаков в опенсорсных моделях. Как это можно использовать для улучшения метрик качества их ответов? Условно, можно ли как-то отследить, какие признаки повышают качество ответов по определенной доменной области и потом их как-то «активировать»? Опять же, что такое в данном случае активация? Просто добавка нужных слов в промт?
пока так, наверное, нельзя для целой доменной области. Хотя если взять связанные запросы, посмотреть пересекающиеся активации и их усилить, то может и получится. Но вряд ли это улучшит качество ответов - в общем, тут есть что поисследовать. Активация, в контексте статьи, это искусственное увеличение веса определенного признака. Чтобы лучше разобраться можно углубиться в тему стиринга. Или потыкать в интерактивный интерфейс.
Как «думает» ИИ: гроккаем разреженные автоэнкодеры (SAE)