Комментарии 14
Я помню, про это на Хабре уже говорилось. Искусственная активация некоторых токенов, например "Мост через пролив Золотые Ворота" (да, это такой токен) заставляла модель все привязывать к этому чертовому мосту, сравнивать с ним, приводить его как аналогию. Аналогично можно активировать токены "радость", "подозрительность"... т.е. можно напрямую управлять поведением LLM, минуя промпты.
Внеязыковое мышление в латентном пространстве? Как мысли, которые крутятся фоном в процессе действия.
Им бы меньше молиться на безопасность и больше уделять внимания борьбе с галлюцинациями. Если с помощью этого J-space можно оценить доверительный интервал ответа нейросети то она из говорилки превратится в точный и полезный на практике прибор. Почему ещё не сделали то?
Потому что метрика покажет не точность ответа, а насколько модель уверена в точности ответа?
Зная "увереность" модели в ответе и кол-во данных, сохранённых в весах нейросети, касательно этого вопроса, можно статистически оценить истинное значение интервала. Конечно, от проблем, вызваных датасетом ("нейросеть научилась на бреде из Интернета") это не поможет но от самого частого сценария "нейросеть не знает ответа и выдумывает бред" поможет.
Полагаю, что исследователи Антропик не правы в своей интерпретации. Это не глобальное рабочее пространство, а предвестник следующего фазового перехода.
По сути Клод начал именовать инварианты для более эффективного управления ими. Всё по Выготскому. Это шаг к метауровню - влиянию на собственные аттракторы.
Правда я прочитал только их пресс-релиз (достаточно подробный), позже изучу саму статью. Может сделаю разбор
Психоанализ нейросетей? Круто. А дальше что? Будем выписывать антидепрессанты кофемашине?
И чо нам в облом это скопировать? Китайцы могут а нам нельзя? Где достоинство? Эх....
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Anthropic научилась читать мысли Claude, которые ИИ не говорит вслух