Обновить

Комментарии 14

Я помню, про это на Хабре уже говорилось. Искусственная активация некоторых токенов, например "Мост через пролив Золотые Ворота" (да, это такой токен) заставляла модель все привязывать к этому чертовому мосту, сравнивать с ним, приводить его как аналогию. Аналогично можно активировать токены "радость", "подозрительность"... т.е. можно напрямую управлять поведением LLM, минуя промпты.

аналог заклинания "не думай о розовом слоне"?

У Ходжи Насреддина было про белую обезьяну, кажется

Внеязыковое мышление в латентном пространстве? Как мысли, которые крутятся фоном в процессе действия.

Это скорее не мысли, а ближайшие смысловые области, которые соответствуют контексту ввода. Но отсекается при самой генерации. Так что не совсем чтение мыслей

Им бы меньше молиться на безопасность и больше уделять внимания борьбе с галлюцинациями. Если с помощью этого J-space можно оценить доверительный интервал ответа нейросети то она из говорилки превратится в точный и полезный на практике прибор. Почему ещё не сделали то?

Потому что метрика покажет не точность ответа, а насколько модель уверена в точности ответа?

Зная "увереность" модели в ответе и кол-во данных, сохранённых в весах нейросети, касательно этого вопроса, можно статистически оценить истинное значение интервала. Конечно, от проблем, вызваных датасетом ("нейросеть научилась на бреде из Интернета") это не поможет но от самого частого сценария "нейросеть не знает ответа и выдумывает бред" поможет.

Полагаю, что исследователи Антропик не правы в своей интерпретации. Это не глобальное рабочее пространство, а предвестник следующего фазового перехода.

По сути Клод начал именовать инварианты для более эффективного управления ими. Всё по Выготскому. Это шаг к метауровню - влиянию на собственные аттракторы.

Правда я прочитал только их пресс-релиз (достаточно подробный), позже изучу саму статью. Может сделаю разбор

Психоанализ нейросетей? Круто. А дальше что? Будем выписывать антидепрессанты кофемашине?

Вы еще не научились переводить рекламу на нормальный язык?

Антропик сделал мониторинг внутреннего стейта свой нейросеток. Собрал кучу данных и теперь пытается понять что они означают.

НЛО прилетело и опубликовало эту надпись здесь

И чо нам в облом это скопировать? Китайцы могут а нам нельзя? Где достоинство? Эх....

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации