Мы обнаружили в GPT-2 нейрон конкретного токена

[phenik]

Это такой аналог «нейрона бабушки» для языковых моделей?
Или вот этого, когда подбором специально сгенерированного изображения (промпта) активируется определенный нейрон зрительной системы.

[domix32]

Судя по всему. Учитывая, что нейронные сети строились на основе биологической модели нейронов наличие "нейронов бабушки" в модели не удивительно. Разве что работа механизма несколько отличается от тех, что случаются при молчащих нейронах.

Ну а генерирование промпта для активации конкретных нейронов - это как раз механизм, который использовался для нахождения необходимых нейронов.

[domix32]

Возможно glitch tokens из той же оперы.

[berng]

https://ru.wikipedia.org/wiki/Поправка_на_множественную_проверку_гипотез

[Greenback]

Натали, продолжи:

Ветер с моря дул.

Ветер с моря дул.