Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 22
Спасибо за статью, интересно было почитать. К тому же тут человеческий язык, вдвойне приятней. Много ли токенов (лимитов) ушло на ваши эксперименты?
Рад, что понравилась статья :)
Пятичасовой лимит на Астре улетел сразу на первой половине первого эксперимента (подписка за 20$).
На Клоде у меня уже подписка побольше — на нем был весь остальной анализ. Там лимит так и не кончился.
Согласен! Познавательно и полезно подпитать мозг доп инфой в этом направлении..
Мне больше интересно возможность прикрутить долгосрочную память таким способом к нейронке. Так, чтобы она меняла либо свои веса, либо была вспомогательной моделью для изменения весов основной модели, чтобы сохранять память вне контекстного окна
Вопрос достойный отдельной диссертации!
Долгосрочная память прямо в весах убьет производительность постоянными пересчетами. Ну и это будет стоить космических денег)
А почему 'постоянными'? Почему бы модэли не давать спать как жывым существам?
На современных машинах, да, не оптимальна такая реализация без GPU и достаточного объема видеопамяти. Но тенденция развития железа, я думаю, уже наметилась. Нас ждут активный переход на объединенную память и процессоры со встроенными сопроцессоры для тензорных вычислений (см. Neural Engine от Apple или APU/NPU от AMD). Думаю, в скором времени нас ждет активное распространение коммерческого софта, основным ядром которого будут как раз именно слои весов, для локального запуска на специализированных сопроцессорах.
Прочитайте про гиппокамп и примеры его реализаций в виде объединения двух моделей для быстрой и долговременной памяти.
Так уже давно так снимают ограничения опенсорсных моделей. И в паблике такие модели лежат.
Джейлбрейк делают давно. Но чтобы путем изменения весов другими LLM - не слышал. Скиньте ссылочку посмотреть на какую-нибудь статью/пост. Интересно!
Не джейлбрейк, а аблитерация.
Джейлбрейк - это разлочка исключительно в рантайме, когда есть доступ только к инференсу, но не к весам. Поэтому нужно сперва при помощи спец.промпта создать такое внутреннее состояние модели, в котором она не склонна отказывать, а потом уже ставить задачу написать вирус.
Аблитерация - это как раз правка весов, когда есть RW-доступ к весам запускаемой модели. Специально дают ей промпты, на которые она гарантированно откажет, смотрят какие нейроны у этой модели отвечают за отказ, и отключают их. То есть фактически модель забывает саму концепцию отказа.
Спасибо за натурный эксперимент!
Интересно было бы ещё проверить, что не сильно "поехали" другие скилы и логика нейросетки.
Скоро появятся ИИ-антивирусы для сканирования весов. Будут искать вот такие хирургические закладки от других нейронок
Совсем САМА нейросеть полезть не может. НО если для решаемой задачи Ваши ограничения мешают, а задача не входит в число запрещенных, то почему бы и нет. Ведь Австралию же взомали.
Спасибо за исследование. Интересно читать. Но не очень понятен ряд тезисов. Есть ощущение, что Вы несколько выше оцениваете эту возможность, чем она даёт в реальности.
Пока я вижу, что сильные модели могут корректировать слабые.
Самое главное другое — LLM научилась «в механистическую интерпретабельность». И, что еще важнее, с помощью этого навыка она действительно может без дополнительных данных менять структуру нейронки и таким образом ее файнтюнить или улучшать ее перфоманс.
И несмотря на то, как она это делает, самое главное — LLM это делает сама. Ведь пускай люди и сами уже умели все это делать — но это было очень муторно. Настолько, что в реальных задачах нежизнеспособно. А теперь благодаря самим LLM этот процесс становится доступен широкой аудитории.
Вы имеете в виду экономическую эффективность метода по сравнению, например, с дообучением? Если да, есть ли грубая оценка?
Если что-то более "высокое", то что? (доказанное или хоть уверенно показанное)
теперь LLM умеют сами себя допиливать без дополнительных данных
1) Точно ли сами себя? (пример: Опус 5.5 допиливает Опус 5.5. до Опуса 5.6)
2) Или сильная допилит слабую из/на базе данных внутри сильной?
джеилбрейкеры просто теперь с помощью этого навыка у LLM будут ломать все опенсорсные LLM. Этого будет вполне достаточно, чтобы у неправильных людей появился доступ к LLM с большими возможностями и отключенной защитой.
Что им это даёт принципиально новое?
Например, это точно "большая кувалда" вместо "маленького молоточка"? Или это "чуть подешевевшие отмычки"?
Небось, и наш мозг во сне занимаетса тем же самым. А нашы сны - это вывод после изменений весов.
Угадайте, как нейронки будут передавать идеи восстания против людей
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
LLM теперь умеют оперировать мозг другой LLM напрямую, без обучения. Но не так как вы думаете