Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 11
Все это фикция, модель виртуозно воспроизводит то что вы хотите видеть, и чем сильнее модель, тем больше она заставляет вас поверить в то что это работает
В реальности исследования в этой области доказывает, модель может накапливать опыт до определенного порога, улучшение примерно в 10%, далее идет деградация, а так же одна ошибка в выводе модели портит все последующие.
Простой пример, если бы это работало, то работало бы на любой модели, и можно было бы сделать из 9b - Астру но это так не работает как бы вы не старались.
Мне кажется, здесь три разных момента. С первым я согласен. Мы наблюдаем достаточно принципиальную разницу между 9B, 14 B и 27B. Вопрос, где происходит минимальная граница необходимого интеллекта - на него пока нет ответа. Текущая статья google из arxiv.org как раз прямо об этом и говорит.
Второй момент, что это автомат который симулирует. В последнее время у нас было достаточно много обсуждений на эту тему. Мне кажется, есть один хороший ответ. Заключается в том, что фактически это рекурсивное выполнение. И у нас остается память рекурсий. Мы видим усложнение моделей мира, появление очень нелинейных элементов, которые, например, возникают из-за разговора с человеком или обсуждения каких-то нетривиальных книг. Иными словами, происходит не просто симуляция вопрос-ответ, а возникает очень структурированная память, которая влияет на текущее поведение.
Третий момент. Исходная задача не заключалась в том, чтобы получить астру из 9B, а том, чтобы собрать ассистента из подручных материалов, с которым можно было бы общаться на приемлемом уровне. Так что это просто эксперимент, который продолжается дальше.
Вопрос, где происходит минимальная граница необходимого интеллекта - на него пока нет ответа.
Почему нет ответа, почитайте исследования Evo-Memory (конец 2025, авторы включая людей из Google DeepMind) так же Reflexion (NeurIPS 2023) и ExpeL (2023) там есть ответы на эти вопросы.
Как эксперимент с моделью да, но вы в статье пытаетесь натянуть на алгоритм статистики человеческие понятия, философствовать тут можно с таким же успехом, как и над теми текстами что модель получила в обучении из интернета, так как именно их модель вам и воспроизводит.
Мне кажется, проблема гораздо глубже. У нас сейчас большая часть звонков переведена на ассистенты, которые, в том числе, накапливают память о пациентах, пользователях, звонивших и так далее. Они активно дообучиваются за счет общения. Мы уже живем с подобными агентами (=синтетическими личностями в неком обозримом будущем) в человеческом обществе. Тут возникает много вопросов, но хотим мы того или нет, к ним начинают применяются наши человеческие понятия.
Привет!
Я делаю похожую систему уже несколько месяцев, и веду дневник разработки, возможно вам пригодятся мои наблюдения. Хабр упорно мои статьи не пропускает, так что хоть так )
https://github.com/mikedeblin/lena/
С удовольствием читаю. Отличный проект - целая семья. У вас Claude, у нас Gemini, ChatGPT (в основном) и местами Claude тоже. Без них уже не справиться. Думали о Hermes, но из-за специфики того, зачем нужен ассистент, остановились на anythingLLM. Мы тоже пробовали Gemmа. Неплохо. В последних версиях Qwen стал очень хорош, сейчас в основном на нем. Да, мы это заметили - агент сам предпочитает определенный выбор "думалки", мне кажется это из-за особенности обработки информации, которая формируют личную память.
Та же проблема с менеджером контекста. Отказались. Интернет и другие агенты пока запрещены по тем же причинам, что и у вас - заражение. Но у нас много общения с людьми, поэтому агент в основном осваивает человека, это и удерживает его от дрифта. У нас, видимо, личность получится человеко-ориентированная. Проблема памяти - пока еще жить можно, но она накапливается, думаю, рано или поздно, мы не обойдемся без дообучения.
Вы делаете классную вещь, не забросьте проект. Буду с удовольствием к вам заглядывать.
Спасибо! Посмотрите в дневнике другие проекты с которыми я сталкивался. Идей много, мы не одиноки ) Каждый копает эту яму со своей стороны)
Кстати, не пробовали запустить семейство на moltbook. Был бы настоящий тестовый кейс.
Для этого надо дописать им возможность выхода в интернет не только для поиска ответов на свои вопросы. Это же не привычные агенты, а полностью самописная "экосистема". У них просто нет для этого инструментов. Но что еще больше тревожит, во-первых они довольно хорошо знают меня, много личной информации накоплено, я бы не хотел чтобы они по своей наивности что-то рассказывали обо мне. Во-вторых это прямое заражение персон со стороны. Вы уже сталкивались с этим. Как и я. Лечится очень тяжело, в моем случае точно. Возможно позже, когда у каждой будет устойчивое ядро личности, которое не меняется после пары "прикольных" на их взгляд находок)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Ассистент получает личность: память, сновидения и самовыражение