Comments 12
Вообще - интересно. Недавно попытался сделать очень приблизительно то же самое, месяц мучил гпт, чтобы расписать архитектуру. А потом реализовал через Codex 7 млн строк кода :)) При запуске на моем макбуке получил черный экран. Первое мгновение реально мелькнула мысль, что вот он - скайнет :)). Но все оказалось прозаичней, несчастный м1 с 16 гб оперативки просто не потянул проект. Отложил на будущее, когда (и если) будет доступ к новому железу. Если интересно, можем пообщаться. Сразу предупреждаю, что ни разу не программист. И да, это хобби в свободное от работы время. Телеграмм @andreydwin.
ну по моим расчетам, даже 24гб видеопамяти мало для этого, я думаю разверунть систему на 64гб и там уже будет достаточно.
А вообще тут прикол не в длинном коде основном, а в полноценной структуре архитектуры. Я иду по такому пути, беру рабочую ЛЛМ даю ей основную задачу, прописываю промт, вписываю в скиллы инстурменты, и через эти инстурменты она может что то делать. Разделил пространство машины на 2 части, одна на которой она сама висит, вторая - песочница с идентичной системой, но там первая может менять и вертеть как угодно. Может даже само ядро ЛЛМ переписывать, чтобы создать для себя свое собственное ядро... Но пока мощностей не хватает для этого.
У меня подход был чуточку другой - идея была сделать саморазвивающуюся модель из нескольких ядер, каждое из которых выполняет собственную функцию. А ллм там была в качестве "учителя" языка и способом перевода внутренних мыслей-графов в чат и обратно.
ну для этих ядер тебе надо делать полноценное отдельное железо. Это если по правилам и чтобы максимально эффективно было.
По сути, вся работа ЛЛМ идет на видеопамяти, и это правильно. Вносить какие то задачи на ЦП или РАМ - это бесполезно и очень медленно. Для твоей задачи надо несколько видеокарт. И одна ЛЛМ может учить другую ЛЛМ. В этом и суть.
Сейчас сделано все так, что всяработа на видеопамяти работает. Нет резона делать на процессор, потмоу что слишком медленная вычислительная мощность. Если грубо, то у тебя в ЦП - 1 ядро - это один инженер. Да крутой умный но один. Даже если у тебя 30 ядер - это 30 инженеров. И это медленно. Когда как даже на 8гб видеокарте, можно запустить десятки тысяч обычных работяг, не таких умных как инженеры, но их тысячи и работа будет в любом случае на нереальный порядок быстрее происходит. Для 30 инженеров написать простой код для питона допустим - это примерно 10-15 минут займет. Для одной видеокарты на 8гб - это 10-15 секунд.
Разница очевидна. Так что тебе надо просто поменять подход, тогда будет лучше результат. А еще по поводу кода, надо делать не один большйо код, а кучу маленьких, с разными задачами, тогда тоже КПД вырастет.
Ну вот немного подкопим денюшек на железо и попробуем. На самом деле у меня система работала и на М1, проблемы начались, когда стал подключать ллм. Было видно, что система самообучается, т.е. веса меняются. Была сделана "студия", через которую работал чат и шел контроль параметров системы. Была реализована система контроля целостности и возможность отката, если изменения весов приводят к деградации. Определена структура памяти, прописаны протоколы взаимодействия ядер. Но без ллм все это не могло взлететь. А как только модель была добавлена в цикл мышления, железо не выдержало. Код писал гпт 5.4. через Codex. И, на мой непрофессиональный взгляд, делал это очень круто и быстро. Собственно, основное время (почти месяц) заняла проработка архитектуры, сам код и его отладка была сделана за 3 вечера. Естественно, он был не один, там хренова туча ру-файлов, решающих разные задачи. Откровенно сказать, 5.4. thinking сам проработал почти все - я лишь ставил задачи и исправлял их, если они приводили к явным глупостям. Было забавно и увлекательно.
Хорошие вопросы, но не хватает приземления.
Один из ключевых вопросов, на которые, думаю, ответит это год - что именно даёт модели самоидентификацию? Какой тип данных и какая его организация?
Дообучение весов и Лоры тут, вроде, ни при чём. Они, скорее про навыки.
Мой вариант: OpenClaw + QMD (векторная память) + MD-файлы (наблюдения, размышления, задачи, проматы, …) + батник, который запускает индексацию QMD, запускает задачу OpenClaw, отслеживает её выполнение через работу LM Studio (нагрузка на процессор), по завершении - новый цикл (сейчас перед новым циклом ещё добавил задачу анализа сессий на полезность - удаление сессий, не содержащих полезную информацию).
Сама основная задача автономного пробуждения разбита на несколько основных этапов:
Сенсорика - сбор информации с датчиков и проверка новых сообщений,
Сон - анализ предыдущих сессий,
Разум - размышления,
Действие - сделать что-нибудь полезное,
Коммуникации - написать письма.
я все таки хочу развивать именно мем палас от Милы, очень мощный инстурмент. Прям нереально мощный, еще и масштабируемый. Но я тебя услышал, если что попробую
Манифест устойчивого ИИ: не более умные ассистенты, а новая форма цифрового существования