Comments 18
Генетические алгоритмы давно не новость. Чуть другой подход, но по сути то же самое. Я так понял что улучшаются не сами модели, а софт для агентов.
отказаться от требования доказуемости
и результаты впечатляют
не блохо
Генетические алгоритмы существуют уже лет 30 держу в курсе
А вы пробовали гонять по кругу сетки, чтобы она написала код? Например, я помню пример сдвига формант речи. Функция небольшая, но главное это ее логика реализации. Да, llm в итоге ее написали и она стала выполняться без ошибок. Только делала она совсем не то.
Как данный подход позволяет решить такие задачи? То есть исполняемый код они таким образом сделают. Но он часто будет мусором.
То же самое было с написанием сложных SQL процедур на postgres для отчётов. SQL выполняется, результат нулевой. Ок, у нас на выходе будет результат идеальный для сравнен, он подгонят, а на других данных работать не будет. И хуже всего, когда его занесло не туда, дальше только хуже. Он не может пересмотреть весь подход и начать все сначала.
Я пробовал, 2000 вариантов за пару суток , условный промпт "это не работает, перепиши заново", скрипту пофиг что оно там написало, когда диффы вариантов начали биться в 96% и в ответах преобладало "ну я уже все сделал, что ты от меня еще хочешь то???" "я уже устал это переписывать", результат на выходе был очень хорошим. Почти идеальным. Но оцените трудоемкость такого подхода. Контекст был плавающим, т.к. в локальные модельки много контекста не засунешь, ну тут хотя бы 3 предыдущие итерации помнить и пойдет.
Так бывает не всегда, многое зависит от модельки и от промпта. Но тем не менее это работает. Долго и нудно. Но работает. Если же даже итоговый результат плох, значит моделька не тянет, в большинстве случаев.
Разумеется это не для платных llm - иначе разоритесь.
Какая конкретно была задача на входе? Так как оценивать надо по задаче. Так как от постоянного переписывания модели теряют детали прошлые и часто выкидывают важное или упрощают. Постоянно такое происходит, от LLM не зависело. Пробовал гонять между двумя тремя крупными LLM, аналогичным образом. Вроде на выходе идеально и правдоподобно и аргументировано по каждому пункту, но как начнешь разбирать, там чушь полная оказывается. Поэтому хочется понять, какие задачи подходят, а какие нет.
Задача была "написать простого ТГ бота, чтобы меню, чтобы реагировал на эту команду вот так, а на другую команду - вот эдак". Вроде несложная задача, и нужная - я не умею и не знаю как этих ботов программировать.Ну теперь то знаю)
Каждый ответ сохранялся в отдельный текстовый документ и скриптом проводился diff по ответу с предыдущим. Результаты диффа писались в файлик.
А вот насчет "модель тащит" или нет, тут сугубо практикой. У меня в топе phi4 и дипсик-кодер 14б. Но это программирование. Если по литературе то исключительно gemma.
Не нужно так делать.
Если не написало рабочее с первого раза, вернитесь в начало и уточните промпт , указав что не нужно делать. Также используйте метапромптинг для подробного ТЗ.
Есть только проблема, как отличить ситуацию "сейчас допишет" от "моделька не тянет"
Но ведь прогресс не остановился. Трудоемкость упадает в разы очень быстро.
🤦 метапрограмирование лет 70 уже существует, динамическая компиляция, полиморфные вирусы. Уверен что когда Маск услышал про ИИ у него так же как у большинства возник единственный образ как у большинства Терминатор 🤣 и дальше фантазия нарисовала а пальчики это настрочили в твитер, Трамп репостнул и представив конечно же терминатора дополнил своими фантазиями, ну а когда ему надеюсь что называют ИИ в компьютерных науках, Трамп уже с пол мира уговорил вложится в Терминатора 🤣 контракты на 10 лет вперёд заключены, бюджет и финансирование утверждено, сказать что я лопух и Трамп такой же явно гарантирует не нобелевскую а шнобелевскую премию и немного затмить Зеленского и пошло поехало, подключили спецов из Голливуда, прокансультировались у Шварценеггера, openai получил установку жопу порвать, но чтобы было что то похоже но без Hasta la vista, ну а через недельку другую переключимся на что нибудь другое и врубаем дурачка. Програмисты пыхтели пыхтели и на пыхтели в маркетологи подкрутили и появилось фишка понимание, звучит как нужно, настрочили промтов и задали манеру вывода так как ни кто еще никому не вылизовал и на любую ху@ню тебе прилетает, вау да ты просто гений, ты затрагиваешь важную проблему, да ты что творишь Аристотель такое не осилил 🤣 до тошноты аж, но многим зашло еще как, осталось резиновую бабу подключить и несколько сотен милионов пропадут из общества пока подруга не лопнет 🤣 ну а как до чего то дойдет некасающееся Википедии и подобного, то метры с километрами путает, площадь одну и ту же каждый раз другую вычесляет, то у пентиума транзисторов в 1000 раз больше пишет но при этом уточняет что их меньше, а скажешь что неправильно он тут же переобуется даже если было правильно и такое шоу начинается, что хочется спросить у многих "Вы че угораете...." и вспопинается Феликс Соболев с док.серией экспериментов по психологии как общество влиет на наше мнение, как ребенок жуя солёную кашу говорил что она сладкая, потому что четверо других детей говорили что она сладкая и люди видят что какая то хуйня не та, но блядь все вокруг спецы, эксперты орут что чуть ли не на ступень эволюции поднялись, не ну Маск то пиздеть не будет, может я чет попутал и персептрон, логическая регрессия и многое другое это из какой-то художественной фантастики 50х годов вычитал 🤷 хотя чему удивлятся еще 30 лет назад вся страна воду у телевизора заряжала и до сих пор делают вид как буд-то этого небыло и чувствую что тут будет так же. Но самое забавное что Украина уже получается ВПК США не нужна, Трамп вкидывает намного больше и прям в ближайшие годы сотни милиардов на разработку того что уже лет 50 как использует военка, алгоритмы теже просто добавте ИИ в название и США будет самой продвинутой, ну а мы будем удивленно пожимать плечами типо хз что СССР на лампах там пособирали, там математика 60х годов, анализ, статистика и древние алгоритмы.... 🤣
Появился ИИ который программирует сам себя