Comments 10
Про «недостаточно детальный oracle» — самый недооценённый пункт в тексте, и стоит он дороже, чем кажется.
У меня был такой же loop, только не по кернелам, а по торговым стратегиям: генератор гипотез, бэктест в роли oracle, отбор по доходности. Перебор честный, метрика считается честно, победители находятся исправно. Потом в oracle доехали комиссии, проскальзывание и делистинги — и из 231 стратегии гейт не пережила ни одна. Sharpe 0.77 на первой версии проверки превращался в 0.49 на честной.
Мораль ровно как у вас с кропом области текста: пока oracle где-то слеп, поиск найдёт именно это место, и найдёт быстрее, чем настоящее решение. Не потому что хитрый, а потому что дырка дешевле. Обидно тут то, что каждая следующая дырка обнаруживается не размышлением, а очередным подозрительно хорошим результатом.
Это 10000% самое важное. Даже в математике, где есть движок Lean для доказательства, AI может получать неверные результаты, потому что у него формальный критерий - доказать работу в Lean и он может находить баги в движке и использовать их
Пример с Lean тут самый чистый, потому что он крайний: критерий формальный, проверяемый машиной — и всё равно ломается. Значит дело не в том, что критерий недостаточно строгий, а в том, что он вообще существует отдельно от цели.
У меня оракул был мягкий, и оттого хуже: бэктест не падает с ошибкой, он просто отдаёт красивое число. Победители моего перебора оказались не детекторами рынка, а детекторами дырок в данных — выживших тикеров, дивидендов, фундаменталки, которая в базе лежала раньше, чем стала публичной. Формально это тот же баг в движке, только движок никто не писал и багтрекера у него нет.
Практический вывод, к которому я пришёл: работа переезжает в оракул. Генератор гипотез теперь дешёвый, а вот проверяльщик — нет, и чинить его приходится ровно с той скоростью, с какой перебор находит в нём щели. Ночь работы генератора стоит мне примерно неделю работы над критерием.
Позиция менее дофаминовая: прежнего драйва от собственноручного решения не будет.
Брать более сложные задачи из бэклога других областей :)
Про математику уже в тексте есть, ну наверное что-то из биологии - туда смотреть, там крутить и вертеть разное.
Математическое образование очень узкое, но нам внушалось, что надо изучать весь круг наук.Тогда университет был империей духа.
История показывает, что все наше будущее определяется опытом такого как будто бы ни с чем не связанного духовного движения.
В лингвистике, в биологии математика неизбежно присутствует, и мера этого присутствия все время растет. Математикой можно осветить мир в разных плоскостях. В России самым ярким представителем такой универсальной математики был Колмогоров. Он видел мир в целом, у него ведь были работы и по физике, и по лингвистике.
Цитаты из интервью (ЖЖ) Михаила Громова (Wiki справка).
Брать более сложные задачи из бэклога других областей :)
да, я об этом и думаю, но меня демотивируют recursive loops - зачем решать задачи из других областей, можно создать систему, которая будет решать задачи из любой области. Набор мыслительных паттернов человека ограничен и я не вижу препятствий, что через некоторое время AI не выучит их. И если сейчас мы как-то описываем эти задачи, контролируем качество, то скоро думаю будет фазовый переход, когда мы будем отправлять AI поисследовать что-то и он будет возвращаться с офигенными результатами
Проектирование recursive loops и получение результата - чем не драйв. Да, и это тоже работа, которую надо делать человеку.
А оставшееся время выделять на что-то другое, идти вширь например или вглубь, или просто оглядываться по сторонам и строить мосты между дисциплинами (это кстати хорошо делал Михаил Громов, в этом интервью есть про это эпизод, и про то, что чтобы мосты строить нужны территории и реки и их кто-то должен тоже разрабатывать).
Это тоже работа, даже не знаю как ее можно зарекурсить в цикле :) - если сможете, будет интересно поглядеть не результаты.
И вообще полно нерешенных задач, а сложных - и подавно, где надо направлять и определять вектор поиска. И как тут в очередной раз не вспомнить Геделя :)
думаю будет фазовый переход
Не будем раньше времени впадать в уныние :)
"""Fable 5 — я просто описал задачу, и всё сработало. Агент выдавал гипотезы, которые имели смысл, проверял их, отбраковывал тупые. Мне оставалось только кивать на разумные шаги. Claude Opus 4.8 предложил решение, которое вызывало OOM, и на этом как бы сдался — не откорректировал сам, не попробовал другой путь. GPT-5.5 в итоге справился, но мне приходилось явно подсказывать, куда смотреть, иначе он топтался. """. На одной задаче и без конкретики выглядит как реклама Fable 5
Age of Autoresearch: я лёг спать, а за ночь проверилось 40 гипотез — а что мне делать и как дальше работать?