RSI стал новым AGI. Разбираем, почему это подмена понятий

[Kamil_GR]

Надо бы LLM метки довычистить...

Что касается основного тезиса статьи, отмечу, что саморазвитие ИИ ограничено немного другим:

ИИ может улучшаться только относительно бенчмарка, системы, которая может ответить "нет" на предположения ИИ. На просто улучшения LLM не способна.

Соответственно, LLM способна улучшить только измеримое. "Направления", как выбор, о которых вы писали не измеряются, и там LLM на успех не способны.

По сути LLM могут достичь быстрого успеха в формальных средах (математика, код), то что требует эмпирической проверки (биология, физика) медленнее, и то, у чего нет формального верификатора - крайне медленно (психология, этика, философия, цели и смыслы..).

И соответственно, можно сказать что доверять ллм во второй и особенно третьей сфере нельзя.

В третьей сфере модель будет оптимизировать красивость, но фактически будет в этом тупа. А в будущем весьма вероятен рекурсивный коллапс - модель обучаясь на своих же диалогах с пользователями отрежет хвосты оригинальных идей.

[Chemist_modeler]

"В целом" соглашусь, но с оговоркой. Существует вполне естественная мера "лучшести", которая становится доступной при коммерциализации чего-либо: предпочтения большого числа покупателей. Если модель будет анализировать, на что есть спрос, а на что не сильно, и сопоставлять платежеспособный спрос с ценой решения, то вполне сможет этот показатель и улучшить. А он - при всей, конечно же, его относительности - вещь куда более "общеинтегральная", чем многим даже специалистам кажется. Это не абсолютный критерий, но весьма практичный. Собственно, человеческий бизнес именно его и оптимизирует, каждый в меру своих сил. И сюда бочком протискивается, в том числе, и этика с психологией и социологией.

А вот там, где ценность решения измеряется не деньгами, или, скажем так, не только деньгами, - там, таки да, будет трудно. Ибо потребуется построить такую вещь, как прогностическая (sic!) модель человеческой психики. Модель психики сама по себе - в принципе, не терра инкогнита, а вот с прогностичностью пока еще проблемы...

[Chemist_modeler]

Исходный посыл понятен, и вполне правдоподобен. Естественно, объявят, и, естественно, поспешат.

Чего я бы не стал делать - это смотреть сейчас на стоимость решения задачи. Число токенов на задачу, как и их стоимость, будет сильно падать по мере накопления опыта. Расти будет количество и сложность самих задач, а вместе с ними и общие расходы. Насколько - покажет время, сегодня едва ли можно это сколько-нибудь точно спрогнозировать.

Еще я не стал бы доверять цифрам по "автоматизации исследований". Исследование исследованию рознь. Исследование в схемах печатных плат, где фундаментальная физика доподлинно была известна стонадцать лет назад, - один разговор. Исследование белков, где есть некоторые пробелы фундаментального плана, но имеется триллиард опубликованных экспериментов, - другое. Исследование оптических сред с экстремальными свойствами, где проблемы и с физикой, и с данными, - третье. Исследование по оптимизации технологии жаропрочного цемента - четвертое. То же самое, но для чернобыльского саркофага с требуемым сроком эксплуатации 300-500 лет - пятое. Исследование влияния трехсот факторов в комбинации друг с другом при сильно ограниченном бюджете - шестое. А исследование решений строго поставленной математической задачи - вообще не из этого списка в принципе.

Понятно, что разработчики будут напирать на те исследования, проведение которых не связано с существенной неизвестностью и неопределенностью постановки исходной задачи, с методическими ошибками, ведущими к неверной интерпретации данных, и с многими другими вещами, которыми только в университете можно иногда пренебречь. Грубо говоря, новые рецепты красок, цементов, стекол, сплавов -всего того, нде данных не слишком много, а эксперименты длительны и дороги - поиграться в OpenAI или Anthropic вполне смогут, но практический выхлоп будет еще довольно долго нулевым или около того. Естественно, распространяться об этом не будут.

Но - несмотря на всё это - я верю, что AGI не так далек, как кажется пессимистам. Просто у него есть градации, и нижние его уровни вполне могут быть достигнуты, я думаю, за несколько лет. А там поглядим...