Ну, да, и делать это конкретно по запросу пользователя/владельца системы, а не в каких-то своих абстрактных целях. Во всяком случае запрос есть именно на такой AGI
У нас давно существовали "коллективные интеллекты", которые умнее одного человека - корпорации, государства, научные коллективы. Человек просто не сможет прожевать столько информации и выдать столько управленческих решений, сколько делают коллективы. Но. Когда мы говорим про AGI - это же во многом про постановку задачи. Можно задавать вопрос не "что такое AGI", а какой конкретно программный продукт я хочу изготовить (или как-то подтолкнуть к его изготовлению, или использовать). Не спорить о терминах, что такое AGI, а сказать "для меня AGI - это вот жёстко такая штука, потому что платить я готов конкретно за неё, на меньшее не согласен". И тогда у людей будут разные проекты AGI (AGI по Тьюрингу и AGI по Гёделю, условно), будет гораздо логичнее. Так вот. Этот коллективный интеллект не отвечает моим хотелкам по поводу AGI. Я использую подход "AGI = универсальный достигатель целей пользователя", это не из-за наблюдений за природой интеллекта, а из-за того, что есть потребность (у меня и ряда других людей) конкретно в этом. Под это описание неплохо подходят несколько продуктов. Во-первых, это LLM-агенты. Они... Довольно умные, они могут достичь многих моих целей по текстовому описанию... Но они ограниченно способны наизобретать что-то сильно новое. Не из-за архитектуры, а из-за особенностей процесса обучения - если бы там было больше RL, я бы ожидал от них больше... Нечеловеческих, но эффективных решений. Ну и они лишь ограниченно могут управлять чем-либо в среде. В текущей реализации. Попросить такой ИИ "сделай мне ракету" - ну, довольно бесполезно. Во-вторых - это собственно RL, особенно воплощённый. С lifelong обучением в проде. Тут хорошие математические гарантии того, что он сойдётся и построит выигрышную стратегию, отличная креативность, умение работать в материальном мире... Но способ постановки целей не всегда удобный. Если цель нельзя понятным образом проверить - этот подход бесполезен. Плюс надо здорово заморочиться, чтобы получить высокую эффективность по данным - сделать, чтобы он не требовал чересчур много экспериментов
Автору просьбу при высказывании про AGI прописывать, что конкретно в данном случае имеется в виду под AGI. Не в терминах философии/психологии, а в технических терминах. Это не претензия к переводчику, это претензия к "экспертам".
Потому что я видел эти дискуссии. Когда просишь человека сказать, что такое AGI, так начинается. В 90% случаев человек говорит о "мышлении", "понимании", "сознании", "самостоятельности" без конкретного технического пояснения, как мне их проверить их наличие. В результате выходить речь из сплошных абстракций, любая LLM обзавидуется такой неконкретики. Да, и при подходе с таким количеством гуманитарщины нельзя утверждать наличие общего интеллекта у людей - нет способа проверить, есть только абстрактные рассуждения. А ещё в 9% случаев, когда человек всё-таки называет проверяемые критерии, то оказывается, что есть софтина, которая им удовлетворяет. Или что есть тривиальный способ её получить, но нет достаточного спроса.
Очень мало кто реально понимает возможности технологий и может ткнуть в штуку, которая одновременно интересная и до сих пор не создана. И имеет отношение к интеллекту.
Для сравнения. Есть большая группа теоретиков и популяризаторов (Потапов, Юдковский, Хуттер, Мюльхаузен), которые говорят: интеллект == свойство достигать целей в среде. Общий интеллект - свойство достигать любой заданной цели в любой среде, если это не противоречит законам физики этой среды. Это довольно конкретно, это описание чего-то вроде reinforcement learning. И с этим уже можно работать. Только окажется, что люди к такому AGI отношения особо не имеют (не имеют гарантий универсальности), а правильно сделанный RL как раз-таки является таким AGI
Тогда почему у автора позиция, что AGI не то, что недостижим - что его сейчас нет? Или что человек является GI? Мне видится, если не имеешь воспроизводимого способа отличать AGI от не-AGI - значит, не можешь и осмысленно высказываться о том, возможен ли он, и есть ли он сейчас
Тут возникает вопрос, а где вы его пытались применять, что выходили такие плохие результаты. Какие у меня кейсы применения. Хочу я обучить незнакомую модель - я могу искать примеры её обучения, а могу попросить эти примеры у LLM. В любом случае я не полагаюсь на чужой код - не больше, чем в случае stack overflow. У меня есть наготове процедура проверки. Или мне надо провести какое-то хитрое преобразование над многомерными массивами. Можно кодить самому - но я знаю, что у меня будет не совсем совершенное решение, и его придётся долго дебажить. А LLM это может сделать быстро - если осилит. Или я спрашиваю, как провернуть взаимодействие между объектами в определённом фреймворке - потому что документация на фреймворк очень так себе. Чем я рискую? Если LLM выдаст нерабочее решение, это будет видно мгновенно. Рискую я скорее тем, что LLM не выдаст рабочее решение, а скажется, мол, похоже это невозможно. Но опять же, у меня есть гугл, и я всё-таки прикладываю какие-то усилия в поисках найти рабочее решение.
Наверное, "писать" код через LLM действительно не очень, а вот использовать его как аналог Stack Overflow - вполне себе. Там точно так же больше половины кода не заработает, по крайней мере в моих условиях.
Что касается моего навыка программирования - ну, мне ок быть "киборгом", у которого значительная часть навыка проистекает из LLM. Пока я могу эту LLM хостить, и пока производительность такой работы кратно выше, чем работы без LLM - оно окупается
Я в этом вижу проблемы классического Supervised-learning подхода. Получили сэмпл - засчитали его частью датасета. Есть возможность действовать иначе: получили семпл, оценили. Семплы с высокой оценкой делаем примерами, а с низкой - антипримерами. Reinforcement или contrastive learning. Если поступать так, то у вас сгенерированные материалы выходят не то, что не хуже - часто ещё и лучше, чем то, что было в датасете. За пределами текстового домена именно так обычно и действуют. В текстовый домен этот подход начал проникать, когда появился Chat GPT с его human-RL. Но система оценки несовершенна, они пока не позволяет напрямую сравнить текст с грубой физической реальностью - как, например, делают в рекомендательных системах. Если смогут сделать в GPT то, что давно уже сделали в своих DQN/A3C/Dreamer - проблема решися. Если нет - придётся пересматривать отношение к тексту как типу информации...
Chat-GPT - это не то. Имею в виду Dreamer, например, или рекомендательные системы, которые делаются внутри компаний для собственного использования. Антифрод, например, кредитный скоринг, ценообразование. Системы автозакупок. Системы назначения скидок. Рекомендации для инвестирования в торговые точки. Автоматизация процессов, которые требуют знания будущего в большом открытом мире.
"По настоящему новая предсказательная модель требует переопределения аксиом. " - зачем? У нас есть работающие способы подбирать закономерности, и я не только про бэкпроп, есть ещё решающие деревья и перебор формул. Это работает, на многих задачах работает измеримо лучше человека. Какой смысл делать "как у человека", если у нас есть способ делать "как надо для результата"?
Ну Пенроуз так себе специалист по ИИ. Я не могу однозначно сказать, что компьютер создаёт "новые математические теории", потому что можно бесконечно "отодвигать ворота", переопределяя эту деятельность так, чтобы компьютер это "не мог". Но программы точно могут строить предсказательную модель мира - как, например, Кеплер делал, или Ньютон. Любой ML делает именно это. А ещё программы могут использовать полученную модель для планирования, и таким образом для решения практических задач. Это не какая-то сомнительная гипотеза, на эту тему куча научных работ и практических результатов. Это системы reinforcement learning и системы рекомендаций. Выглядит, что для практических задач (включая какие-то нереально трудные) этого достаточно, поэтому и вопрос, зачем self-awareness
Окей, к задаче доставки человека на Луну (и предварительного изготовления всей требующейся промышленности и добычи всех ресурсов) self-awareness как относится? Или к задаче создания термоядерной электростанции?
Про манипуляции - мне известно, что для сложных управляющих систем можно подобрать специальные стимулы, на которые система будет реагировать неадекватно. Например, выдавать чрезмерную реакцию. Люди сами для себя их придумали довольно много таких стимулов, вроде фастфуда или продающих заголовков. То есть в принципе тема рабочая, останавливает скорее невозможность провести миллионы экспериментов. У ИИ с этим попроще - бигдата снижает потребность в экспериментах. Обычно ИИ по бигдате находит решения, более эффективные, чем те, что нашли люди, судя по моему опыту. Насчёт наноботов - я читал Дрекслера, и физики с ним, по моим данным, в основном согласны. У него как раз описывается, как можно сделать наноботы, и как их сделать лучше белков
У вас есть понимание, каковы должны быть механизмы, чтобы получился seed ai? Если бы вы его пытались сделать целенаправленно, как бы это выглядело?
Мне кажется, что суперэкспонентциальный рост не получится, потому что у меня есть конкретная модель, как бы я делал seed ai, если бы меня интересовала просто максимальная оптимизирующая мощь. И у меня получилось, что проверка гипотез - это bottleneck. И саму её перестроить в процессе нельзя, потому что нет способа нормально проверить последствия такого перестроения (они же выстрелят потом, через много поколений). Пока что ваш аргумент выглядит как "мы не всё знаем, и за пределами области известного точно кроется какой-то способ суперэкспонентциального роста". Есть какие-то более сильные аргументы, опирающиеся на понятные нам закономерности?
В случае парадигмы развития людей - я думаю, парадигма не так сильно изменилась. Всё ещё есть некий носитель информации, он тестируется, и дальше либо в прод, либо на помойку. Способы тестирования разные, но поверх всей этой системы всё ещё есть эволюция, которая может отправить на помойку целые народы, которые использовали недостаточно удачный способ тестирования
А в чём польза здесь применять именно психологию? Я перечитал текст несколько раз и не понял. Вот допустим мы временно отбрасываем термины из психологии - какие профиты мы ожидаем получить от такого исследования? Во-первых, какое решение прикладных проблем, во-вторых, какие научные проблемы "извне" будут хорошо решаться именно через психологию LLM-ок? Не-редукционистское исследование закономерностей в LLM можно проводить, и не называя это психологией. Закономерности-то получатся не факт что похожие на те, что у кожаных
Я сейчас регулярно вижу, как аналогии между человеком и ИИ буквально вводят в заблуждение. И люди пишут разоблачение - то нейронки, оказывается, не как в мозгу (я бы их просто назвал дифференцируемыми компьютерами, чтобы не было путаницы), то обучение не как у людей (ну да, fit - это индуктивный вывод скорее, а не заучивание), то люди не планируют так, как DQN/Dreamer (откуда вы знаете, как люди планируют, вы видите лишь жалкие тени реальных процесов своей интроспекцией). Попытки говорить об ИИ человеческими, а не техническими терминами регулярно приводят к "учёный изнасиловал журналиста" - так стоит при рассуждать об LLM в гуманитарных терминах?
А как бы выглядела "ответственная" теория познания, на что бы она опиралась? То есть я в курсе современной рациональности (lesswrong, байесианство, теория принятия решений, теория алгоритмов), и мне кажется, подход в целом рабочий.
Но правда ли он эпистемологически ответственен? Если мы его обосновываем через математические теории (теорвер, теория алгоритмов), то идём от аксиом, которые вообще-то в реальности не факт, что выполняются. Я не подвергаю сейчас сомнению какую-то конкретную аксиому, я ставлю под сомнение сам подход - а нормально ли начинать с математических аксиом? Если же мы идём от эмпирики, то для перехода от частного к общему требуется индукция. А насколько она обоснована? В смысле считаем ли мы индукцию чем-то вроде аксиомы?
Наконец, мы можем пойти дальше, и проверять, какая теория лучше, через прямые соренования. Провести прямолинейный эксперимент, в котором множество команд будет решать кучу разнородных практических задач, и в итоге (видимо) победят те, кто отталкивается от байесианства. Но если для нас это будет аргументов, то значит, что мы индукцию считаем аргументом (если много раз победил, следовательно, стратегия наилучшая), а правильно ли так подходить?
Мне пока видится, что теория байесианства наиболее поработанная и обоснованная, но её основания не выглядят чем-то настолько же твёрдым, как выводы самого байесианства об окружающей среде.
А насколько правдоподобно, что ИИ вообще будет выходить в суперэкспонентциальный рост? В смысле, чтобы апгрейдиться, нужен критерий проверки, что апгрейд не делает хуже. Если сам критерий будет изменяемый, то даже одной ошибки в нём достаточно, чтобы всё сломать. Поэтому мне выглядит сомнительным, что такая процедура будет изменяемой. Если же нет - выглядит, что процедура тестирования довольно масштабная, долгая, и выглядит вроде "обучить RL на сотне окружений" или "обучить новую версию GPT на сотнях гигов текста". Если делать её более легковесной - это меньшее число проверок, это больше шанс заоверфититься на тесте.
Насколько я понимаю, эта "теория этики" выглядит так: у людей есть цели (не в смысле осознаваемые, а вы смысле ощущение "блин, я этого не хотел!" или "да, это то, что надо"), цели очень сложные, примерно как длинная строка, порождённая рандомом. Надо эту строку передрать всю целиком, или как можно бОльшую долю. Логики в бОльшей части строки нет, её надо просто выявлять и копировать.
Ну, да, и делать это конкретно по запросу пользователя/владельца системы, а не в каких-то своих абстрактных целях.
Во всяком случае запрос есть именно на такой AGI
У нас давно существовали "коллективные интеллекты", которые умнее одного человека - корпорации, государства, научные коллективы. Человек просто не сможет прожевать столько информации и выдать столько управленческих решений, сколько делают коллективы.
Но. Когда мы говорим про AGI - это же во многом про постановку задачи. Можно задавать вопрос не "что такое AGI", а какой конкретно программный продукт я хочу изготовить (или как-то подтолкнуть к его изготовлению, или использовать). Не спорить о терминах, что такое AGI, а сказать "для меня AGI - это вот жёстко такая штука, потому что платить я готов конкретно за неё, на меньшее не согласен". И тогда у людей будут разные проекты AGI (AGI по Тьюрингу и AGI по Гёделю, условно), будет гораздо логичнее.
Так вот. Этот коллективный интеллект не отвечает моим хотелкам по поводу AGI. Я использую подход "AGI = универсальный достигатель целей пользователя", это не из-за наблюдений за природой интеллекта, а из-за того, что есть потребность (у меня и ряда других людей) конкретно в этом.
Под это описание неплохо подходят несколько продуктов. Во-первых, это LLM-агенты. Они... Довольно умные, они могут достичь многих моих целей по текстовому описанию... Но они ограниченно способны наизобретать что-то сильно новое. Не из-за архитектуры, а из-за особенностей процесса обучения - если бы там было больше RL, я бы ожидал от них больше... Нечеловеческих, но эффективных решений. Ну и они лишь ограниченно могут управлять чем-либо в среде. В текущей реализации. Попросить такой ИИ "сделай мне ракету" - ну, довольно бесполезно.
Во-вторых - это собственно RL, особенно воплощённый. С lifelong обучением в проде. Тут хорошие математические гарантии того, что он сойдётся и построит выигрышную стратегию, отличная креативность, умение работать в материальном мире... Но способ постановки целей не всегда удобный. Если цель нельзя понятным образом проверить - этот подход бесполезен. Плюс надо здорово заморочиться, чтобы получить высокую эффективность по данным - сделать, чтобы он не требовал чересчур много экспериментов
Автору просьбу при высказывании про AGI прописывать, что конкретно в данном случае имеется в виду под AGI. Не в терминах философии/психологии, а в технических терминах. Это не претензия к переводчику, это претензия к "экспертам".
Потому что я видел эти дискуссии. Когда просишь человека сказать, что такое AGI, так начинается. В 90% случаев человек говорит о "мышлении", "понимании", "сознании", "самостоятельности" без конкретного технического пояснения, как мне их проверить их наличие. В результате выходить речь из сплошных абстракций, любая LLM обзавидуется такой неконкретики. Да, и при подходе с таким количеством гуманитарщины нельзя утверждать наличие общего интеллекта у людей - нет способа проверить, есть только абстрактные рассуждения.
А ещё в 9% случаев, когда человек всё-таки называет проверяемые критерии, то оказывается, что есть софтина, которая им удовлетворяет. Или что есть тривиальный способ её получить, но нет достаточного спроса.
Очень мало кто реально понимает возможности технологий и может ткнуть в штуку, которая одновременно интересная и до сих пор не создана. И имеет отношение к интеллекту.
Для сравнения. Есть большая группа теоретиков и популяризаторов (Потапов, Юдковский, Хуттер, Мюльхаузен), которые говорят: интеллект == свойство достигать целей в среде. Общий интеллект - свойство достигать любой заданной цели в любой среде, если это не противоречит законам физики этой среды. Это довольно конкретно, это описание чего-то вроде reinforcement learning. И с этим уже можно работать. Только окажется, что люди к такому AGI отношения особо не имеют (не имеют гарантий универсальности), а правильно сделанный RL как раз-таки является таким AGI
Тогда почему у автора позиция, что AGI не то, что недостижим - что его сейчас нет? Или что человек является GI? Мне видится, если не имеешь воспроизводимого способа отличать AGI от не-AGI - значит, не можешь и осмысленно высказываться о том, возможен ли он, и есть ли он сейчас
Тут возникает вопрос, а где вы его пытались применять, что выходили такие плохие результаты.
Какие у меня кейсы применения. Хочу я обучить незнакомую модель - я могу искать примеры её обучения, а могу попросить эти примеры у LLM. В любом случае я не полагаюсь на чужой код - не больше, чем в случае stack overflow. У меня есть наготове процедура проверки.
Или мне надо провести какое-то хитрое преобразование над многомерными массивами. Можно кодить самому - но я знаю, что у меня будет не совсем совершенное решение, и его придётся долго дебажить. А LLM это может сделать быстро - если осилит.
Или я спрашиваю, как провернуть взаимодействие между объектами в определённом фреймворке - потому что документация на фреймворк очень так себе. Чем я рискую? Если LLM выдаст нерабочее решение, это будет видно мгновенно. Рискую я скорее тем, что LLM не выдаст рабочее решение, а скажется, мол, похоже это невозможно. Но опять же, у меня есть гугл, и я всё-таки прикладываю какие-то усилия в поисках найти рабочее решение.
Наверное, "писать" код через LLM действительно не очень, а вот использовать его как аналог Stack Overflow - вполне себе. Там точно так же больше половины кода не заработает, по крайней мере в моих условиях.
Что касается моего навыка программирования - ну, мне ок быть "киборгом", у которого значительная часть навыка проистекает из LLM. Пока я могу эту LLM хостить, и пока производительность такой работы кратно выше, чем работы без LLM - оно окупается
Я по заголовку думал, что они будут так производить легирующие присадки, желательно сразу в железной болванке)
Я в этом вижу проблемы классического Supervised-learning подхода. Получили сэмпл - засчитали его частью датасета. Есть возможность действовать иначе: получили семпл, оценили. Семплы с высокой оценкой делаем примерами, а с низкой - антипримерами. Reinforcement или contrastive learning. Если поступать так, то у вас сгенерированные материалы выходят не то, что не хуже - часто ещё и лучше, чем то, что было в датасете.
За пределами текстового домена именно так обычно и действуют. В текстовый домен этот подход начал проникать, когда появился Chat GPT с его human-RL. Но система оценки несовершенна, они пока не позволяет напрямую сравнить текст с грубой физической реальностью - как, например, делают в рекомендательных системах. Если смогут сделать в GPT то, что давно уже сделали в своих DQN/A3C/Dreamer - проблема решися. Если нет - придётся пересматривать отношение к тексту как типу информации...
Chat-GPT - это не то. Имею в виду Dreamer, например, или рекомендательные системы, которые делаются внутри компаний для собственного использования. Антифрод, например, кредитный скоринг, ценообразование. Системы автозакупок. Системы назначения скидок. Рекомендации для инвестирования в торговые точки. Автоматизация процессов, которые требуют знания будущего в большом открытом мире.
"По настоящему новая предсказательная модель требует переопределения аксиом. " - зачем? У нас есть работающие способы подбирать закономерности, и я не только про бэкпроп, есть ещё решающие деревья и перебор формул. Это работает, на многих задачах работает измеримо лучше человека. Какой смысл делать "как у человека", если у нас есть способ делать "как надо для результата"?
Ну Пенроуз так себе специалист по ИИ.
Я не могу однозначно сказать, что компьютер создаёт "новые математические теории", потому что можно бесконечно "отодвигать ворота", переопределяя эту деятельность так, чтобы компьютер это "не мог".
Но программы точно могут строить предсказательную модель мира - как, например, Кеплер делал, или Ньютон. Любой ML делает именно это. А ещё программы могут использовать полученную модель для планирования, и таким образом для решения практических задач.
Это не какая-то сомнительная гипотеза, на эту тему куча научных работ и практических результатов. Это системы reinforcement learning и системы рекомендаций.
Выглядит, что для практических задач (включая какие-то нереально трудные) этого достаточно, поэтому и вопрос, зачем self-awareness
Окей, к задаче доставки человека на Луну (и предварительного изготовления всей требующейся промышленности и добычи всех ресурсов) self-awareness как относится? Или к задаче создания термоядерной электростанции?
А почему self-awareness вообще важен? Как это относится к решению практических задач, под которые создаётся ИИ?
Про манипуляции - мне известно, что для сложных управляющих систем можно подобрать специальные стимулы, на которые система будет реагировать неадекватно. Например, выдавать чрезмерную реакцию. Люди сами для себя их придумали довольно много таких стимулов, вроде фастфуда или продающих заголовков. То есть в принципе тема рабочая, останавливает скорее невозможность провести миллионы экспериментов. У ИИ с этим попроще - бигдата снижает потребность в экспериментах. Обычно ИИ по бигдате находит решения, более эффективные, чем те, что нашли люди, судя по моему опыту.
Насчёт наноботов - я читал Дрекслера, и физики с ним, по моим данным, в основном согласны. У него как раз описывается, как можно сделать наноботы, и как их сделать лучше белков
То, о чём я говорю, довольно твёрдо научно обоснованно. Обоснованно, что так сделать можно.
У вас есть понимание, каковы должны быть механизмы, чтобы получился seed ai? Если бы вы его пытались сделать целенаправленно, как бы это выглядело?
Мне кажется, что суперэкспонентциальный рост не получится, потому что у меня есть конкретная модель, как бы я делал seed ai, если бы меня интересовала просто максимальная оптимизирующая мощь. И у меня получилось, что проверка гипотез - это bottleneck. И саму её перестроить в процессе нельзя, потому что нет способа нормально проверить последствия такого перестроения (они же выстрелят потом, через много поколений).
Пока что ваш аргумент выглядит как "мы не всё знаем, и за пределами области известного точно кроется какой-то способ суперэкспонентциального роста". Есть какие-то более сильные аргументы, опирающиеся на понятные нам закономерности?
В случае парадигмы развития людей - я думаю, парадигма не так сильно изменилась. Всё ещё есть некий носитель информации, он тестируется, и дальше либо в прод, либо на помойку. Способы тестирования разные, но поверх всей этой системы всё ещё есть эволюция, которая может отправить на помойку целые народы, которые использовали недостаточно удачный способ тестирования
Да, так можно. Люди утратят доминирование, но будут для ИИ чем-то вроде тех самых щеночков. Это выглядит возможным
А в чём польза здесь применять именно психологию? Я перечитал текст несколько раз и не понял.
Вот допустим мы временно отбрасываем термины из психологии - какие профиты мы ожидаем получить от такого исследования? Во-первых, какое решение прикладных проблем, во-вторых, какие научные проблемы "извне" будут хорошо решаться именно через психологию LLM-ок?
Не-редукционистское исследование закономерностей в LLM можно проводить, и не называя это психологией. Закономерности-то получатся не факт что похожие на те, что у кожаных
Я сейчас регулярно вижу, как аналогии между человеком и ИИ буквально вводят в заблуждение. И люди пишут разоблачение - то нейронки, оказывается, не как в мозгу (я бы их просто назвал дифференцируемыми компьютерами, чтобы не было путаницы), то обучение не как у людей (ну да, fit - это индуктивный вывод скорее, а не заучивание), то люди не планируют так, как DQN/Dreamer (откуда вы знаете, как люди планируют, вы видите лишь жалкие тени реальных процесов своей интроспекцией). Попытки говорить об ИИ человеческими, а не техническими терминами регулярно приводят к "учёный изнасиловал журналиста" - так стоит при рассуждать об LLM в гуманитарных терминах?
А как бы выглядела "ответственная" теория познания, на что бы она опиралась?
То есть я в курсе современной рациональности (lesswrong, байесианство, теория принятия решений, теория алгоритмов), и мне кажется, подход в целом рабочий.
Но правда ли он эпистемологически ответственен? Если мы его обосновываем через математические теории (теорвер, теория алгоритмов), то идём от аксиом, которые вообще-то в реальности не факт, что выполняются. Я не подвергаю сейчас сомнению какую-то конкретную аксиому, я ставлю под сомнение сам подход - а нормально ли начинать с математических аксиом?
Если же мы идём от эмпирики, то для перехода от частного к общему требуется индукция. А насколько она обоснована? В смысле считаем ли мы индукцию чем-то вроде аксиомы?
Наконец, мы можем пойти дальше, и проверять, какая теория лучше, через прямые соренования. Провести прямолинейный эксперимент, в котором множество команд будет решать кучу разнородных практических задач, и в итоге (видимо) победят те, кто отталкивается от байесианства. Но если для нас это будет аргументов, то значит, что мы индукцию считаем аргументом (если много раз победил, следовательно, стратегия наилучшая), а правильно ли так подходить?
Мне пока видится, что теория байесианства наиболее поработанная и обоснованная, но её основания не выглядят чем-то настолько же твёрдым, как выводы самого байесианства об окружающей среде.
Ну мамонты вот не дали по шапке. Или птицы додо.
То, что люди друг друга балансируют, не помогло выживанию мамонтов и птиц додо.
А насколько правдоподобно, что ИИ вообще будет выходить в суперэкспонентциальный рост? В смысле, чтобы апгрейдиться, нужен критерий проверки, что апгрейд не делает хуже. Если сам критерий будет изменяемый, то даже одной ошибки в нём достаточно, чтобы всё сломать. Поэтому мне выглядит сомнительным, что такая процедура будет изменяемой.
Если же нет - выглядит, что процедура тестирования довольно масштабная, долгая, и выглядит вроде "обучить RL на сотне окружений" или "обучить новую версию GPT на сотнях гигов текста". Если делать её более легковесной - это меньшее число проверок, это больше шанс заоверфититься на тесте.
Насколько я понимаю, эта "теория этики" выглядит так: у людей есть цели (не в смысле осознаваемые, а вы смысле ощущение "блин, я этого не хотел!" или "да, это то, что надо"), цели очень сложные, примерно как длинная строка, порождённая рандомом. Надо эту строку передрать всю целиком, или как можно бОльшую долю. Логики в бОльшей части строки нет, её надо просто выявлять и копировать.