Я в этом вижу проблемы классического Supervised-learning подхода. Получили сэмпл - засчитали его частью датасета. Есть возможность действовать иначе: получили семпл, оценили. Семплы с высокой оценкой делаем примерами, а с низкой - антипримерами. Reinforcement или contrastive learning. Если поступать так, то у вас сгенерированные материалы выходят не то, что не хуже - часто ещё и лучше, чем то, что было в датасете. За пределами текстового домена именно так обычно и действуют. В текстовый домен этот подход начал проникать, когда появился Chat GPT с его human-RL. Но система оценки несовершенна, они пока не позволяет напрямую сравнить текст с грубой физической реальностью - как, например, делают в рекомендательных системах. Если смогут сделать в GPT то, что давно уже сделали в своих DQN/A3C/Dreamer - проблема решися. Если нет - придётся пересматривать отношение к тексту как типу информации...
Chat-GPT - это не то. Имею в виду Dreamer, например, или рекомендательные системы, которые делаются внутри компаний для собственного использования. Антифрод, например, кредитный скоринг, ценообразование. Системы автозакупок. Системы назначения скидок. Рекомендации для инвестирования в торговые точки. Автоматизация процессов, которые требуют знания будущего в большом открытом мире.
"По настоящему новая предсказательная модель требует переопределения аксиом. " - зачем? У нас есть работающие способы подбирать закономерности, и я не только про бэкпроп, есть ещё решающие деревья и перебор формул. Это работает, на многих задачах работает измеримо лучше человека. Какой смысл делать "как у человека", если у нас есть способ делать "как надо для результата"?
Ну Пенроуз так себе специалист по ИИ. Я не могу однозначно сказать, что компьютер создаёт "новые математические теории", потому что можно бесконечно "отодвигать ворота", переопределяя эту деятельность так, чтобы компьютер это "не мог". Но программы точно могут строить предсказательную модель мира - как, например, Кеплер делал, или Ньютон. Любой ML делает именно это. А ещё программы могут использовать полученную модель для планирования, и таким образом для решения практических задач. Это не какая-то сомнительная гипотеза, на эту тему куча научных работ и практических результатов. Это системы reinforcement learning и системы рекомендаций. Выглядит, что для практических задач (включая какие-то нереально трудные) этого достаточно, поэтому и вопрос, зачем self-awareness
Окей, к задаче доставки человека на Луну (и предварительного изготовления всей требующейся промышленности и добычи всех ресурсов) self-awareness как относится? Или к задаче создания термоядерной электростанции?
Про манипуляции - мне известно, что для сложных управляющих систем можно подобрать специальные стимулы, на которые система будет реагировать неадекватно. Например, выдавать чрезмерную реакцию. Люди сами для себя их придумали довольно много таких стимулов, вроде фастфуда или продающих заголовков. То есть в принципе тема рабочая, останавливает скорее невозможность провести миллионы экспериментов. У ИИ с этим попроще - бигдата снижает потребность в экспериментах. Обычно ИИ по бигдате находит решения, более эффективные, чем те, что нашли люди, судя по моему опыту. Насчёт наноботов - я читал Дрекслера, и физики с ним, по моим данным, в основном согласны. У него как раз описывается, как можно сделать наноботы, и как их сделать лучше белков
У вас есть понимание, каковы должны быть механизмы, чтобы получился seed ai? Если бы вы его пытались сделать целенаправленно, как бы это выглядело?
Мне кажется, что суперэкспонентциальный рост не получится, потому что у меня есть конкретная модель, как бы я делал seed ai, если бы меня интересовала просто максимальная оптимизирующая мощь. И у меня получилось, что проверка гипотез - это bottleneck. И саму её перестроить в процессе нельзя, потому что нет способа нормально проверить последствия такого перестроения (они же выстрелят потом, через много поколений). Пока что ваш аргумент выглядит как "мы не всё знаем, и за пределами области известного точно кроется какой-то способ суперэкспонентциального роста". Есть какие-то более сильные аргументы, опирающиеся на понятные нам закономерности?
В случае парадигмы развития людей - я думаю, парадигма не так сильно изменилась. Всё ещё есть некий носитель информации, он тестируется, и дальше либо в прод, либо на помойку. Способы тестирования разные, но поверх всей этой системы всё ещё есть эволюция, которая может отправить на помойку целые народы, которые использовали недостаточно удачный способ тестирования
А в чём польза здесь применять именно психологию? Я перечитал текст несколько раз и не понял. Вот допустим мы временно отбрасываем термины из психологии - какие профиты мы ожидаем получить от такого исследования? Во-первых, какое решение прикладных проблем, во-вторых, какие научные проблемы "извне" будут хорошо решаться именно через психологию LLM-ок? Не-редукционистское исследование закономерностей в LLM можно проводить, и не называя это психологией. Закономерности-то получатся не факт что похожие на те, что у кожаных
Я сейчас регулярно вижу, как аналогии между человеком и ИИ буквально вводят в заблуждение. И люди пишут разоблачение - то нейронки, оказывается, не как в мозгу (я бы их просто назвал дифференцируемыми компьютерами, чтобы не было путаницы), то обучение не как у людей (ну да, fit - это индуктивный вывод скорее, а не заучивание), то люди не планируют так, как DQN/Dreamer (откуда вы знаете, как люди планируют, вы видите лишь жалкие тени реальных процесов своей интроспекцией). Попытки говорить об ИИ человеческими, а не техническими терминами регулярно приводят к "учёный изнасиловал журналиста" - так стоит при рассуждать об LLM в гуманитарных терминах?
А как бы выглядела "ответственная" теория познания, на что бы она опиралась? То есть я в курсе современной рациональности (lesswrong, байесианство, теория принятия решений, теория алгоритмов), и мне кажется, подход в целом рабочий.
Но правда ли он эпистемологически ответственен? Если мы его обосновываем через математические теории (теорвер, теория алгоритмов), то идём от аксиом, которые вообще-то в реальности не факт, что выполняются. Я не подвергаю сейчас сомнению какую-то конкретную аксиому, я ставлю под сомнение сам подход - а нормально ли начинать с математических аксиом? Если же мы идём от эмпирики, то для перехода от частного к общему требуется индукция. А насколько она обоснована? В смысле считаем ли мы индукцию чем-то вроде аксиомы?
Наконец, мы можем пойти дальше, и проверять, какая теория лучше, через прямые соренования. Провести прямолинейный эксперимент, в котором множество команд будет решать кучу разнородных практических задач, и в итоге (видимо) победят те, кто отталкивается от байесианства. Но если для нас это будет аргументов, то значит, что мы индукцию считаем аргументом (если много раз победил, следовательно, стратегия наилучшая), а правильно ли так подходить?
Мне пока видится, что теория байесианства наиболее поработанная и обоснованная, но её основания не выглядят чем-то настолько же твёрдым, как выводы самого байесианства об окружающей среде.
А насколько правдоподобно, что ИИ вообще будет выходить в суперэкспонентциальный рост? В смысле, чтобы апгрейдиться, нужен критерий проверки, что апгрейд не делает хуже. Если сам критерий будет изменяемый, то даже одной ошибки в нём достаточно, чтобы всё сломать. Поэтому мне выглядит сомнительным, что такая процедура будет изменяемой. Если же нет - выглядит, что процедура тестирования довольно масштабная, долгая, и выглядит вроде "обучить RL на сотне окружений" или "обучить новую версию GPT на сотнях гигов текста". Если делать её более легковесной - это меньшее число проверок, это больше шанс заоверфититься на тесте.
Насколько я понимаю, эта "теория этики" выглядит так: у людей есть цели (не в смысле осознаваемые, а вы смысле ощущение "блин, я этого не хотел!" или "да, это то, что надо"), цели очень сложные, примерно как длинная строка, порождённая рандомом. Надо эту строку передрать всю целиком, или как можно бОльшую долю. Логики в бОльшей части строки нет, её надо просто выявлять и копировать.
Самое "понятное", что ожидается от достаточно умного ИИ - это наноботы, позволяющие делать сложные конструкции из грязи, и системы для манипуляции людьми - не на уровне рекламы, а на уровне, на котором adversarial attack позволяет манипулировать нейронкой.
Это ряд разных вопросов, на которые разные ответы. Чат-боты, просто по тому, как их сейчас обучают, вряд ли могут всерьёз "заменять" людей. "Синтез знаний" в каком-то смысле может делать ML - он выполняет работу учёного-теоретика в чём-то лучше, чем человек. То есть задачу "построить теорию, которая даёт проверяемые прогнозы, как можно более точные" ML решает. По соотношению время/качество при наличии бигдаты практически всегда лучше человека. Чтобы "заменять" людей, должен быть какой-то единый подход к большому множеству задач - например, подход, при котором программа вначале строит модель предметной области на базе бигдаты, а затем там, на модели, ищет способы, как достичь поставленной цели. Так можно, такие системы есть, но они гораздо менее расхайплены, чем Chat-GPT. И они сейчас менее зрелые. Вот такая система могла бы заменять людей. В той мере, в которой ей можно объяснять, каковы её цели Ну и я не думаю, что деятельность по выяснению, как работает мир, и как достичь цели - это "избыточная" для человека деятельность. Вроде как это самое интересное, что есть в интеллекте
Это задача согласования так выглядит. Не полного, а частичного. Задача контроля немного шире. Потому что если ИИ не астрономически лучше людей в планировании, а всего лишь в разы, да ещё имеет какие-нибудь слабые зоны, то может быть возможно контролировать ИИ через конвергентные ценности, через регулярное переписывание функци полезности, через периодическое стирание памяти. Например, гипотетический AIXI даже с бесконечными ресурсами будет довольно бестолков в рефлексии. Например, он вряд ли сможет понять, к чему приведёт переписывание его функции полезности. При том, что в остальном вполне себе оптимальный интеллект. И больше того: сегодняшний сильнейший ИИ, пригодный для работы в реальном мире, а не в мире текстов - Dreamer v3 - это идейно практически тот же AIXI, с его слепым пятном на рефлексию. Поэтому в теории можно справится и через неполное согласование, в случае наличия других способов контроля
По-моему, в случае с Chat-GPT довольно сложно обсуждать согласованность. Согласованность подразумевает, что у нас есть оптимизатор, у него есть метрика качества, и она совпадает с той, что у оператора. Насколько Chat-GPT пригоден к описанию в виде оптимизатора - это большой вопрос. Если в фазе обучения он к этому пригоден, и метрикой являются сигналы награды, то на инференсе - непонятно. Вообще, все эти рассуждения про согласование ИИ, как мне видится, куда больше относятся к Reinforcement Learning, работающим в среде или к рекомендательным системами (например, которые выбирают, куда инвестировать или почём продавать бургеры). Потому что во-первых, есть понятный канал, через который ИИ влияет на реальность, во-вторых, есть понятная проверяемая цель, и в-третьих, есть огромное пространство для проворачивания хитрых планов, которые человек не поймёт, но которые этой цели всё же проверяемым образом достигнут.
С Титаником ситуация вышла вообще дурацкая. Ну допустим, никто не верил, что корабль и правда может утонуть. Но капитан не боялся, что его уволят за несмертельное повреждение лайнера?... Ну или оштрафуют, или премии лишат.
Мне кажется, в данном случае хорошая неубиваемость судна не совсем объясняет пофигизм - видимо, минорные аварии тоже были редкостью, или как минимум воспринимались так.
Я по заголовку думал, что они будут так производить легирующие присадки, желательно сразу в железной болванке)
Я в этом вижу проблемы классического Supervised-learning подхода. Получили сэмпл - засчитали его частью датасета. Есть возможность действовать иначе: получили семпл, оценили. Семплы с высокой оценкой делаем примерами, а с низкой - антипримерами. Reinforcement или contrastive learning. Если поступать так, то у вас сгенерированные материалы выходят не то, что не хуже - часто ещё и лучше, чем то, что было в датасете.
За пределами текстового домена именно так обычно и действуют. В текстовый домен этот подход начал проникать, когда появился Chat GPT с его human-RL. Но система оценки несовершенна, они пока не позволяет напрямую сравнить текст с грубой физической реальностью - как, например, делают в рекомендательных системах. Если смогут сделать в GPT то, что давно уже сделали в своих DQN/A3C/Dreamer - проблема решися. Если нет - придётся пересматривать отношение к тексту как типу информации...
Chat-GPT - это не то. Имею в виду Dreamer, например, или рекомендательные системы, которые делаются внутри компаний для собственного использования. Антифрод, например, кредитный скоринг, ценообразование. Системы автозакупок. Системы назначения скидок. Рекомендации для инвестирования в торговые точки. Автоматизация процессов, которые требуют знания будущего в большом открытом мире.
"По настоящему новая предсказательная модель требует переопределения аксиом. " - зачем? У нас есть работающие способы подбирать закономерности, и я не только про бэкпроп, есть ещё решающие деревья и перебор формул. Это работает, на многих задачах работает измеримо лучше человека. Какой смысл делать "как у человека", если у нас есть способ делать "как надо для результата"?
Ну Пенроуз так себе специалист по ИИ.
Я не могу однозначно сказать, что компьютер создаёт "новые математические теории", потому что можно бесконечно "отодвигать ворота", переопределяя эту деятельность так, чтобы компьютер это "не мог".
Но программы точно могут строить предсказательную модель мира - как, например, Кеплер делал, или Ньютон. Любой ML делает именно это. А ещё программы могут использовать полученную модель для планирования, и таким образом для решения практических задач.
Это не какая-то сомнительная гипотеза, на эту тему куча научных работ и практических результатов. Это системы reinforcement learning и системы рекомендаций.
Выглядит, что для практических задач (включая какие-то нереально трудные) этого достаточно, поэтому и вопрос, зачем self-awareness
Окей, к задаче доставки человека на Луну (и предварительного изготовления всей требующейся промышленности и добычи всех ресурсов) self-awareness как относится? Или к задаче создания термоядерной электростанции?
А почему self-awareness вообще важен? Как это относится к решению практических задач, под которые создаётся ИИ?
Про манипуляции - мне известно, что для сложных управляющих систем можно подобрать специальные стимулы, на которые система будет реагировать неадекватно. Например, выдавать чрезмерную реакцию. Люди сами для себя их придумали довольно много таких стимулов, вроде фастфуда или продающих заголовков. То есть в принципе тема рабочая, останавливает скорее невозможность провести миллионы экспериментов. У ИИ с этим попроще - бигдата снижает потребность в экспериментах. Обычно ИИ по бигдате находит решения, более эффективные, чем те, что нашли люди, судя по моему опыту.
Насчёт наноботов - я читал Дрекслера, и физики с ним, по моим данным, в основном согласны. У него как раз описывается, как можно сделать наноботы, и как их сделать лучше белков
То, о чём я говорю, довольно твёрдо научно обоснованно. Обоснованно, что так сделать можно.
У вас есть понимание, каковы должны быть механизмы, чтобы получился seed ai? Если бы вы его пытались сделать целенаправленно, как бы это выглядело?
Мне кажется, что суперэкспонентциальный рост не получится, потому что у меня есть конкретная модель, как бы я делал seed ai, если бы меня интересовала просто максимальная оптимизирующая мощь. И у меня получилось, что проверка гипотез - это bottleneck. И саму её перестроить в процессе нельзя, потому что нет способа нормально проверить последствия такого перестроения (они же выстрелят потом, через много поколений).
Пока что ваш аргумент выглядит как "мы не всё знаем, и за пределами области известного точно кроется какой-то способ суперэкспонентциального роста". Есть какие-то более сильные аргументы, опирающиеся на понятные нам закономерности?
В случае парадигмы развития людей - я думаю, парадигма не так сильно изменилась. Всё ещё есть некий носитель информации, он тестируется, и дальше либо в прод, либо на помойку. Способы тестирования разные, но поверх всей этой системы всё ещё есть эволюция, которая может отправить на помойку целые народы, которые использовали недостаточно удачный способ тестирования
Да, так можно. Люди утратят доминирование, но будут для ИИ чем-то вроде тех самых щеночков. Это выглядит возможным
А в чём польза здесь применять именно психологию? Я перечитал текст несколько раз и не понял.
Вот допустим мы временно отбрасываем термины из психологии - какие профиты мы ожидаем получить от такого исследования? Во-первых, какое решение прикладных проблем, во-вторых, какие научные проблемы "извне" будут хорошо решаться именно через психологию LLM-ок?
Не-редукционистское исследование закономерностей в LLM можно проводить, и не называя это психологией. Закономерности-то получатся не факт что похожие на те, что у кожаных
Я сейчас регулярно вижу, как аналогии между человеком и ИИ буквально вводят в заблуждение. И люди пишут разоблачение - то нейронки, оказывается, не как в мозгу (я бы их просто назвал дифференцируемыми компьютерами, чтобы не было путаницы), то обучение не как у людей (ну да, fit - это индуктивный вывод скорее, а не заучивание), то люди не планируют так, как DQN/Dreamer (откуда вы знаете, как люди планируют, вы видите лишь жалкие тени реальных процесов своей интроспекцией). Попытки говорить об ИИ человеческими, а не техническими терминами регулярно приводят к "учёный изнасиловал журналиста" - так стоит при рассуждать об LLM в гуманитарных терминах?
А как бы выглядела "ответственная" теория познания, на что бы она опиралась?
То есть я в курсе современной рациональности (lesswrong, байесианство, теория принятия решений, теория алгоритмов), и мне кажется, подход в целом рабочий.
Но правда ли он эпистемологически ответственен? Если мы его обосновываем через математические теории (теорвер, теория алгоритмов), то идём от аксиом, которые вообще-то в реальности не факт, что выполняются. Я не подвергаю сейчас сомнению какую-то конкретную аксиому, я ставлю под сомнение сам подход - а нормально ли начинать с математических аксиом?
Если же мы идём от эмпирики, то для перехода от частного к общему требуется индукция. А насколько она обоснована? В смысле считаем ли мы индукцию чем-то вроде аксиомы?
Наконец, мы можем пойти дальше, и проверять, какая теория лучше, через прямые соренования. Провести прямолинейный эксперимент, в котором множество команд будет решать кучу разнородных практических задач, и в итоге (видимо) победят те, кто отталкивается от байесианства. Но если для нас это будет аргументов, то значит, что мы индукцию считаем аргументом (если много раз победил, следовательно, стратегия наилучшая), а правильно ли так подходить?
Мне пока видится, что теория байесианства наиболее поработанная и обоснованная, но её основания не выглядят чем-то настолько же твёрдым, как выводы самого байесианства об окружающей среде.
Ну мамонты вот не дали по шапке. Или птицы додо.
То, что люди друг друга балансируют, не помогло выживанию мамонтов и птиц додо.
А насколько правдоподобно, что ИИ вообще будет выходить в суперэкспонентциальный рост? В смысле, чтобы апгрейдиться, нужен критерий проверки, что апгрейд не делает хуже. Если сам критерий будет изменяемый, то даже одной ошибки в нём достаточно, чтобы всё сломать. Поэтому мне выглядит сомнительным, что такая процедура будет изменяемой.
Если же нет - выглядит, что процедура тестирования довольно масштабная, долгая, и выглядит вроде "обучить RL на сотне окружений" или "обучить новую версию GPT на сотнях гигов текста". Если делать её более легковесной - это меньшее число проверок, это больше шанс заоверфититься на тесте.
Насколько я понимаю, эта "теория этики" выглядит так: у людей есть цели (не в смысле осознаваемые, а вы смысле ощущение "блин, я этого не хотел!" или "да, это то, что надо"), цели очень сложные, примерно как длинная строка, порождённая рандомом. Надо эту строку передрать всю целиком, или как можно бОльшую долю. Логики в бОльшей части строки нет, её надо просто выявлять и копировать.
Самое "понятное", что ожидается от достаточно умного ИИ - это наноботы, позволяющие делать сложные конструкции из грязи, и системы для манипуляции людьми - не на уровне рекламы, а на уровне, на котором adversarial attack позволяет манипулировать нейронкой.
Это ряд разных вопросов, на которые разные ответы. Чат-боты, просто по тому, как их сейчас обучают, вряд ли могут всерьёз "заменять" людей.
"Синтез знаний" в каком-то смысле может делать ML - он выполняет работу учёного-теоретика в чём-то лучше, чем человек. То есть задачу "построить теорию, которая даёт проверяемые прогнозы, как можно более точные" ML решает. По соотношению время/качество при наличии бигдаты практически всегда лучше человека.
Чтобы "заменять" людей, должен быть какой-то единый подход к большому множеству задач - например, подход, при котором программа вначале строит модель предметной области на базе бигдаты, а затем там, на модели, ищет способы, как достичь поставленной цели. Так можно, такие системы есть, но они гораздо менее расхайплены, чем Chat-GPT. И они сейчас менее зрелые.
Вот такая система могла бы заменять людей. В той мере, в которой ей можно объяснять, каковы её цели
Ну и я не думаю, что деятельность по выяснению, как работает мир, и как достичь цели - это "избыточная" для человека деятельность. Вроде как это самое интересное, что есть в интеллекте
Это задача согласования так выглядит. Не полного, а частичного.
Задача контроля немного шире. Потому что если ИИ не астрономически лучше людей в планировании, а всего лишь в разы, да ещё имеет какие-нибудь слабые зоны, то может быть возможно контролировать ИИ через конвергентные ценности, через регулярное переписывание функци полезности, через периодическое стирание памяти.
Например, гипотетический AIXI даже с бесконечными ресурсами будет довольно бестолков в рефлексии. Например, он вряд ли сможет понять, к чему приведёт переписывание его функции полезности. При том, что в остальном вполне себе оптимальный интеллект. И больше того: сегодняшний сильнейший ИИ, пригодный для работы в реальном мире, а не в мире текстов - Dreamer v3 - это идейно практически тот же AIXI, с его слепым пятном на рефлексию.
Поэтому в теории можно справится и через неполное согласование, в случае наличия других способов контроля
По-моему, в случае с Chat-GPT довольно сложно обсуждать согласованность. Согласованность подразумевает, что у нас есть оптимизатор, у него есть метрика качества, и она совпадает с той, что у оператора. Насколько Chat-GPT пригоден к описанию в виде оптимизатора - это большой вопрос. Если в фазе обучения он к этому пригоден, и метрикой являются сигналы награды, то на инференсе - непонятно.
Вообще, все эти рассуждения про согласование ИИ, как мне видится, куда больше относятся к Reinforcement Learning, работающим в среде или к рекомендательным системами (например, которые выбирают, куда инвестировать или почём продавать бургеры). Потому что во-первых, есть понятный канал, через который ИИ влияет на реальность, во-вторых, есть понятная проверяемая цель, и в-третьих, есть огромное пространство для проворачивания хитрых планов, которые человек не поймёт, но которые этой цели всё же проверяемым образом достигнут.
С Титаником ситуация вышла вообще дурацкая. Ну допустим, никто не верил, что корабль и правда может утонуть. Но капитан не боялся, что его уволят за несмертельное повреждение лайнера?... Ну или оштрафуют, или премии лишат.
Мне кажется, в данном случае хорошая неубиваемость судна не совсем объясняет пофигизм - видимо, минорные аварии тоже были редкостью, или как минимум воспринимались так.