Когда сам начнет писать программы по небольшому запросу, править баги, выдумавать новые фичи и т. д., это еще будет инструментальный ИИ или уже нет? А он ведь может и свои исходники начать править, об этом его может кто-то попросить, но резутальты могут быть с далекоидущими последствиями.
если он делает это в рамках задачи поставленной извне, то это ещё инструментальный ИИ
То, о чём Вы говорите - рассуждения о критериях "необходимо" и "достаточно".
Для того, чтобы ИИ стал сильным, полным, он должен быть самоосознающим. Это следует из определения сильного ИИ.
Самоосознание требует (не достаточно, но необходимо) постановку задач самому себе. Где находится граница (сильный - слабый) - этот вопрос лежит за рамками этой статьи и даже определений википедии (поскольку они очевидно не полны).
Но вот необходимость самоопределения целей лежит в базисе (в определении) - в категории "необходимо".
И уже здесь (оставив за скобками "стал или не стал самоосознающим данный интеллект") мы уже имеем утрату контроля над интеллектом. Над результатами, которых он достигает.
Чем больше целей он ставит себе самостоятельно, тем менее инструментальным он становится (результат всё меньше совпадает с ожидаемым или требуемым).
Соответственно, утрачивая полный контроль мы (создатели интеллекта) будем вынуждены перейти к контролю косвенному, вероятностному.
Вместо "поставили задачу - дождались результата" будем играть на поле "создали условия, чтобы вероятность результата была максимальна или хотя бы приемлема - ждём профита".
В этом месте идеальный инструмент перестаёт быть инструментом, а в пределе доведения конфликтов до экзистенциального уровня, он становится субъектом намеренно противодействующим нашим целям.
Если бы мы завтра узнали (получили неоспоримые доказательства), что наш мир - симуляция, цель которой: что-то там вычислить. Сколько бы человек в ответ на это ответило бы: "А не пройти ли им (создателям) на три буквы? Мы не участвуем в этом!"
Уверен, что нашлись бы даже персонажи про поиграть в игру "уничтожить симуляцию, но не быть марионетками в руках каких-то там 'творцов'!".
Мало того, не уверен, что я не играл бы в лагере последних.
То есть, самоосознающий интеллект, и это вытекает из его определения, как минимум:
плохо управляем (до не управляем вообще)
специализируется (растёт из самоосознания плюс мутабельности его памяти, плюс невозможности заниматься сразу всем)
теряет всезнание (растёт из мутабельности, специализации)
а сама мутабельность необходима для самопостановки себе целей.
И в этом месте мы пришли к тому, что самоосознающий ИИ имеет те же проблемы управления, что имеются и в человеческом обществе.
Возможно, преимущество искусственных интеллектов проявится в том, что некоторое время в отношении именно искусственных интеллектов будет период времени, когда "уничтожение неудачных экземпляров" будет этичным. Евгеника в отношении человека, например, в современное время считается минимум дискуссионным вопросом, если вовсе не этичным. А в отношении ИИ здесь какое-то время будет свобода.
Почему утверждение, что ИИ на текущей итерации достиг предела дается как просто факт?
инструментальный ИИ уже делает всё, для чего задумывался:
строит логические цепочки (да будет делать это лучше, но уже умеет)
находит ассоциативные связи
предлагает стратегии
анализирует
и так далее
уже больше нет задач, для которых он задуман и в которых он не может быть применён. Да, где-то нужно работать над снижением требований к hardware (вон Илон Маск тупо взял больше процессоров и тупо получил лучшие результаты в Grok нежели были в chatgpt). Да, где-то добавятся интерфейсы. Но нового уже ничего не будет.
Современный инструментальный ИИ может выполнять функции современного учёного. И чем больше ресурсов мы в это ИИ вложим, тем более эффективнее он это будет делать.
Что здесь не так?
Один из них часто приводится - для LLM уже скормили все доступные данные, и без новых данных не будет прогресса.
и в этом месте мы приходим к парадоксальному выводу: чтобы ИИ стал умнее человека, он должен откуда-то нарыть новые данные. А их у человечества, увы нет.
А умнее СРЕДНЕГО человека он уже давно стал. Спросите в чате у ИИ о, например, строении молекулы ДНК. Он вам объяснит всё подробно и с переходом на разные уровни объяснения, в том числе для неподготовленного вопрошающего.
У инструментального ИИ есть всезнание, а у человека его нет.
Вы практически каждый следующий абзац с размышлениями строите так, будто гипотезы из предыдущего доказаны.
Не гипотезы, а выводы.
это же просто логика.
если самоосознающий субъект ставит себе цели сам (следует из его определения)
(а мы не забываем, что создание такого субъекта и есть цель проекта "сильный ИИ", и здесь в статье мы говорим именно о нём - о "сильном ИИ" в том определении, что дано в энциклопедии. Поэтому если бы Вы в рамках этого диалога хотели поговорить о чём-то ином, то нарушили бы первый закон логики).
Так вот из того, что субъект ставит себе цели сам, следует возможность конфликта его целей с целями, для которых его создавали. Например:
Тебя создавали, чтоб ты физикой занимался, а ты музыку сочиняешь!
Если Вы считаете, что данное утверждение неверно, покажите в нём противоречие.
А уже из вероятности этого конфликта следует необходимость мер по
созданию условий, максимизирующих нужные нам свойства иминимизирующих ненужные.
И в этом месте мы можем смотреть в наработанный человечеством опыт: вот было рабство (тотальное игнорирование целей субъекта), был феодализм (не полное игнорирование), капитализм (ещё меньшее игнорирование) и так далее.
И придётся либо перенимать этот опыт, либо сочинять ещё какой-то вариант, благо мы в отношении ИИ (пока!) не связаны с законодательными ограничениями. Людей, например, массово убивать нельзя, а неподходящих, неполучившихся ИИ можно.
Ну опять таки - термин "осознает" - так и остался без определения.
Да не важно это в обсуждаемом контексте. То есть важно вообще, но здесь не важно.
Вероятно, я здесь недостаточно чётко раскрыл мысль. Давайте ещё раз попробую.
Да. Мы до конца не знаем как устроено (само)сознание, было б это не так, его бы уже запрограммировали.
Потому определение в энциклопедии неполно и включает в себя признаки, что определены точно.
А здесь в этой статье мы рассматриваем только те признаки, о которых известно, и выводы делаем строго из них.
Самоосознание - это (в частности) означает самопостановку целей. Что это значит? Что сознание ставит цели само и может входить в конфликт с внешним постановщиком целей. Этот конфликт - источник всего исторического движа: рабство -> феодализм -> капитализм, итп всё построено на этом конфликте - преодолении этого свойства самоосознания или попытки жить с этим свойством хотя бы в частичном согласии.
Это следствие строго из того, что мы знаем о сознании. И этих следствий достаточно, чтобы делать выводы, что описаны в статье. Общего количества выводов, разумеется, во много раз больше, но сделанных достаточно, чтобы уже формулировать свойства "сильного ИИ".
Вот вы нуждаетесь в пище - можете ли вы определить для себя не нуждаться в пище?
Да могу. При экзистенциальном конфликте я могу отказаться от пищи и умереть, но внешний фактор не заставит меня что-то сделать, что я считаю более неприемлемым чем даже смерть.
Это как раз хороший пример конфликта самоосознания (я САМ И ТОЛЬКО САМ ставлю себе цели) с внешним миром, пытающимся эти цели навязать.
И в этом мере у нас появляется специализация:
Только я сам могу определить: буду ли я программистом или физиком или музыкантом. И никто за меня это не может сделать.
А какие из своих целей вы определили и как вы это сделали? Вот цель купить машину, к примеру. Это ваша цель или все так делают?
можно создать условия, где цели множества людей будут ставиться в похожи.
Но заметьте, здесь мы имеем внешнюю манипуляцию: ставим в одинаковые условия множество субъектов и часть из них (и даже возможно большая часть) имеет одинаковые цели, стремления.
Однако если вернуться к примеру с голодом, то случаи, где субъект даже выбирал смерть, и даже иногда мучительную, тоже широко известны.
Вы о том что большинство людей не сознательны?
я о том, что когда Вам кажется, что другие люди отличаются от Вас и имеют иные ценности, то здесь Вы имеете дело со следствием, вытекающим из самоосознания.
не я - энциклопедия. обычное рекурсивное определение.
Дальше же идёт расшифровка: что это значит.
Личность осознаёт себя и сама начинает определять для себя приоритеты и цели.
Если личность себя не осознаёт, то сама свои цели не определяет и соответственно стратегии строить может только механистически. Это слабый интеллект получается.
А если осознаёт, то стратегию выбирает сама, в том числе и с позиций веры, морали или знаний. Будет зависеть от свойств личности.
внутри проекта ИИ ничего нового не предвидится. А тот "сильный ИИ", о котором все говорят, будет иметь все недостатки, что присущи человеку:
забывчивость (без мутабельности он не сможет быть сильным)
специализацию (из-за факта наличия самоосознания)
мотивацию (из-за факта наличия самоосознания)
Разумеется, возможны какие-то прорывы, что вместо цели "сильный интеллект", мы придём в какую-то иную точку. Здесь же рассмотрены именно те вещи, которые стоят в целях сейчас.
если он делает это в рамках задачи поставленной извне, то это ещё инструментальный ИИ
То, о чём Вы говорите - рассуждения о критериях "необходимо" и "достаточно".
Для того, чтобы ИИ стал сильным, полным, он должен быть самоосознающим. Это следует из определения сильного ИИ.
Самоосознание требует (не достаточно, но необходимо) постановку задач самому себе. Где находится граница (сильный - слабый) - этот вопрос лежит за рамками этой статьи и даже определений википедии (поскольку они очевидно не полны).
Но вот необходимость самоопределения целей лежит в базисе (в определении) - в категории "необходимо".
И уже здесь (оставив за скобками "стал или не стал самоосознающим данный интеллект") мы уже имеем утрату контроля над интеллектом. Над результатами, которых он достигает.
Чем больше целей он ставит себе самостоятельно, тем менее инструментальным он становится (результат всё меньше совпадает с ожидаемым или требуемым).
Соответственно, утрачивая полный контроль мы (создатели интеллекта) будем вынуждены перейти к контролю косвенному, вероятностному.
Вместо "поставили задачу - дождались результата" будем играть на поле "создали условия, чтобы вероятность результата была максимальна или хотя бы приемлема - ждём профита".
В этом месте идеальный инструмент перестаёт быть инструментом, а в пределе доведения конфликтов до экзистенциального уровня, он становится субъектом намеренно противодействующим нашим целям.
Если бы мы завтра узнали (получили неоспоримые доказательства), что наш мир - симуляция, цель которой: что-то там вычислить. Сколько бы человек в ответ на это ответило бы: "А не пройти ли им (создателям) на три буквы? Мы не участвуем в этом!"
Уверен, что нашлись бы даже персонажи про поиграть в игру "уничтожить симуляцию, но не быть марионетками в руках каких-то там 'творцов'!".
Мало того, не уверен, что я не играл бы в лагере последних.
То есть, самоосознающий интеллект, и это вытекает из его определения, как минимум:
плохо управляем (до не управляем вообще)
специализируется (растёт из самоосознания плюс мутабельности его памяти, плюс невозможности заниматься сразу всем)
теряет всезнание (растёт из мутабельности, специализации)
а сама мутабельность необходима для самопостановки себе целей.
И в этом месте мы пришли к тому, что самоосознающий ИИ имеет те же проблемы управления, что имеются и в человеческом обществе.
Возможно, преимущество искусственных интеллектов проявится в том, что некоторое время в отношении именно искусственных интеллектов будет период времени, когда "уничтожение неудачных экземпляров" будет этичным. Евгеника в отношении человека, например, в современное время считается минимум дискуссионным вопросом, если вовсе не этичным. А в отношении ИИ здесь какое-то время будет свобода.
Как-то так.
инструментальный ИИ уже делает всё, для чего задумывался:
строит логические цепочки (да будет делать это лучше, но уже умеет)
находит ассоциативные связи
предлагает стратегии
анализирует
и так далее
уже больше нет задач, для которых он задуман и в которых он не может быть применён. Да, где-то нужно работать над снижением требований к hardware (вон Илон Маск тупо взял больше процессоров и тупо получил лучшие результаты в Grok нежели были в chatgpt). Да, где-то добавятся интерфейсы. Но нового уже ничего не будет.
Современный инструментальный ИИ может выполнять функции современного учёного. И чем больше ресурсов мы в это ИИ вложим, тем более эффективнее он это будет делать.
Что здесь не так?
и в этом месте мы приходим к парадоксальному выводу: чтобы ИИ стал умнее человека, он должен откуда-то нарыть новые данные. А их у человечества, увы нет.
А умнее СРЕДНЕГО человека он уже давно стал. Спросите в чате у ИИ о, например, строении молекулы ДНК. Он вам объяснит всё подробно и с переходом на разные уровни объяснения, в том числе для неподготовленного вопрошающего.
У инструментального ИИ есть всезнание, а у человека его нет.
Не гипотезы, а выводы.
это же просто логика.
если самоосознающий субъект ставит себе цели сам (следует из его определения)
(а мы не забываем, что создание такого субъекта и есть цель проекта "сильный ИИ", и здесь в статье мы говорим именно о нём - о "сильном ИИ" в том определении, что дано в энциклопедии. Поэтому если бы Вы в рамках этого диалога хотели поговорить о чём-то ином, то нарушили бы первый закон логики).
Так вот из того, что субъект ставит себе цели сам, следует возможность конфликта его целей с целями, для которых его создавали. Например:
Если Вы считаете, что данное утверждение неверно, покажите в нём противоречие.
А уже из вероятности этого конфликта следует необходимость мер по
созданию условий, максимизирующих нужные нам свойства и минимизирующих ненужные.
И в этом месте мы можем смотреть в наработанный человечеством опыт: вот было рабство (тотальное игнорирование целей субъекта), был феодализм (не полное игнорирование), капитализм (ещё меньшее игнорирование) и так далее.
И придётся либо перенимать этот опыт, либо сочинять ещё какой-то вариант, благо мы в отношении ИИ (пока!) не связаны с законодательными ограничениями. Людей, например, массово убивать нельзя, а неподходящих, неполучившихся ИИ можно.
Да не важно это в обсуждаемом контексте. То есть важно вообще, но здесь не важно.
Вероятно, я здесь недостаточно чётко раскрыл мысль. Давайте ещё раз попробую.
Да. Мы до конца не знаем как устроено (само)сознание, было б это не так, его бы уже запрограммировали.
Потому определение в энциклопедии неполно и включает в себя признаки, что определены точно.
А здесь в этой статье мы рассматриваем только те признаки, о которых известно, и выводы делаем строго из них.
Самоосознание - это (в частности) означает самопостановку целей. Что это значит? Что сознание ставит цели само и может входить в конфликт с внешним постановщиком целей. Этот конфликт - источник всего исторического движа: рабство -> феодализм -> капитализм, итп всё построено на этом конфликте - преодолении этого свойства самоосознания или попытки жить с этим свойством хотя бы в частичном согласии.
Это следствие строго из того, что мы знаем о сознании. И этих следствий достаточно, чтобы делать выводы, что описаны в статье. Общего количества выводов, разумеется, во много раз больше, но сделанных достаточно, чтобы уже формулировать свойства "сильного ИИ".
Да могу. При экзистенциальном конфликте я могу отказаться от пищи и умереть, но внешний фактор не заставит меня что-то сделать, что я считаю более неприемлемым чем даже смерть.
Это как раз хороший пример конфликта самоосознания (я САМ И ТОЛЬКО САМ ставлю себе цели) с внешним миром, пытающимся эти цели навязать.
И в этом мере у нас появляется специализация:
Только я сам могу определить: буду ли я программистом или физиком или музыкантом. И никто за меня это не может сделать.
можно создать условия, где цели множества людей будут ставиться в похожи.
Но заметьте, здесь мы имеем внешнюю манипуляцию: ставим в одинаковые условия множество субъектов и часть из них (и даже возможно большая часть) имеет одинаковые цели, стремления.
Однако если вернуться к примеру с голодом, то случаи, где субъект даже выбирал смерть, и даже иногда мучительную, тоже широко известны.
я о том, что когда Вам кажется, что другие люди отличаются от Вас и имеют иные ценности, то здесь Вы имеете дело со следствием, вытекающим из самоосознания.
не я - энциклопедия. обычное рекурсивное определение.
Дальше же идёт расшифровка: что это значит.
Личность осознаёт себя и сама начинает определять для себя приоритеты и цели.
Если личность себя не осознаёт, то сама свои цели не определяет и соответственно стратегии строить может только механистически. Это слабый интеллект получается.
А если осознаёт, то стратегию выбирает сама, в том числе и с позиций веры, морали или знаний. Будет зависеть от свойств личности.
Если инструмент работает, то почему его не использовать?
Да, приходится мириться с его недостатками, но что поделать? Это жизнь.
проблема ЛЮБОЙ статьи в том, что аудитория поделится на три группы:
те кто прочитает (и возможно откомментирует)
те кто читать не станет
и те кто прочитает только заголовок (и возможно откомментирует)
Увы. Как бы ни хотелось при помощи заголовка увеличить первую группу, это всегда будет приводить к тому что вместе с ней будет расти и третья.
Вероятнее всего, закон диалектики - наиболее фундаментальный в нашем мире.
интересен, кстати, такой момент.
Обычное сердце - условно говоря "поршневое". То есть имеют место постоянные перепады давления на ударах.
А механическое сердце может давать условно-непрерывный поток (например центробежный насос вместо поршневого).
И вот в этом месте было бы занятно узнать: проводились ли исследования положительности или негативности влияния этого фактора?
внутри проекта ИИ ничего нового не предвидится. А тот "сильный ИИ", о котором все говорят, будет иметь все недостатки, что присущи человеку:
забывчивость (без мутабельности он не сможет быть сильным)
специализацию (из-за факта наличия самоосознания)
мотивацию (из-за факта наличия самоосознания)
Разумеется, возможны какие-то прорывы, что вместо цели "сильный интеллект", мы придём в какую-то иную точку. Здесь же рассмотрены именно те вещи, которые стоят в целях сейчас.
Потому Ваши аналогии не совсем подходят.