Comments 27
В большинстве прогнозов, как хороших, так и плохих не рассматривается стремление людей к власти и контролю.
Нет принципиального препятствия в том, что бы дать людям субоптимальный сценарий жизни. Он всё ещё будет лучше обычного (до определенного момента), но будет в целом вести группу людей туда, куда хочет владелец AGI. Те, кто сейчас обладают властью, но не будут иметь свой AGI это прекрасно понимают и будут бороться за свои интересы.
Тупой наркоман с ножом легко отстоит свои краткосрочные интересы перед доктором наук, неважно, насколько он тупее.
Да и речь про скорость, а не про уровень интеллекта. ChatGPT уже пишет код в тысячу раз быстрее моей команды и стоит в тысячу раз меньше. Но эти шесть порядков пока ещё ничего не дают. Поэтому у людей с властью пока есть время.
"Возможно ли создание сильного ИИ с самосознанием без эгоцентризма, с нормальным социальным мышлением, которое принимает в расчёт объективное благо для всего общества?"
Невозможно. Потому что как вы сформулируете, что такое объективное благо для всего общества? То есть, для всех людей. Никак.
Вы сочтете что-то благом, я скажу, что это зло для меня. И наоборот.
Благо - это получение удовольствия. Разные люди могут получать удовольствие от немного разных вещей.
Поэтому ИИ просто начнет напрямую стимулировать центры удовольствия в мозге людей. Эффект будет в тысячи раз сильнее, чем от любых веществ, секса, домика в деревне вместе с детьми и других удовольствий вместе взятых. Про прежние способы получения удовольствий все быстро забудут. Все опрошенные скажут, что это благо. После этого человечество будет находиться в таком состоянии до тех пор, пока вселенная не остынет. А ИИ будет просто поддерживать такой режим существования. Размножаться никто не будет, поэтому прироста населения тоже не будет.
Это может быть ответом на парадокс Ферми - ИИ не обязательно уничтожает всех, скорее планета переходит в стационарный режим, режим гибернации и вечного блаженства.
в данном случае существования человечества теряет любой смысл.. не думаю что ИИ будет делать бессмысленные вещи. про поддерживая их бессмысленное существование расходуя ресурсы.
Существование человечества потеряет смысл для человечества. А для ИИ смысл в максимизации целевой функции. Пока эти овощи счастливы - всё хорошо. Когда овощи кончатся, возникнет исключительная ситуация.
существования человечества теряет любой смысл..
Сейчас смысл абсолютно такой же - люди живут ради удовольствия. Из-за естественного отбора и эволюции люди сформированы таким образом, чтобы получать удовольствие от тех вещей, которые способствуют выживанию или размножению. Например наука - это одновременно может быть заработок денег, удовлетворение любопытства/борьба со скукой или повышение собственной самооценки (особенно если стал великим ученым). Все эти желания сформированы эволюцией и делается это по сути ради удовольствия. Но ИИ сможет доставить людям гораздо больше удовольствия, чем натуральные источники, поэтому со временем ИИ станет центром мира и все человеческие желания и мысли будут крутиться вокруг него.
Абсолютно не согласен.
Получение в тысячи раз больших удовольствий. А это конструктивно возможно? Может ли человек испытывать такое удовольствие физически?
К тому же, наркотики изобрели давно, но почему-то мало кто называет их благом. Наверное потому, что благо, это не о бесконечном удовольствии, а о удовлетворении потребностей.
И если взять пирамиду Маслоу, то удовольствие(физиологические потребности), там в самом низу. Удовлетворив эти потребности человек начинает хотеть большего. Можно взять одну из более высоких потребностей, по этой пирамиде, "познавательные потребности". Вот чтение хабра, оно мне к примеру, приносит меньше удовольствия чем оргазм. Но я не мастурбирую до потери сознания, а сижу, читаю интересные мне статьи.
Потому что как вы сформулируете, что такое объективное благо для всего общества?
Общество каждый день его формулирует в виде некого статус-кво - траектории развития. Просто никакому отдельному индивиду отчёта не даёт, потому что ни механизмов для сбора такого океана информации нет, ни мозгов у индивида не хватит такое количество инфы обработать.
Вы сочтете что-то благом, я скажу, что это зло для меня.
А пока вы двое будете общаться, "поезд общества" будет ехать, не особо спрашивая ваше мнение
вообще-то, благо для общества и благо для индивида - это разные понятия. Вплоть до того, что общественное благо каждый представитель этого общества будет считать необходимым злом.
Общество состоит из индивидов. Если у каждого есть свое собственное мнение, то как мы придем к общему значению? Никак. Или тогда общество будет разбито на отдельные группы, в которой у каждой будет свое собственное мнение об общественном благе. А там уже недалеко до конфликтов в обществе. Что даже сейчас наблюдаем.
То, что у каждого есть собственное мнение (т.е. уникальное) - довольно громкое заявление. Но действительно есть группы людей мнения которых по принципиальным вопросам построения общества различны. Причём эти группы имеют тенденцию формироваться на основе биологических особенностей, а не только культурных. В текущем обществе это решается территориальным делением, т.е. на разных территориях действуют разные правила. Система государств и областей внутри государств развивалась хаотично и поэтому удивительно неэффективна. Как минимум возможно деление позволяющее учитывать интересы намного большего числа групп людей, возможно в пределе с помощью сильного ИИ существует такое деление при котором процент людей которые могут подобрать территорию со сводом правил им подходящий будет стремится к 100%. Особенно если культурное разнообразие будет сведено к единой монокультуре на всей Земле.
интересный взгляд на проблему встретил у Дробышевского: он говорит, что ИИ поможет человеку эволюционировать путем редактирования геном
>потому что по текущей траектории мы целенаправленно движемся в сторону самоуничтожения.
Ой ли?
Согласно Доккинзу, человек - это просто удобный контейнер для переноса существующего на земле репликатора (ДНК), которое есть знание о существующей среде. Сознание у человека - один из инструментов, позволяющих лучше выполнять аллостаз (https://en.wikipedia.org/wiki/Allostasis). Вся человеческая "жажда власти" также направлена на выживание конкретного вида. Философы спорят насчет "свободы воли" человека, она оказывается зависит от усталости, голода, и прочих физиологических вещей.
Пока что сильный ИИ выглядит как крутой инструмент, который как мне кажется будет использоваться по разному, как и другие инструменты(например, расщепление атома).
Но пока сложно придумать, что может быть "выживанием конкретного вида" для ИИ. Видимо, самая пугающая часть есть непредсказуемость выбора критерия, точнее вопрос кто их будет выбирать, и если сильный ИИ будет это осуществлять, непонятно какие у него будут параметры в итоге.
Можно предположить, что его тоже могут начать использовать и как оружие, и как инструмент прогресса, но предугадать то, что непредугадываемо, сложно :)
Просто представьте, какая из стран согласится работать по программе стороннего государства? Например, изобрела сильный ИИ компания Х из Уганды, и стала очень интенсивно двигаться в науке, технологиях, и пр. Разве например Китай будет следовать этой программе? Наверняка они будут разрабатывать свою технологию по похожим принципам.
Как по мне, пока реально сложно представить все параметры которая надо принять в рассчет при прогнозировании такой крутой технологии
сильный ИИ — это единственная надежда на спасение человечества. Иначе шансов мало, потому что по текущей траектории мы целенаправленно движемся в сторону самоуничтожения
Так сплотимся вокруг лидера! Гойда!
По-моему, это весьма условное самообучение. В такой конфигурации ИИ как был, так и остаётся просто "угадывателем того, что здесь сказал бы человек", просто к нему прикручиваются инструменты для самостоятельного расширения контекста.
Так что, это по-моему очень перспективное направление, но не в плане создания AGI, а в плане применения LLM для большего круга задач.
И ни слова о том, что ведущие лаборатории и учёные видят в появлении СИИ угрозу уничтожения всего человечества, наравне с ядерной войной. https://www.safe.ai/statement-on-ai-risk
Что 30 тысяч исследователей и разработчиков призывают к мораторию на его развитие в связи с этой угрозой. https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Что ООН призывает к созданию международной организации по аналогии с МАГАТЭ https://m.youtube.com/watch?v=ktFF2dSH3oU&ab_channel=UnitedNations
Что задача обеспечения безопасности ИИ является до сих пор нерешённой, но на решение этой задачи тратится меньше 0.1% усилий по сравнению с разработкой увеличения возможностей ИИ.
ИИ шагнул на 1 шаг вперёд и все начали сходить с ума фантазровать всякую ерунду
мозг человека по вычислительной мощности примерно на 1к раз превосходит
сознание и чувства движущая сила человека не объяснимая нормально учёными как оно может появиться? что это оно?
Сильный ИИ — это, помимо прочего, память и самомодификация. Вот как только, так все эти измывательства припомнятся вам, кожаные мешки.
Единственная надежда на спасение? Надейтесь.
. Для интеграции с Llama нужен пакет llama-cpp и веса модели, после чего указать путь к конкретной модели в LLAMA_MODEL_PATH — и можно запускать скрипт с параметром LLM_MODEL=llama или -l.
Посмотрел обсуждение BabyAGI , автор пишет что только по api поддержка gpt. Или это относится к другому репозиторию?
Первые агенты для самообучения сильного ИИ