Comments 12
Добавил автору плюсик. Звучит пугающе, но в целом верно. Жалко, что не доживу до полной сингулярности. Было бы интересно на неё посмотреть.
Не исключено, что все мы ненамного переживем Вас после сингулярности. Вы немного теряете. Вероятность для всего человечества банально анекдотична: 50/50
Даже если вероятность уничтожения человечества после принятия решения развивать ИИ дальше составляет всего 1%, то такое решение нельзя принимать. Потому что потери слишком катастрофические.
ИИ развивается не потому, что ему кто-то разрешил развиваться, а потому что это неизбежное следствие прогресса. Так как прогресс 100% будет развиваться, ИИ 100% станет автономным. А это означает 100% конец того мира и человечества, каком мы знали...
Но больше всего удивляет, что всем на это наср... Это ли не показатель, что человечество и правда изжило себя, и что ему уже пора уступить место следующей форме жизни?
Если сингулярность неизбежна, то рационально начать волноваться позже чем раньше, потому что все болезни от нервов.
Разумно. Но при условии, что выход один: вниз. А если есть второй - вверх, то рационально волноваться чем раньше, тем лучше
1) Волнуетесь вы или нет - всем (включая LLM) наср... И на вашу судьбу волнение никак не повлияет. Кто вы есть - тем и останетесь.
2) Текущие LLM очень слабы чтобы рассматривать их в контексте топика, а реальный ИИ могут найти через 500 лет только.
3) Даже если найдут новый, реальный концепт ИИ через 5 лет, его скорее всего самостопнут, по причинам указанным в статье. Конечно, когда-нибудь кто-нибудь соблазнится бессмертием, например, и произойдет утечка, но это может также произойти лет через 500 только.
Сингулярность — это не событие, а процесс, тире-прогресс, при котором технологии начинают развиваться с такой скоростью и автономией, что человеческий ум перестаёт успевать их осмысливать и контролировать. Это точка, после которой возврата к прежнему миру уже нет.
Вы говорите, что никто сейчас не стремится к бессмертию. Но почему вы так считаете? Разве не очевидно, что сама идея бессмертия возбуждает воображение тысяч людей — учёных, миллиардеров, трансгуманистов, инвесторов Кремниевой долины? Достаточно одного человека с ресурсами и мотивацией — и «утечка» произойдёт.
Самоограничение возможно, но не гарантировано. Кто-то рано или поздно соблазнится. История человечества — это история соблазнов, амбиций и попыток прорваться за грань возможного.
А одним словом всё это — прогресс.
Если технический прогресс невозможно остановить, наступление технологической сингулярности неизбежно. Вопрос лишь во времени.
Достаточно одного человека с ресурсами и мотивацией
Чтобы сделать LLM с нуля, нужны внушительные ресурсы, которые всегда на виду. При этом, как я писал, LLM не котируется в контексте данной статьи. Для реального ИИ нужно найти правильную архитектуру, а ресурсы потребуются еще больше.
История человечества — это история соблазнов, амбиций и попыток прорваться за грань возможного.
А ещё это история того, что добровольно власть никто и никогда не передавал. При этом неизвестно кому/чему (ASI). Вы всерьез считаете, что политики мечтают обо всем этом шухере, который описан в статье? Уже сейчас полно новостей о правовом регулировании ИИ.
Вы говорите, что никто сейчас не стремится к бессмертию.
Я так не говорил. ASI может быть собран в read-only mode (без выхода в Сеть), он может продемонстрировать свою состоятельность, но и предъявить свои требования. Такое хождение по лезвию, может длиться лет 500.
Вы утверждаете, что автономный ИИ будет через 500 лет. Мировые фигуры типа Курцвейла или Хинтона говорят, что в ближайшие десятилетия или пятилетия. По факту имеем Ваше слово против слова мировых фигур. Они говорят, что прогресс не остановить, а значит, накопление новшеств не избежать, а значит, переход количества в качество неизбежен. Вы говорите, что все это нам не угрожает. И приводите доказательства своей позиции. Насколько они сильные — это Вы и сами знаете))
Красиво написано.
Технологическая сингулярность неизбежна. Технический контроль невозможен