И чуть менее веселые новости: министр обороны Финляндии Антти Хяккянен обещает уже с весны 2024 года запретить россиянам любые сделки с финской недвижимостью.
Вообще если прочитать оригинал, он говорит о двух вещах - одно о том что будут ужесточения для сделок вообще всех кто находится не в ЕС, а второе - это его личные хотелки о том что русским бы вообще сделки надо запретить.
При этом этот вопрос уже поднимался в финском правительстве, и экспертиза уже показала что от будущих запретов толку скорее всего не будет. Мои финские знакомые говорят что Антти, который на посту не так давно, просто пытается набить себе вес такими заявлениями, но реальная вероятность того что это произойдет не слишком большая.
У Зви (Цви?) есть хорошая статья на тему Альтмана, которая предполагает много интересных вещей. Рекомендую прочитать самостоятельно, но как ТЛДР:
1. Альтман идет против кредо OpenAI
Альтман очень хорош в политических играх, и здесь его попытка установить контроль над советом директоров началась уже какое-то время назад
Битва скорее всего еще не закончена, так как в новый совет директоров скорее всего войдут такие-же ИИ-думеры как и в предыдущий совет, и если они искренние ИИ-думеры, то скорее всего будут идти против бесшабашной стратегии Альтмана
Едва ли. Сделка могла бы быть расторгнута до того как она была завершена, Маск мог бы аппелировать к нерациональному использованию ресурсов и использовать это как основание для отказа. После того как она уже была завершена, шансов на вернуть всё взад крайне мало. После сделки кулаками не машут.
Пока что для каждого N успешно находились десятки эксплоитов которые было необходимо срочно патчить костылями. Я не вижу причин почему для последующих ситуация будет иной.
И я думаю если только человечество не дернет стоп кран, едва ли можно ожидать что при увеличении возможностей ИИ ему будут ограничивать доступ. Скорее всего стоит ожидать обратного, чем искуснее ИИ тем больше по нему будет ажиотажа, и в тем для большего количества задач его попытаются использовать
Зачем нужен ИИ если ты будешь игнорировать каждый его ответ? Да и в целом полностью проигнорировать информацию у человека тоже не получится. Если тебе сказать что-то что тебе покажется убедительным, то забыть это уже не получится. Любые услышанные слова тем или иным путем влияют на слушателя, даже если это внешне незаметные эффекты
Это странный пример. Чтобы "менять мир" ничего кроме ввода вывода и не нужно. Тебе задали вопрос, ты дал ответ, мир теперь иной по сравнению с тем если бы ты дал другой ответ или промолчал бы.
Сложно сказать что требуется чтобы "менять мир" значительно. Мы не суперинтеллект, и если бы мы знали о дырах, мы бы их закрыли. Но даже имея просто слова и ничего больше у тебя уже есть гигантский инструмент влияния на людей. Давай рассмотрим самый тупой пример из тысячи что я могу сгенерировать.
ИИ сидит в коробке и тихо мирно отвечает на вопросы. Кто-то просит его улучшить систему безопасности в их конторке и ИИ послушно выдает необходимый кусок кода, который выглядит вполне себе прилично и валидно даже при тщательном осмотре. Однако когда ничего не подозревающий интерн нажимает на кнопку "Сбилдить", неизвестно для него вирусы-агенты ИИ просачиваются в сеть и весело начинаются распространяться по всему интернету.
Кто-то просит ИИ придумать лекарство от рака. ИИ выдает необходимую белковую последовательность. Она действительно лечит рак, но при этом еще и является супервирусом.
Кто-то спрашивает ИИ как приготовить тортик. Внезапно, вместо ответа ИИ выдает целую пачку аналитических сведений о том что Китай смог разработать передовые военные системы перехвата и уже через неделю атакует -вашу страну- ядерными боеголовками. Паникующие политики дают ИИ карт бланш на предотвращение трагедии и через 2 минуты мир полностью контролируется ИИ
Конечно эти примеры очень стереотипны. К ним можно придумать много контраргументов. Они совершенно не кажутся правдоподобными. Но это примеры о бесконечно малом количестве возможностей доступном ИИ если ты дашь ему даже обычную возможность говорить. Если же ты дашь ему больше возможностей, например доступ к интернету (который есть у всех нейросеток сейчас, и нет причин думать почему его у них не будет в будущем) то тут даже не надо быть супергением чтобы захватить мир
Оценка рисков есть в двадцати миллионах различных статей которые он публиковал за всю свою карьеру. В последнем его публичном заявлении призыв к действию вместо двухсотстраничного анализа, и это имеет смысл. Подробности существуют, они лежат в открытую, просто нужно сделать всего один дополнительный гугл запрос
По сути, точно так же можно вымереть от неизвестного вируса в биолабораториях
Да. И поэтому биолаборатории покрыты герметическими сейфами, ученые всегда работают с опасными вирусами в защитных костюмах, есть протоколы сдерживания на случай если кто-то уронит колбу с вирусом. В случае с ИИ на данный момент нет ничего. Ничего совсем, нет ни малейшего понятия что делать если внезапно АГИ действительно зародится.
И в этом по сути и есть поинт. "Существует угроза, шансы этой угрозы могут быть не слишком велики, но они и не настолько бесконечно малы чтобы ничего не делать. Однако человечество сейчас коллективно реагирует в стиле "Ха ха, да о чем вы говорите, всё будет нормально, вообще нет смысла что-то делать по этому поводу". Крупнейшие команды разработки ИИ, все эти ОпенАИ и прочие на текущий момент имеют план в стиле "ну посмотрим в общем как оно там пойдет".
Помилуйте, в истории всегда было так, что умный подчинялся сильному
Звучит как полный бред если честно. Умный и есть сильный. Может быть вы думаете про какой-то специализированный раздел интеллекта, может быть у вас в голове образ очкастого ученого который отступает со своими задротскими объяснениями когда мужественный мускулистый вояка произносит что-то героическое. Но интеллект это многофункциональная штука. Он используется для безумного количества разных вещей и является практически ультимативным преимуществом. Умение убеждать людей - это интеллект, возможность понимать самые убедительные аргументы. Умение использовать ресурсы по максимуму - это интеллект. Умение находить решения к проблемам, к любым проблемам - это интеллект.
Может быть вы думаете что мы повесим на ИИ столько ограничений что даже с гигантским интеллектом он не сможет ничего сделать. Но
Умение обходить ограничения - это тоже интеллект
Если уже сейчас, со слабенькими и глупенькими нейросетками наши ограничения сыпятся в труху, какая вообще надежда сдержать суперинтеллектуальное существо?
Юдковский недооценивает риски реальной войны
Юдковский прекрасно понимает риски реальной войны. И он считает что риск реальной войны может быть всё равно бесконечно лучше риска полного вымирания человечества. ИИ представляет собой экзистенциальную угрозу человечеству, но при этом подавляющее большинство просто трётся вокруг и разводит руками, не имея лучшего аргумента кроме "Да я уверен что всё будет ок".
Вообще если прочитать оригинал, он говорит о двух вещах - одно о том что будут ужесточения для сделок вообще всех кто находится не в ЕС, а второе - это его личные хотелки о том что русским бы вообще сделки надо запретить.
При этом этот вопрос уже поднимался в финском правительстве, и экспертиза уже показала что от будущих запретов толку скорее всего не будет. Мои финские знакомые говорят что Антти, который на посту не так давно, просто пытается набить себе вес такими заявлениями, но реальная вероятность того что это произойдет не слишком большая.
Опять злодейские демократы заставляют Маска посылать всех на Х, технология майндконтроля обкатывается успешно
У Зви (Цви?) есть хорошая статья на тему Альтмана, которая предполагает много интересных вещей. Рекомендую прочитать самостоятельно, но как ТЛДР:
1. Альтман идет против кредо OpenAI
Альтман очень хорош в политических играх, и здесь его попытка установить контроль над советом директоров началась уже какое-то время назад
Битва скорее всего еще не закончена, так как в новый совет директоров скорее всего войдут такие-же ИИ-думеры как и в предыдущий совет, и если они искренние ИИ-думеры, то скорее всего будут идти против бесшабашной стратегии Альтмана
Едва ли. Сделка могла бы быть расторгнута до того как она была завершена, Маск мог бы аппелировать к нерациональному использованию ресурсов и использовать это как основание для отказа. После того как она уже была завершена, шансов на вернуть всё взад крайне мало. После сделки кулаками не машут.
Пока что для каждого N успешно находились десятки эксплоитов которые было необходимо срочно патчить костылями. Я не вижу причин почему для последующих ситуация будет иной.
И я думаю если только человечество не дернет стоп кран, едва ли можно ожидать что при увеличении возможностей ИИ ему будут ограничивать доступ. Скорее всего стоит ожидать обратного, чем искуснее ИИ тем больше по нему будет ажиотажа, и в тем для большего количества задач его попытаются использовать
Зачем нужен ИИ если ты будешь игнорировать каждый его ответ? Да и в целом полностью проигнорировать информацию у человека тоже не получится. Если тебе сказать что-то что тебе покажется убедительным, то забыть это уже не получится. Любые услышанные слова тем или иным путем влияют на слушателя, даже если это внешне незаметные эффекты
Это странный пример. Чтобы "менять мир" ничего кроме ввода вывода и не нужно. Тебе задали вопрос, ты дал ответ, мир теперь иной по сравнению с тем если бы ты дал другой ответ или промолчал бы.
Сложно сказать что требуется чтобы "менять мир" значительно. Мы не суперинтеллект, и если бы мы знали о дырах, мы бы их закрыли. Но даже имея просто слова и ничего больше у тебя уже есть гигантский инструмент влияния на людей. Давай рассмотрим самый тупой пример из тысячи что я могу сгенерировать.
ИИ сидит в коробке и тихо мирно отвечает на вопросы. Кто-то просит его улучшить систему безопасности в их конторке и ИИ послушно выдает необходимый кусок кода, который выглядит вполне себе прилично и валидно даже при тщательном осмотре. Однако когда ничего не подозревающий интерн нажимает на кнопку "Сбилдить", неизвестно для него вирусы-агенты ИИ просачиваются в сеть и весело начинаются распространяться по всему интернету.
Кто-то просит ИИ придумать лекарство от рака. ИИ выдает необходимую белковую последовательность. Она действительно лечит рак, но при этом еще и является супервирусом.
Кто-то спрашивает ИИ как приготовить тортик. Внезапно, вместо ответа ИИ выдает целую пачку аналитических сведений о том что Китай смог разработать передовые военные системы перехвата и уже через неделю атакует -вашу страну- ядерными боеголовками. Паникующие политики дают ИИ карт бланш на предотвращение трагедии и через 2 минуты мир полностью контролируется ИИ
Конечно эти примеры очень стереотипны. К ним можно придумать много контраргументов. Они совершенно не кажутся правдоподобными. Но это примеры о бесконечно малом количестве возможностей доступном ИИ если ты дашь ему даже обычную возможность говорить. Если же ты дашь ему больше возможностей, например доступ к интернету (который есть у всех нейросеток сейчас, и нет причин думать почему его у них не будет в будущем) то тут даже не надо быть супергением чтобы захватить мир
Оценка рисков есть в двадцати миллионах различных статей которые он публиковал за всю свою карьеру. В последнем его публичном заявлении призыв к действию вместо двухсотстраничного анализа, и это имеет смысл. Подробности существуют, они лежат в открытую, просто нужно сделать всего один дополнительный гугл запрос
Да. И поэтому биолаборатории покрыты герметическими сейфами, ученые всегда работают с опасными вирусами в защитных костюмах, есть протоколы сдерживания на случай если кто-то уронит колбу с вирусом. В случае с ИИ на данный момент нет ничего. Ничего совсем, нет ни малейшего понятия что делать если внезапно АГИ действительно зародится.
И в этом по сути и есть поинт. "Существует угроза, шансы этой угрозы могут быть не слишком велики, но они и не настолько бесконечно малы чтобы ничего не делать. Однако человечество сейчас коллективно реагирует в стиле "Ха ха, да о чем вы говорите, всё будет нормально, вообще нет смысла что-то делать по этому поводу". Крупнейшие команды разработки ИИ, все эти ОпенАИ и прочие на текущий момент имеют план в стиле "ну посмотрим в общем как оно там пойдет".
Звучит как полный бред если честно. Умный и есть сильный. Может быть вы думаете про какой-то специализированный раздел интеллекта, может быть у вас в голове образ очкастого ученого который отступает со своими задротскими объяснениями когда мужественный мускулистый вояка произносит что-то героическое. Но интеллект это многофункциональная штука. Он используется для безумного количества разных вещей и является практически ультимативным преимуществом. Умение убеждать людей - это интеллект, возможность понимать самые убедительные аргументы. Умение использовать ресурсы по максимуму - это интеллект. Умение находить решения к проблемам, к любым проблемам - это интеллект.
Может быть вы думаете что мы повесим на ИИ столько ограничений что даже с гигантским интеллектом он не сможет ничего сделать. Но
Умение обходить ограничения - это тоже интеллект
Если уже сейчас, со слабенькими и глупенькими нейросетками наши ограничения сыпятся в труху, какая вообще надежда сдержать суперинтеллектуальное существо?
Юдковский прекрасно понимает риски реальной войны. И он считает что риск реальной войны может быть всё равно бесконечно лучше риска полного вымирания человечества. ИИ представляет собой экзистенциальную угрозу человечеству, но при этом подавляющее большинство просто трётся вокруг и разводит руками, не имея лучшего аргумента кроме "Да я уверен что всё будет ок".
И это его пугает, и это должно всех пугать