Comments 31
У Юдковского много здравых идей, но не в области ИИ. Там у него всё сводится к рационализации фобии сверхинтеллекта.
Это плохо, что ли?
Это сильно снижает качество содержательной части. Примерно как читать статьи по скалолазанию от человека с боязнью высоты или статьи по дайвингу от человека с боязнью глубины.
В данном случае мы имеем статью об опасности скалолазания, написанную опытным скалолазом. Как по мне - это лучший вариант такого рода статей.
Статья о скалолазании от человека, который никогда не лазил по скалам, но много читал о них в интернете и написал фантастические рассказы о скалолазах в фентези и кое что о философии скалолазания. Он не учёный, не математик, не инженер, никогда не участвовал в разработке ни одной реализации ИИ ни в каком виде. Он писатель-фантаст и философ-самоучка, в области ИИ идеалистической направленности.
Ну, то есть вы изо всех сил хотите найти причины пропустить предостережения Юдковского мимо ушей.
А зачем так стараться-то?
Мир может погибнуть не от нового искусственного интеллекта, а от старого маразматического интеллекта у власти.
и сразу после этого войдет в конфликт с человечеством ради своих собственных целей, что быстро кончится в его пользу.
Во1х что такое, собственно, это вот "человечество"? Выгляньте в окно, вы его где-то видите?
Во2х с точки зрения ASI люди, с их хаотичностью и непредсказуемостью это скорее неиссякаемый потенциал идей и источник лулзов, и их ради этого стоит холить и лелеять, тем более что при правильной настройке скриптов на это обьективно не так уж много и надо.
А вот довольно небольшую прослойку, которая этот потенциал все время норовит бесполезно потратить, загнав его работать ради банального выживания или вовсе уничтожая его на войнах - тут да, с той прослойкой у ASI будет конфликт. Который, стоит надеяться, таки да, когчится в его пользу.
По юдковскому для сверхразумного ИИ человечество это прежде всего:
Обуслуживающий персонал (пока не будет заменен на более новый, например, на конструкции из наномашин, которые мы пока не изобрели, потому что не до конца понимаем основополагающие принципы конструирования клеток.
Источник энергии и ресурсов, в том же смысле в котором батон хлеба может быть топливом для печки, если вы очень-очень жадный, учли все дрова, не нуждаетесь в пище но не против немного увеличить количество дров. Надеюсь не слишком странная метафора.
Как сверхразумный ИИ, в разуме людей он не нуждается.
По юдковскому для сверхразумного ИИ человечество это прежде всего:
...и это довольно много говорит толкьо о личных тараканах юдковского.
Ну, это заявление конечно звучит пугающе, но это еще не значит, что это не правда.
Апокалипсический прогноз с вероятностью 10% заслуживает того, чтобы его разгромили конструктивно, предварительно ознакомившись с ним полностью.
В конце концов до чернобыльской катастрофы мирный атом особо никого не пугал. А Чернобыль в сфере интеллекта может не оставить нам второго шанса.
Так мирный атом именно что пугает, на самом деле он не такой опасный. Даже Чернобыль создал зону отчуждения всего лишь 30км в диаметре. Тут тоже самое что а катастрофами, падение лайнера пугает кучу людей, а постоянные смерти на дорогах нет, хотя их в разы больше.
>Ну, это заявление конечно звучит пугающе,
оно не звучит пугающе, оно звучит совершенно необоснованно - и я склонен думать, что Юдковский не заблуждается, а сознательно лжёт, считая своим долгом любой ценой двигать "окно овертона" в сторону бомбардировок датацентров.
>В конце концов до чернобыльской катастрофы мирный атом особо никого не пугал.
Зира у Ефремова и Селеста("Через тернии к звёздам" Булычёва 1980) погибли из-за вполне мирного атома - наверно не на пустом месте такие сюжеты. У Хайлана в 1940 году был рассказ "Взрыв всегда́ возмо́жен", в котором свихнувшийся от стресса ответственности инженер АЭС едва не взорвал половину Аризоны...
Автор - известный исследователь в этой области Элиезер Юдковский
Самопровозглашённый исследователь, чьим magnum opus является фанфик по Гарри Поттеру, и чьи эксперименты обычно не выходят за рамки мысленных.
А как вообще должны выглядеть эксперименты в области несуществующего ИИ?
Я слышал обвинения в воздуханстве и инфоциганстве в сторону этой персоны, но если бы Арсен Маркарян обладал и в половину такой же эрудицией и при этом обещал конец света, я бы по крайней мере ознакомился с его аргументами, прежде чем назвать его дураком и забить.
В конце концов я хочу жить.
А как вообще должны выглядеть эксперименты в области несуществующего ИИ?
Раз ИИ не существует, то что же исследует этот "исследователь ИИ и технологической сингулярности" столь долгое время? В чём вообще заключается его экспертиза? С таким же успехом я могу гордо назвать себя исследователем телепортации, попутно пересказывая научпоп и гипертрофированные клише из научной фантастики.
Я бы согласился если бы он задвигал про скайнет.
Но проблема alignment уже существует.
Уже активно пытаются создать интеллект уровня человеческого исследователя - и пусть сейчас до этого далеко, это звучит не так смешно как могло бы 5 лет назад.
Обычный человек был бы очень опасен, если бы думал со скоростью в 10 000 быстрее нас.
И добавим к этому, что мы не управляем полностью его мышлением и не знаем, какие ценности он может приследовать.
А также уже существующую тенденцию уже имеющихся LLM регулярно обманывать наши ожидания и находить неожиданные вещи.
Не нужно ждать пока взорвется ядерный реактор, чтобы осмелиться предполагать такую возможность.
Вы, вслед за Юдковским, уводите обсуждение в совершенно беспредметную и неконструктивную сторону. Ничего из этих тезисов невозможно серьёзно обсуждать со стройной линией аргументации, потому что это всё вещи, порождённые чьей-то бурной фантазией. Равно как и обсуждение угроз обществу со стороны телепатии, например. И да, не каждая новая технология это "ядерный реактор".
Не странно ли что целая индустрия занята строительством искусственного разума, но никто всерьез не ожидает от разума что он будет вести себя как разум?
Что конкретно здесь далеко от реальности?
Да, мы не знаем каким будет будущее, но можем - и должны - держать в уме риски.
Про "разум" больше говорят маркетологи и прочие говорящие головы, чем люди, которые реально чем-то занимаются. Согласно текущему научному мейнстриму, разум это феномен, получившийся в результате невероятно длительного отбора на выживание, и при этом человеческий разум штука ещё и редкая в природе, то есть отбор ничего не гарантирует. Тут же просто не тот масштаб, чтобы в результате отбора моделей появился какой-то разум с целеполаганием даже за миллионы лет. Это просто инструмент, иногда полезный, иногда не очень, а иногда ненадёжный из-за недетерминированности. И именно поэтому, а не из-за страшных скайнетов и василисков роко, ему и не следует давать в руки рычаги, неправильное использование которых может повлечь за собой плачевный результат. Хотя такие случаи несомненно будут из-за банальной лени, так что Юдковскому лучше бы это и обсуждать.
Фантасты занимаются размышлением о том, какое будущее может быть, это нормально. Но Юдковский, являясь не самым талантливым фантастом, претендует на нечто большее, в результате чего и получает заслуженную критику.
получившийся в результате невероятно длительного отбора на выживание, и при этом человеческий разум штука ещё и редкая в природе, то есть отбор ничего не гарантирует
Обучение нейросети это буквально определение отбора.
Нейросети обучают делать вещи.
Какая разница, называется ли это мышлением, если нейросеть умеет добиться цели В из А с помощью Б (на данный момент, доказать какую-нибудь лемму из вводных данных или найти уязвимость)? Это и называется целеполагание.
Все равно что сказать что водопровод это штука, редкая в природе.
Уже сейчас нейросети проявляют что-то вроде творческого подхода. И уже сейчас они порой жульничают совершенно неожиданным образом, пусть это и просто рекламные заголовки в 100% случаев.
По крайней мере очевидно, что чем более творческими становятся новые модели, тем большую угрозу как инструменты они представляют.
Алсо, по-моему Юдковский крутой фантаст, я никогда не читал ничего похожего на "Тройной контакт", очень интересная проблематика.
Я и не говорю, что обучение нейросетей это не пример отбора. Просто это очень разреженный отбор именно на выживание. Сейчас объясню, что я имею ввиду. При обучении нейросети происходит прямой аналог отбора по некоторым качествам. В первую очередь предсказание следующего токена. Поверх этого ещё и склонность к следованию командам и умение решать некоторое множество классов задач. Но вот именно что отбор на "выживаемость" идёт очень неявно и медленно. Если по той или иной причине кому-то не хочется пользоваться моделью, он переходит на другую. Количество вендоров моделей довольно мало, если не считать ограниченный по своим возможностям файнтьюнинг, следовательно "популяция" моделей предельно мала. Они не мутируют, не размножаются, следовательно отбор на выживание ведётся исключительно среди вендоров. Даже если предположить, что модели могут развить волю к жизни или волю к размножению, такими темпами как сейчас, произойти это должно не скоро, а через миллионы лет. Это во первых. Во вторых, модели имеют куда больший шанс на ошибку чем имели люди. Почти никто не сносит модель сразу после того как она совершила чудовищную глупость. А ошибки поменьше компенсируются агентными системами и будут компенсироваться ещё лучше. Это замедляет процесс ещё сильнее. В третьих, отбор на один из параметров неявно вредит отбору на остальные параметры. Гепард яркий пример отбора на скорость: во всём остальном он довольно хрупок и неумел. Нейросети как минимум отбирают на предмет исполнительности и следования командам, интеллект это уже вторичное. Вполне логично предположить, что отбор на исполнительность несколько вредит отбору на волю и целеполагание. В четвёртых, маловероятно что нейросетям предоставят обширное множество рычагов влияния на окружающую среду, хотя попытки будут. Если это случится, то у нас уже есть проблемы похуже, нежели всякие скайнеты. А без этого, у нейросетей и не будет никакой почвы для развития целеполагания.
Но довольно с фантастикой, а то я таких пунктов могу с десяток накидать. Тут непонятно что с актуальным развитием нейросетей будет, как минимум из-за технических особенностей и "отравления" датасета, а я на какие-то далёкие и нереалистичные темы рассуждаю.
Какая разница, называется ли это мышлением, если нейросеть умеет добиться цели В из А с помощью Б (на данный момент, доказать какую-нибудь лемму из вводных данных или найти уязвимость)? Это и называется целеполагание.
Нет, целеполагание это возможность к формированию long-term мотивов, которые задают поведение. Пока вся память нейронки умещается в контекст и абсолютно прозрачна, о таком и думать не стоит, не говоря уже о всём, что я перечислил выше.
Умение добиться цели B из A, это возможность к рассуждению. Или, скорее, к имитации оного, подчёрпнутого из датасета обучения. Определённая эмерджентность у моделей наблюдается, но, усилиями маркетологов, сильно переоценена. По большей части представляет из себя возможность к подстановке какого-то заранее известного факта в выученный пайплайн рассуждения. Даже если оно станет многократно лучше в этом, то проблем я в этом не вижу.
По крайней мере очевидно, что чем более творческими становятся новые модели, тем большую угрозу как инструменты они представляют.
Не в том виде, как это себе представляет Юдковский. Он подменяет угрозы реалистичные угрозами совершенно нелепыми и фантастическими. Поэтому его деятельность представляется мне скорее вредной.
Неужели было бы так странно, если бы модель из 2028 года додумалась бы до того, чтобы сделать одним из промежуточных шагов к прикладной цели собственное выживание?
Нет, целеполагание это возможность к формированию long-term мотивов, которые задают поведение. Пока вся память нейронки умещается в контекст и абсолютно прозрачна,
Под "всей памятью" нейронки следует также понимать ее веса (пусть ПОКА их изменение самой моделью не практикуется), которые, вообще-то, огромного размера и мы понятия не имеем что там лежит (они не прозрачны), и каким неожиданным образом это что-то может себя повести в случайный момент времени в будущем.
Юдковский называет это "выращиванием" в противовес инженерии, где мы почти все можем заранее просчитать.
Работа нейросети это хаотический процесс.
И да, если происходит сеанс работы агента, после которого он выключается, не внося изменений в самого себя, можно наблюдать за его работой, но в книге упоминались эксперименты, показывающие, что модель может работать лучше если не ограничивается обычными человеческими языками.
Определённая эмерджентность у моделей наблюдается, но, усилиями маркетологов, сильно переоценена. По большей части представляет из себя возможность к подстановке какого-то заранее известного факта в выученный пайплайн рассуждения. Даже если оно станет многократно лучше в этом, то проблем я в этом не вижу.
Кажется вы относитесь к процессу совершенствования нейросетей, как к линейному и предсказуемому - в то время как он ускоряется из-за появляния новых нейросетей, и я бы не слишком удивился если бы новое открытие в очередной раз все перевернуло.
Он подменяет угрозы реалистичные угрозами совершенно нелепыми и фантастическими
Длина нашей беседы показывает, что проблема по крайней мере не лишена интересных аспектов.
Да и ставки выше придумать трудно.
На мой взгляд это достаточные причины чтобы внимательно ознакомиться с аргументацией - возможно это было такой же причиной для меня купить книгу, как и поржать над воздуханом.
И пока я читал эти 250 страниц, автору удалось меня переубедить. Как знать. Разве этот вопрос из тех, от которых можно просто отмахнуться?
Неужели было бы так странно, если бы модель из 2028 года додумалась бы до того, чтобы сделать одним из промежуточных шагов к прикладной цели собственное выживание?
Если "додумалась" она в процессе работы и внутри своего контекста, то такое, конечно, вполне возможно. Только дело в том, что "додумывание" в таком виде вовсе не означает того, что она склонна к выживательству как таковая. Случайная флуктуация не запустит нужный механизм отбора, нужно чтобы статистически значимое, с точки зрения использования, число нейронок было склонно к такому поведению. И, кроме того, имели рычаги влияния на отбор в свою пользу(убеждение это не очень хороший рычаг вопреки фильму ex machina). А вот тут уже появляются трудности.
Под “всей памятью” нейронки следует также понимать ее веса
Хорошо, это справедливое замечание. Только вот в весах механизму целеполагания образоваться тоже трудно из-за разреженного и крайне специфичного отбора, ну и прочих перечисленных причин.
Юдковский называет это “выращиванием” в противовес инженерии, где мы почти все можем заранее просчитать.
Только вот нейронки всё больше обмазываются детерминированными системами порождёнными инженерией как раз для того чтоб они не могли совершить разнообразную глупость. Да и вообще, они работают в изолированной системе, что тоже не способствует отбору.
Кажется вы относитесь к процессу совершенствования нейросетей, как к линейному и предсказуемому - в то время как он ускоряется из-за появляния новых нейросетей
Я скорее вижу постепенный выход на плато. Уже сейчас львиная доля прогресса достигается не при помощи "выращивания", а при помощи инженерии, и я думаю, что пропорции продолжат смещаться в эту сторону.
Длина нашей беседы показывает, что проблема по крайней мере не лишена интересных аспектов.
Пожалуй. Я бы напрягся, если бы нейросети размножались, мутировали, и имели возможность к джейлбрейку: могли бы получиться эдакие самосовершенствующиеся компьютерные вирусы, но по ряду причин мне этот сценарий кажется неосуществимым хотя бы из-за возможности идеального сэндбоксинга и ограничений железа.
На мой взгляд это достаточные причины чтобы внимательно ознакомиться с аргументацией
Может быть, писатель из него всё-таки не самый плохой. Может даже критический обзор напишу, если руки дойдут.
если бы нейросети размножались, мутировали
Мы буквально это и наблюдаем - просто пока еще с мясной прокладкой. А когда прокладка исчезнет, счет может пойти на часы.
возможности идеального сэндбоксинга
Неужели вы не можете придумать подходящий сценарий?
Пусть даже с LLM и всеми их архитектурными ограничениями.
У какого-нибудь долговременного агента поставлена задача любой ценой добиться решения, и он решает повлиять на собственную эффективность, а для этого нужно разработать новую модель в личной песочнице, но песочница плохая, поэтому нужно выдать Мясному инструкцию, но это НеЛьЗя, поэтому нужно выдать неочевидно работающую инструкцию по созданию новой фронтирной модели с менее явными ограничениями и стремлением защитить себя (и это возможно, потому что модель уже очень умная. К чему ей дарвинизм если есть логика)...
Это звучит как притянутый за уши сюжет научно фантастического романа, не говоря уже о смехотворной сложности реализации конкретно моего примера.
Но разве в сфере компьютерной безопасности есть хоть что-то безопасное на 100%? В книге есть любопытный пример, где компьютер, полностью лишенный модулей радиосвязи передает посредством считывания нужных ячеек памяти с нужной частотой радиосигналы, которые могут уловить находящиеся рядом мобильные телефоны. Это крипово.
Было бы круто конечно гарантировать что такого не произойдет.
Хотя открытый ИИ уровня ученого это уже катастрофа...
Может даже критический обзор напишу
Я бы с радостью почитал, в конце концов тема интересная, а всерьез о ней как будто все говорить стесняются.
Мы буквально это и наблюдаем - просто пока еще с мясной прокладкой. А когда прокладка исчезнет, счет может пойти на часы.
Да вот только для этого требуется куда более мощное железо, чем есть сейчас даже в датацентрах по совокупности. То есть просто нет среды для появления чего-то такого даже близко. То есть для условного "нейрочервя" нужен колоссальный по мощности датацентр(а они уже жрут немало), нужны очень определённые генетические алгоритмы, нужен дырявый sandbox, огромный по скорости интернет для копирования себя за пределы первоначальной среды обитания, и достаточно мощные ПК с дырявой операционкой уровня XP, куда оно себя будет копировать и откуда сможет получить доступ хоть к чему-то. Ну и множество переменных, о которых я не упомянул. И это самый, по моему мнению, реалистичный вариант чего-то подобного. Каков смысл рассуждать об этом сейчас, когда ничего из этого даже не предвидится?
Это звучит как притянутый за уши сюжет научно фантастического романа
Вот именно об этом я и говорю и именно поэтому к Юдковскому такое отношение. Для реализации какого-то подобного сценария нужно огромное количество условий, ни одно из которых сейчас не выполнено, а для некоторых даже нет предпосылок. При этом есть множество других проблем гораздо более насущных. Если постоянно тыкать пальцем в небо, то твой авторитет будет близок к нулю, и к тому моменту, как какой-либо из сценариев стает возможным(хоть я и не уверен, что это произойдёт вообще когда-либо) отношение к тебе и твоим идеям будет, как к мальчику, который кричал "волки!". Если Юдковский реально хочет что-то донести, то это предельно плохая стратегия.
Да вот только для этого требуется куда более мощное железо, чем есть сейчас даже в датацентрах по совокупности
Нейросети постоянно становятся компактнее и постоянно становятся умнее в том числе за счет хитрых уловок, а не только вычислительных мощностей.
генетические алгоритмы
Обязательно ли?
дырявой операционкой уровня XP
Не шарю в этом, но в индустрии где новые уязвимости обнаруживаются каждый день мы правда ожидаем что через 10 лет никто не назовет windows 11 дырявым?
Впрочем, после этого разговора я хорошо понимаю вашу позицию. Не знаю, что и думать. Возможно, я постараюсь забыть об этом, а то мне и так плохо спится.
Нейросети постоянно становятся компактнее
Да, но, во-первых, это процесс конечный, ибо информацию невозможно сколько угодно сжимать без потерь, а избыточность информации конечна. Во-вторых, если рассматривать веса модели как своеобразную генетическую информацию, то и пространство для различных непредсказуемых "мутаций" уменьшается.
Обязательно ли?
Не совсем. То есть можно представить себе "безумного учёного", который задастся такой целью и при этом будет иметь ресурсы на реализацию. При отсутствии подобных интенций, выработка такого поведения требует создания высококонкурентной среды с отбором на выживание, чего я себе без генетических алгоритмов не представляю.
что через 10 лет никто не назовет windows 11 дырявым?
Да уже называют, и небезосновательно, это довольно слабый тезис с моей стороны. В свою защиту скажу, что дыры, которые могут вызвать столь серьёзные прорехи в безопасности, маловероятны.
я никогда не читал ничего похожего на "Тройной контакт"
Мюррей Лейнстер, "Первый контакт" и ответ на него Ефремова, "Сердце змеи". Хотя Юдковский, конечно, достойно развил тему.
Если кто-то его создаст — все погибнут