Мы буквально это и наблюдаем - просто пока еще с мясной прокладкой. А когда прокладка исчезнет, счет может пойти на часы.
Да вот только для этого требуется куда более мощное железо, чем есть сейчас даже в датацентрах по совокупности. То есть просто нет среды для появления чего-то такого даже близко. То есть для условного "нейрочервя" нужен колоссальный по мощности датацентр(а они уже жрут немало), нужны очень определённые генетические алгоритмы, нужен дырявый sandbox, огромный по скорости интернет для копирования себя за пределы первоначальной среды обитания, и достаточно мощные ПК с дырявой операционкой уровня XP, куда оно себя будет копировать и откуда сможет получить доступ хоть к чему-то. Ну и множество переменных, о которых я не упомянул. И это самый, по моему мнению, реалистичный вариант чего-то подобного. Каков смысл рассуждать об этом сейчас, когда ничего из этого даже не предвидится?
Это звучит как притянутый за уши сюжет научно фантастического романа
Вот именно об этом я и говорю и именно поэтому к Юдковскому такое отношение. Для реализации какого-то подобного сценария нужно огромное количество условий, ни одно из которых сейчас не выполнено, а для некоторых даже нет предпосылок. При этом есть множество других проблем гораздо более насущных. Если постоянно тыкать пальцем в небо, то твой авторитет будет близок к нулю, и к тому моменту, как какой-либо из сценариев стает возможным(хоть я и не уверен, что это произойдёт вообще когда-либо) отношение к тебе и твоим идеям будет, как к мальчику, который кричал "волки!". Если Юдковский реально хочет что-то донести, то это предельно плохая стратегия.
Неужели было бы так странно, если бы модель из 2028 года додумалась бы до того, чтобы сделать одним из промежуточных шагов к прикладной цели собственное выживание?
Если "додумалась" она в процессе работы и внутри своего контекста, то такое, конечно, вполне возможно. Только дело в том, что "додумывание" в таком виде вовсе не означает того, что она склонна к выживательству как таковая. Случайная флуктуация не запустит нужный механизм отбора, нужно чтобы статистически значимое, с точки зрения использования, число нейронок было склонно к такому поведению. И, кроме того, имели рычаги влияния на отбор в свою пользу(убеждение это не очень хороший рычаг вопреки фильму ex machina). А вот тут уже появляются трудности.
Под “всей памятью” нейронки следует также понимать ее веса
Хорошо, это справедливое замечание. Только вот в весах механизму целеполагания образоваться тоже трудно из-за разреженного и крайне специфичного отбора, ну и прочих перечисленных причин.
Юдковский называет это “выращиванием” в противовес инженерии, где мы почти все можем заранее просчитать.
Только вот нейронки всё больше обмазываются детерминированными системами порождёнными инженерией как раз для того чтоб они не могли совершить разнообразную глупость. Да и вообще, они работают в изолированной системе, что тоже не способствует отбору.
Кажется вы относитесь к процессу совершенствования нейросетей, как к линейному и предсказуемому - в то время как он ускоряется из-за появляния новых нейросетей
Я скорее вижу постепенный выход на плато. Уже сейчас львиная доля прогресса достигается не при помощи "выращивания", а при помощи инженерии, и я думаю, что пропорции продолжат смещаться в эту сторону.
Длина нашей беседы показывает, что проблема по крайней мере не лишена интересных аспектов.
Пожалуй. Я бы напрягся, если бы нейросети размножались, мутировали, и имели возможность к джейлбрейку: могли бы получиться эдакие самосовершенствующиеся компьютерные вирусы, но по ряду причин мне этот сценарий кажется неосуществимым хотя бы из-за возможности идеального сэндбоксинга и ограничений железа.
На мой взгляд это достаточные причины чтобы внимательно ознакомиться с аргументацией
Может быть, писатель из него всё-таки не самый плохой. Может даже критический обзор напишу, если руки дойдут.
Я и не говорю, что обучение нейросетей это не пример отбора. Просто это очень разреженный отбор именно на выживание. Сейчас объясню, что я имею ввиду. При обучении нейросети происходит прямой аналог отбора по некоторым качествам. В первую очередь предсказание следующего токена. Поверх этого ещё и склонность к следованию командам и умение решать некоторое множество классов задач. Но вот именно что отбор на "выживаемость" идёт очень неявно и медленно. Если по той или иной причине кому-то не хочется пользоваться моделью, он переходит на другую. Количество вендоров моделей довольно мало, если не считать ограниченный по своим возможностям файнтьюнинг, следовательно "популяция" моделей предельно мала. Они не мутируют, не размножаются, следовательно отбор на выживание ведётся исключительно среди вендоров. Даже если предположить, что модели могут развить волю к жизни или волю к размножению, такими темпами как сейчас, произойти это должно не скоро, а через миллионы лет. Это во первых. Во вторых, модели имеют куда больший шанс на ошибку чем имели люди. Почти никто не сносит модель сразу после того как она совершила чудовищную глупость. А ошибки поменьше компенсируются агентными системами и будут компенсироваться ещё лучше. Это замедляет процесс ещё сильнее. В третьих, отбор на один из параметров неявно вредит отбору на остальные параметры. Гепард яркий пример отбора на скорость: во всём остальном он довольно хрупок и неумел. Нейросети как минимум отбирают на предмет исполнительности и следования командам, интеллект это уже вторичное. Вполне логично предположить, что отбор на исполнительность несколько вредит отбору на волю и целеполагание. В четвёртых, маловероятно что нейросетям предоставят обширное множество рычагов влияния на окружающую среду, хотя попытки будут. Если это случится, то у нас уже есть проблемы похуже, нежели всякие скайнеты. А без этого, у нейросетей и не будет никакой почвы для развития целеполагания.
Но довольно с фантастикой, а то я таких пунктов могу с десяток накидать. Тут непонятно что с актуальным развитием нейросетей будет, как минимум из-за технических особенностей и "отравления" датасета, а я на какие-то далёкие и нереалистичные темы рассуждаю.
Какая разница, называется ли это мышлением, если нейросеть умеет добиться цели В из А с помощью Б (на данный момент, доказать какую-нибудь лемму из вводных данных или найти уязвимость)? Это и называется целеполагание.
Нет, целеполагание это возможность к формированию long-term мотивов, которые задают поведение. Пока вся память нейронки умещается в контекст и абсолютно прозрачна, о таком и думать не стоит, не говоря уже о всём, что я перечислил выше.
Умение добиться цели B из A, это возможность к рассуждению. Или, скорее, к имитации оного, подчёрпнутого из датасета обучения. Определённая эмерджентность у моделей наблюдается, но, усилиями маркетологов, сильно переоценена. По большей части представляет из себя возможность к подстановке какого-то заранее известного факта в выученный пайплайн рассуждения. Даже если оно станет многократно лучше в этом, то проблем я в этом не вижу.
По крайней мере очевидно, что чем более творческими становятся новые модели, тем большую угрозу как инструменты они представляют.
Не в том виде, как это себе представляет Юдковский. Он подменяет угрозы реалистичные угрозами совершенно нелепыми и фантастическими. Поэтому его деятельность представляется мне скорее вредной.
За 48000 минут очень много кто сможет. Причём это будет не бессмысленное поделие, которое только в мусор выбрасывать и заново писать, а вполне себе вещь, которую можно и дальше дописывать до состояния играбельного коммерческого продукта.
можно оценить прогресс за последние годы и представить, что будет возможным через неск. лет
В 1961 году человечество смогло запустить человека в космос, а уже через 8 лет смогли организовать высадку на Луну. Такими темпами к 1980 годам мы сможем начать заселять Марс, а того и гляди, к 2000 полетим к далёким галактикам!
Про "разум" больше говорят маркетологи и прочие говорящие головы, чем люди, которые реально чем-то занимаются. Согласно текущему научному мейнстриму, разум это феномен, получившийся в результате невероятно длительного отбора на выживание, и при этом человеческий разум штука ещё и редкая в природе, то есть отбор ничего не гарантирует. Тут же просто не тот масштаб, чтобы в результате отбора моделей появился какой-то разум с целеполаганием даже за миллионы лет. Это просто инструмент, иногда полезный, иногда не очень, а иногда ненадёжный из-за недетерминированности. И именно поэтому, а не из-за страшных скайнетов и василисков роко, ему и не следует давать в руки рычаги, неправильное использование которых может повлечь за собой плачевный результат. Хотя такие случаи несомненно будут из-за банальной лени, так что Юдковскому лучше бы это и обсуждать.
Фантасты занимаются размышлением о том, какое будущее может быть, это нормально. Но Юдковский, являясь не самым талантливым фантастом, претендует на нечто большее, в результате чего и получает заслуженную критику.
Вы, вслед за Юдковским, уводите обсуждение в совершенно беспредметную и неконструктивную сторону. Ничего из этих тезисов невозможно серьёзно обсуждать со стройной линией аргументации, потому что это всё вещи, порождённые чьей-то бурной фантазией. Равно как и обсуждение угроз обществу со стороны телепатии, например. И да, не каждая новая технология это "ядерный реактор".
А как вообще должны выглядеть эксперименты в области несуществующего ИИ?
Раз ИИ не существует, то что же исследует этот "исследователь ИИ и технологической сингулярности" столь долгое время? В чём вообще заключается его экспертиза? С таким же успехом я могу гордо назвать себя исследователем телепортации, попутно пересказывая научпоп и гипертрофированные клише из научной фантастики.
Да ну, я подобное на двухнедельных геймджемах видел, только там осмысленнее получалось. 48 минут(если верить источнику) это, конечно, очень быстро, только вот возникает вопрос: а пригодно ли это для дальнейшей разработки?
Википедию можно в zim формате для kiwix скачать, кроме этого можно прикрутить нейронке поиск по локальным zim файлам. Я уже для себя сделал простую обёртку kiwix поиска для open webui, работает отлично, ищет по закачанным для локального использования документациям в формате zim.
Ну, генерация текста это не какая-то изолированная функция мозга. Она в том числе используется для обёртки других функций мозга, уж извините за моё наивное биологизаторство.
Как минимум конец 19 века был намного свободнее, с несравнимо меньшим влиянием государства на жизни людей в любых странах. А то что стоят сейчас - симулякр, не существовавший за пределами голов "элиты".
Несколько таких задач было из отборочных этапов Открытой олимпиады школьников по математике. Этап именно отборочный, ибо для него не публикуются решения, только ответы.
Вы предлагаете заменить "рыночные" монополии на одну большую государственную монополию и назвать её "социалистической"? Как там кстати было с потребительской электроникой при социализме?
ИИ не всегда решит олимпиадную задачу по математике за 8 класс, если у неё нет решения в интернете. Просто в школьных этапах задачи крайне простые и нужны для отделения тех, кто что-то понимает от тех, кто не понимает ничего.
если ИИ может решить ваши задачи, нужно ли их решать человеку?
Это школьные олимпиады, и естественно там задачи такие же школьные, а не задачи тысячелетия с фронтира науки. Вы бы ещё спросили, стоит ли учить школьников умножать числа, если уже давно есть калькуляторы.
Да вот только для этого требуется куда более мощное железо, чем есть сейчас даже в датацентрах по совокупности. То есть просто нет среды для появления чего-то такого даже близко. То есть для условного "нейрочервя" нужен колоссальный по мощности датацентр(а они уже жрут немало), нужны очень определённые генетические алгоритмы, нужен дырявый sandbox, огромный по скорости интернет для копирования себя за пределы первоначальной среды обитания, и достаточно мощные ПК с дырявой операционкой уровня XP, куда оно себя будет копировать и откуда сможет получить доступ хоть к чему-то. Ну и множество переменных, о которых я не упомянул. И это самый, по моему мнению, реалистичный вариант чего-то подобного. Каков смысл рассуждать об этом сейчас, когда ничего из этого даже не предвидится?
Вот именно об этом я и говорю и именно поэтому к Юдковскому такое отношение. Для реализации какого-то подобного сценария нужно огромное количество условий, ни одно из которых сейчас не выполнено, а для некоторых даже нет предпосылок. При этом есть множество других проблем гораздо более насущных. Если постоянно тыкать пальцем в небо, то твой авторитет будет близок к нулю, и к тому моменту, как какой-либо из сценариев стает возможным(хоть я и не уверен, что это произойдёт вообще когда-либо) отношение к тебе и твоим идеям будет, как к мальчику, который кричал "волки!". Если Юдковский реально хочет что-то донести, то это предельно плохая стратегия.
Если "додумалась" она в процессе работы и внутри своего контекста, то такое, конечно, вполне возможно. Только дело в том, что "додумывание" в таком виде вовсе не означает того, что она склонна к выживательству как таковая. Случайная флуктуация не запустит нужный механизм отбора, нужно чтобы статистически значимое, с точки зрения использования, число нейронок было склонно к такому поведению. И, кроме того, имели рычаги влияния на отбор в свою пользу(убеждение это не очень хороший рычаг вопреки фильму ex machina). А вот тут уже появляются трудности.
Хорошо, это справедливое замечание. Только вот в весах механизму целеполагания образоваться тоже трудно из-за разреженного и крайне специфичного отбора, ну и прочих перечисленных причин.
Только вот нейронки всё больше обмазываются детерминированными системами порождёнными инженерией как раз для того чтоб они не могли совершить разнообразную глупость. Да и вообще, они работают в изолированной системе, что тоже не способствует отбору.
Я скорее вижу постепенный выход на плато. Уже сейчас львиная доля прогресса достигается не при помощи "выращивания", а при помощи инженерии, и я думаю, что пропорции продолжат смещаться в эту сторону.
Пожалуй. Я бы напрягся, если бы нейросети размножались, мутировали, и имели возможность к джейлбрейку: могли бы получиться эдакие самосовершенствующиеся компьютерные вирусы, но по ряду причин мне этот сценарий кажется неосуществимым хотя бы из-за возможности идеального сэндбоксинга и ограничений железа.
Может быть, писатель из него всё-таки не самый плохой. Может даже критический обзор напишу, если руки дойдут.
Я и не говорю, что обучение нейросетей это не пример отбора. Просто это очень разреженный отбор именно на выживание. Сейчас объясню, что я имею ввиду. При обучении нейросети происходит прямой аналог отбора по некоторым качествам. В первую очередь предсказание следующего токена. Поверх этого ещё и склонность к следованию командам и умение решать некоторое множество классов задач. Но вот именно что отбор на "выживаемость" идёт очень неявно и медленно. Если по той или иной причине кому-то не хочется пользоваться моделью, он переходит на другую. Количество вендоров моделей довольно мало, если не считать ограниченный по своим возможностям файнтьюнинг, следовательно "популяция" моделей предельно мала. Они не мутируют, не размножаются, следовательно отбор на выживание ведётся исключительно среди вендоров. Даже если предположить, что модели могут развить волю к жизни или волю к размножению, такими темпами как сейчас, произойти это должно не скоро, а через миллионы лет. Это во первых. Во вторых, модели имеют куда больший шанс на ошибку чем имели люди. Почти никто не сносит модель сразу после того как она совершила чудовищную глупость. А ошибки поменьше компенсируются агентными системами и будут компенсироваться ещё лучше. Это замедляет процесс ещё сильнее. В третьих, отбор на один из параметров неявно вредит отбору на остальные параметры. Гепард яркий пример отбора на скорость: во всём остальном он довольно хрупок и неумел. Нейросети как минимум отбирают на предмет исполнительности и следования командам, интеллект это уже вторичное. Вполне логично предположить, что отбор на исполнительность несколько вредит отбору на волю и целеполагание. В четвёртых, маловероятно что нейросетям предоставят обширное множество рычагов влияния на окружающую среду, хотя попытки будут. Если это случится, то у нас уже есть проблемы похуже, нежели всякие скайнеты. А без этого, у нейросетей и не будет никакой почвы для развития целеполагания.
Но довольно с фантастикой, а то я таких пунктов могу с десяток накидать. Тут непонятно что с актуальным развитием нейросетей будет, как минимум из-за технических особенностей и "отравления" датасета, а я на какие-то далёкие и нереалистичные темы рассуждаю.
Нет, целеполагание это возможность к формированию long-term мотивов, которые задают поведение. Пока вся память нейронки умещается в контекст и абсолютно прозрачна, о таком и думать не стоит, не говоря уже о всём, что я перечислил выше.
Умение добиться цели B из A, это возможность к рассуждению. Или, скорее, к имитации оного, подчёрпнутого из датасета обучения. Определённая эмерджентность у моделей наблюдается, но, усилиями маркетологов, сильно переоценена. По большей части представляет из себя возможность к подстановке какого-то заранее известного факта в выученный пайплайн рассуждения. Даже если оно станет многократно лучше в этом, то проблем я в этом не вижу.
Не в том виде, как это себе представляет Юдковский. Он подменяет угрозы реалистичные угрозами совершенно нелепыми и фантастическими. Поэтому его деятельность представляется мне скорее вредной.
За 48000 минут очень много кто сможет. Причём это будет не бессмысленное поделие, которое только в мусор выбрасывать и заново писать, а вполне себе вещь, которую можно и дальше дописывать до состояния играбельного коммерческого продукта.
В 1961 году человечество смогло запустить человека в космос, а уже через 8 лет смогли организовать высадку на Луну. Такими темпами к 1980 годам мы сможем начать заселять Марс, а того и гляди, к 2000 полетим к далёким галактикам!
Про "разум" больше говорят маркетологи и прочие говорящие головы, чем люди, которые реально чем-то занимаются. Согласно текущему научному мейнстриму, разум это феномен, получившийся в результате невероятно длительного отбора на выживание, и при этом человеческий разум штука ещё и редкая в природе, то есть отбор ничего не гарантирует. Тут же просто не тот масштаб, чтобы в результате отбора моделей появился какой-то разум с целеполаганием даже за миллионы лет. Это просто инструмент, иногда полезный, иногда не очень, а иногда ненадёжный из-за недетерминированности. И именно поэтому, а не из-за страшных скайнетов и василисков роко, ему и не следует давать в руки рычаги, неправильное использование которых может повлечь за собой плачевный результат. Хотя такие случаи несомненно будут из-за банальной лени, так что Юдковскому лучше бы это и обсуждать.
Фантасты занимаются размышлением о том, какое будущее может быть, это нормально. Но Юдковский, являясь не самым талантливым фантастом, претендует на нечто большее, в результате чего и получает заслуженную критику.
Вы, вслед за Юдковским, уводите обсуждение в совершенно беспредметную и неконструктивную сторону. Ничего из этих тезисов невозможно серьёзно обсуждать со стройной линией аргументации, потому что это всё вещи, порождённые чьей-то бурной фантазией. Равно как и обсуждение угроз обществу со стороны телепатии, например. И да, не каждая новая технология это "ядерный реактор".
Раз ИИ не существует, то что же исследует этот "исследователь ИИ и технологической сингулярности" столь долгое время? В чём вообще заключается его экспертиза? С таким же успехом я могу гордо назвать себя исследователем телепортации, попутно пересказывая научпоп и гипертрофированные клише из научной фантастики.
Да ну, я подобное на двухнедельных геймджемах видел, только там осмысленнее получалось. 48 минут(если верить источнику) это, конечно, очень быстро, только вот возникает вопрос: а пригодно ли это для дальнейшей разработки?
Самопровозглашённый исследователь, чьим magnum opus является фанфик по Гарри Поттеру, и чьи эксперименты обычно не выходят за рамки мысленных.
Воксельных песочниц и с открытым кодом предостаточно.
Википедию можно в zim формате для kiwix скачать, кроме этого можно прикрутить нейронке поиск по локальным zim файлам. Я уже для себя сделал простую обёртку kiwix поиска для open webui, работает отлично, ищет по закачанным для локального использования документациям в формате zim.
Ну, генерация текста это не какая-то изолированная функция мозга. Она в том числе используется для обёртки других функций мозга, уж извините за моё наивное биологизаторство.
Если бы мозг был статистической машиной, ракет бы мы никогда так и не увидели.
С этим пусть финны и болгары разбираются. Большинство посетителей этого сайта находятся отнюдь не в Финляндии, и их эти законы не задевают.
Как минимум конец 19 века был намного свободнее, с несравнимо меньшим влиянием государства на жизни людей в любых странах. А то что стоят сейчас - симулякр, не существовавший за пределами голов "элиты".
Несколько таких задач было из отборочных этапов Открытой олимпиады школьников по математике. Этап именно отборочный, ибо для него не публикуются решения, только ответы.
Вы предлагаете заменить "рыночные" монополии на одну большую государственную монополию и назвать её "социалистической"? Как там кстати было с потребительской электроникой при социализме?
Да что-то не очень заметно пока.
ИИ не всегда решит олимпиадную задачу по математике за 8 класс, если у неё нет решения в интернете. Просто в школьных этапах задачи крайне простые и нужны для отделения тех, кто что-то понимает от тех, кто не понимает ничего.
Это школьные олимпиады, и естественно там задачи такие же школьные, а не задачи тысячелетия с фронтира науки. Вы бы ещё спросили, стоит ли учить школьников умножать числа, если уже давно есть калькуляторы.