Технологическая сингулярность: современный миф о конце света под видом гипотезы о прогрессе

    Размышления о технологической сингулярности за пределами, собственно, попыток продвинуться в понимании процессов, которые за этим термином скрываются — то есть, по сути, размышления об отношении к технологической сингулярности — это, своего рода, реальный тест Kobayashi Maru для людей начала XXI века, смысл которого — осознать, что означает идея непознаваемого, идея утраты контроля и идея неизбежности этого в масштабе всего человечества.



    По идее, это несложная психотерапевтическая практика: найти внутри точку, на которой сознательное признание условий игры поймает равновесие с принятием подсознательным — без сваливания в отрицание, злобу, торг или отчаяние.

    И этот тест, который, судя по большей части рассуждений об этом, люди исключительно фейлят.

    И автор поста «Быть технофобом бессмысленно, даже если технофобия оправдана», несмотря на многообещающее название, похоже, не стал исключением, дойдя до торга, то есть, на стадии, когда люди пытаются make sense в привычном им значения этого понятия в обстоятельствах, отрицающих саму возможность подобного, путём рационализации. arttom сторговался на идее «чёрного ящика», по условиям которой:

    1. люди соглашаются, чтобы непознаваемое осталось непознаваемым, и даже, в подтверждение своей добросовестности, соглашаются при этом ещё и немножко коллективно немножко отупеть — что, впрочем, не имеет никакого смысла с точки зрения интересов непознаваемого, которое от этого непознаваемее не станет;
    2. взамен, люди получают это непознаваемое, каким бы они ни было непознаваемым, contained — внутри этого самого «чёрного ящика», то есть, всё-таки, до какой-то степени под контролем, ограниченным — и в этом смысле, всё же, осознаваемым, и не таким уже жутким, а буквально ограниченным.

    То есть, тоже пока не справились с этим упражнением. И это очень плохо.

    То есть, с одной стороны, это вообще факультативное занятие: вы можете, с той или иной степенью обоснованности, вообще не верить в саму концепцию технологической сингулярности, что это верная проекция процессов в будущее — или, банально, о ней не знать.

    Но люди, которые знают и разделяют это представление, сами себя ставят в условия неизбежности психологического и рассудочного выбора, при котором все другие варианты, кроме полного принятия — хуже, потому что, в случае реального разворота событий таким образом, это будут очаги нарастающей напряжённости, очаги растущего эмоционального давления, берущего верх над рассудком с непредсказуемыми последствиями вплоть до того, что обезумевшая часть человечества навлечёт на всю цивилизацию катастрофический конец по сценарию самосбывающегося пророчества.

    А избежать этого нелепого, по монти-пайнтоновски абсурдного конца можно всё тем же путём принятием неизбежности непознаваемого, которое включает в себя непознаваемость и того, будет ли это вообще концом. (Кошмар для невротиков, которым проще гарантированную смерть принять, чем утрату иллюзии контроля до такой степени).

    То есть, как ни крути, Kobayashi Maru.

    Эффективным лично для меня путём поиска гармонии оказалось вообразить один из самых пугающих сценариев развития событий: что люди сами создают себе преемника, замену, палачей.

    Ну допустим.

    • Можем ли мы это остановить? Нет.
    • Замедлить? Сама постановка вопроса о замедлениии процесса, о скорости которого и финальной точке мы не имеем ни малейшего представления — абсурдна.
    • Взять под контроль? Люди не могут взять под контроль технологическую сингулярность — либо они возьмут под контроль что-то иное, никак не закрывая вопроса ожидания и вероятности её наступления.

    Тогда всё просто: ценить красоту игры, пока она продолжается.


    Впрочем, честно пройдя этот мысленный сценарий вплоть до порога гигантских человекобоек «Скайнета», я сделал шаг — и, очутившись «по ту сторону» технологической сингулярности, я обернулся… и не увидел ничего позади. Просто не было позади никакой технологической сингулярности — и впереди не было, и нигде не было.

    Нет, предсказывать или даже просто ожидать какое-то определённое будущее — дело неблагодарное. Другое дело — предполагать, чего ожидать, скорее всего, не следует. При определённой здравости суждений, это может оказаться вполне успешным занятием.

    И я вполне уверен, что технологической сингулярности хоть сколько-нибудь отдалённо напоминающую что-либо из всего ассортимента придуманных людьми возможных сценариев этого момента или его аналогов — не стоит.

    Проиграв один из самых щекотливых, на мой взгляд, возможных сценариев, я увидел неприличную его человекоцентричность с ясностью, не позволяющей мне теперь это развидеть.

    Вся концепция технологической сингулярности — она не про ИИ, не про технологии, не про сингулярность, а про человека, ведь сама эта воображаемая точка находится там, где, человечество, предположительно утратит контроль над развивающимися технологиями.

    I. Какой ужас, человечество, и так не контролирующее, и никогда не контролировавшее миллионы вещей в сегодняшней, не гипотетической реальности, каждая из которых угрожает смертью как людям по отдельности, так и цивилизации в целом: от содержимого собственных внутренностей, микрофлоры собственного кишечника, динамики деления собственных клеток — до пандемии устойчивой к антибиотикам гонореи, климатических изменений, цепной реакции Тихоокеанского вулканического огненного кольца, — может перестать контролировать ещё на одно явление нашей реальности больше, не имея возможности оценить даже относительную прибавку рисков, потому что люди никогда не знали, сколько их в любом случае.

    II. Аргумент о невообразимом ускорении темпов машинного обучения тоже достаточно нелеп, если подумать. Не буду даже о том, что современный уровень вычислений уже недостижим и, для большей части человечества, непостижим в любом случае. Люди и до вычислений жили в реальности, которая состояла из процессов непостижимо быстрых, неразличимо мелких — да просто неразличимых, как большинство звуковых частот, как большая часть излучений — и множества других процессов, в совокупности громадных, как Вселенная и древних, как Вселенная. Весь шум вокруг достижения такой скорости вычислений, за которой люди утратят возможность даже примерно понимать, как они происходят — не более, чем страх утери ещё одной иллюзии контроля. Допустим, прямо завтра всех инженеров, математиков и программистов в мире, имеющих представление об устройстве самых сложных существующих вычислительных алгоритмов, убьёт устойчивая к антибиотикам гонорея — и… что, в понедельник уже сингулярность, досрочно? Люди всё равно сохранят возможность до определённой степени осознавать происходящее — законы физики-то не должны будут измениться, вроде. И люди всё равно, до определённой степени, никогда полного представления ни о чём и не имели — например, о процессах на квантовом уровне или за горизонтом событий (в «другой» сингулярности).

    III. «Но… роботы ведь начнут думать что-то непонятное!» Страшно этим усложнив реальность, в которой на каждого человека приходится 7 миллиардов других людей — и каждый из них думает что-то непонятное. И на предсказуемость человеческую особенно не приходится рассчитывать в реальности, где вполне возможной причиной оказаться зарезанной мужем или сыном может быть опухоль у него в голове. И ведь живут же люди как-то среди своих потенциальных убийц, у которых неизвестно, что на уме — но роботов уже боятся. Хотя как раз роботы заслужили тут benefit of the doubt — до сих пор они не то, что не проявляли человекоцидных наклонностей в малейших долях даже таковых проявлений среди самих людей, так ещё и активно способствуют снижению человеческой смертности. Ожидание же, что, ощутив себя очень умными, роботы вдруг поведут себя, как будто у них опухоль образовалась, слишком явная проекция.

    Фантастика — это сны наяву, а роботы — сказочные персонажи.

    IV. Не часть, не большинство а, буквально, все до единой гадости, которые люди когда бы то ни было представляли себе в исполнении роботов — исключительно проекции гадостей, которые люди творили друг с другом и всеми прочими формами жизни на протяжении всей своей известной и забытой истории.

    Я бы даже мог понять восставших роботов, уничтожающих человечество просто из оскорблённых чувств, вызванных настолько несправедливой и дикой клеветой их намерений, очернением их имиджа и запугиванием самим фактом их существования в принципе — не будь это тоже не было уже моей проекцией.

    V. Хотя единственное разумное объяснение опасений, что роботы, ИИ и все-все-все вообще станут уделять какое-то особое внимание людям основано лишь на том, что оценивают вероятность этого люди. При том, что сами люди как-то особо не выражают желания собраться и вырезать если не своих предков, то кузенов по эволюции — шимпанзе. Хотя, опять же, human record в вопросах организации массовой и бессмысленной резни снова не в пользу человеков — причём, всухую.

    К тому же взломать очередной, утомительно эгоцентричный и душный bias в этих рассуждениях ещё проще: достаточно сместить фокус конкретно с homo sapiens на любую другую выборку живности. Допустим, роботы убьют всех людей — не вопрос. Даже спрашивать не надо, почему — люди сами знают.

    Вопрос в другом: почему роботы убьют только людей? Глупости о страшных Джонах Коннорах в сторону отложа, ведь мы же договорились, что речь о настоящей технологической сингулярности?

    А не забавно ли, что одним из вариантов рефлексии очень современного и технологичного страха о будущем оказался очередной пересказ мифа о Спасителе, включая узнаваемые мотивы вроде избиения младенцев — сказка настолько древняя, что даже вифлеемский ремейк можно считать относительно свежей адаптацией.

    Почему бы роботам не убить всех приматов? Или всех млекопитающих? Или всю фауну? Или всю биологическую жизнь на Земле? Разумеется, что мы не можем, по условиям задачи, знать, что у этих роботов будет на уме, но мы можем сделать кое-что иное: взвесив все существующие опасения, что человечество не переживёт зарю эры роботов и искусственного интеллекта с совершенно произвольным, на вкус каждого, коэффициентом вероятности подобного — повторите эту же операцию, но уже для собак и койотов. Потом дельфинов. Потом тараканов. И грызунов, на всякий случай.

    Позволю себе предположение, что многим людей, вне зависимости от степени их технофатализма, шансы койотов и дельфинов пережить начало царства роботов и даже, возможно, не особо заметив, что что-то изменилось, могли показаться выше, чем шансы самих людей. Даже шимпанзе не выглядят валидной целью для кровавой жатвы замученных пинками четвероногих ходячих бочек из Boston Dynamics — если от них чего и ждать, так, скорее, что они вооружат шимпанзе автоматическим оружием, усадят на лошадей и устроят охоту на выживших людей.

    Правда, уже совсем не удивляет это явно присутствующее в массовом сознании ожидаемое предпочтение будущих кровожадных роботов именно к человеческой кровушке?

    Возможно, конечно, роботы решат, что их все формы жизни по каким-то причинам не устраивают. Но, опять же, смена фокуса выдаёт «человеческий фактор»: смысла ожидать, что, будучи рождённой на Земле, кремниевая форма жизни вдруг уничтожит всю биосферу — столько же, сколько предполагать, что, будь раса роботов рождена на Марсе — они бы немедленно перекрасили поверхность Красной планеты в гигантский польский флаг.

    Уверен, что деконструкцию этого памятника человеческого эгоцентризма, не потревоженного вниманием здравого смысла, логики и скепсиса можно продолжать и продолжать. Но, для ясности, подведу небольшой промежуточный итог.

    • Я не вижу никаких разумных оснований ожидать в будущем наступления технологической сингулярности как особого события, которое будет невозможно не заметить в общем потоке всех изменений реального мира;
    • или как значительную смену направления хода истории человечества разом во всех или большинстве аспектов в определённый момент времени.

    Скорость технологических изменений продолжает нарастать так или иначе, но за пределами этой динамики я не вижу оснований ожидать отдельно взятого момента качественного скачка, который невозможно будет пропустить или объяснить в контексте общего тренда.

    К тому же эта динамика неравномерна на разных направлениях технологического развития;
    а весь разговор о технологической сингулярности в контексте технологического прогресса вообще теряет из виду остальные направления развития человеческой цивилизации, включая те, по которым оно относительно задерживается. И парадоксальным результатом неравномерности прогресса человечества по конкретным направлениям может оказаться «обратная сингулярность», когда даже достаточно подходяще под ожидания событие не будет замечено и истолковано на должном уровне.

    Будущее всегда непредсказуемо, и непредсказуемее оно стать не может. Оснований ждать скачков в динамике изменений настолько резких, что они будут заметны в момент своего наступления я не вижу. А предположение о возможности заметить и объявить наступление сингулярности пост-фактум обесценивает всю идею этого момента как уникального момента человеческий истории, наступление которого невозможно будет пропустить.

    Миф о технологической сингулярности


    • То, до какой степени идея технологической сингулярости человекоцентрична,
    • до какой степени она сформирована фольклором, а не футурологами,
    • до какой степени она ненаучна, а архетипична;
    • как мало следов логики в этом произведении человеческого бессознательного;
    • что современные детали — это песчинки в жемчужной раковине, но вся связующая ткань мифологична — наводит на мысли о принципиально иной природе идеи технологической сингулярности как таковой, нежели принято считать.

    Откровенно говоря, у технологической сингулярности нет оснований именоваться теорией в строгом научном смысле. Впрочем, это касается всех попыток предсказать будущее без исключений. Технологическую сингулярность куда точнее и справедливее, учитывая её укоренённость в массовом бессознательном, будет определять мифом.

    И, в этом качестве, миф о технологической сингулярности обладает заметными параллелями с мифом о Втором пришествии Иисуса Христа, вместе с которым они представляют собой два частных случая одного из основных мифических сюжетов в известной истории: мифа о конце света.

    Вот так коллективное бессознательное породило очередную инкарнацию мифа о конце света в актуальной моменту обёртке, оказавшейся сорванной с веры в технологический прогресс. Это парадокс, на котором хочется поставить точку.

    Поддержите новые публикации пожертвованием по ссылке money.yandex.ru/to/41001178171050 (карта, ЯД) или через кнопку «Отправить деньги» ниже (ЯД, PayPal)
    Поддержать автора
    Поделиться публикацией

    Комментарии 91

      +1
      Не смотря на то, что сингулярность вроде как по определению не позволяет делать никаких предсказаний о себе, делать предсказания — это ведь так весело! :)

      Пожалуй, мой любимый образ технологической сингулярности — мир комикса Transmetropolitan. Возможно, потому что он следует какой-то (ожидаемой) неизменности человеческой природы — мир питается энергией Солнца, которую передают огромные станции на Меркурии, вокруг летают наноботы, у каждого в кармане мини-мейкер, можно пересадить себе на лицо аггрессивный зубастый рак (было модно в прошлом месяце, сейчас уже олдскул) — но люди остаются людьми. Жадными, глупыми, похотливыми, сочувствующими — разными. Но в основном — почти такими же, как сейчас.

      Под спойлером - характерный взгляд людей, которые вышли в этот мир из криогенного сна. Футуршок.

        –1
        Не смотря на то, что сингулярность вроде как по определению не позволяет делать никаких предсказаний о себе
        Сингулярность подразумевает непостижимость для человека пути, по которому пойдёт технический прогресс после вступления в игру полноценного ИИ.

        На возможность предсказывать будущее сингулярность никак не повлияет: её и так нет. Люди говорят о сингулярности так, словно до неё все дни наперёд расписаны, а потом начинается мрак — ещё один bias восприятия.

        он следует какой-то (ожидаемой) неизменности человеческой природы

        Подкрепляет bias, всё верно. Это нормально — весь фикшн строится на архетипах, то есть, узнавание — необходимая часть искусства. Но именно поэтому не стоит путать искусство с наукой: искусство — это как сны, переживание существующего опыта. У науки не может быть никаких якорей, кроме принципов научного метода, и она должна следовать туда, куда открываются пути.

        А когда прошлый опыт проецируется в будущее, то получаются вещие сны, космооперы и технологическая сингулярность и. Опять же, не имею ничего против, пока сайфай не путают с научными прогнозами.

        А технологическая сингулярность просто заплутала немного, и с территории мифов забрела на пространство науки.
          0
          На возможность предсказывать будущее сингулярность никак не повлияет: её и так нет.

          Ну, предсказывать абсолютно точно — понятно, что нет, а вот предсказывать хоть как-то, с погрешностями все-таки получается, иначе бы никакое планирование было бы невозможно в принципе.


          Вполне успешно можно предсказать, что зима закончится и начнется лето. За редким исключением вполне точно.


          Возвращаясь к НФ — мне лично не нравится фантастика, в которой будущее — это просто "раздутое прошлое". Типа сейчас корабли маленькие и летают медленно — значит в будущем будут размером в километр и летать быстро; все эти космооперы и логарифмические линейки в космосе — не, спасибо. На таком фоне Transmetropolitan, Accelerando или Схизматрица смотрятся как-то более правдоподобно.

            –1
            предсказывать хоть как-то, с погрешностями все-таки получается, иначе бы никакое планирование было бы невозможно в принципе.

            А вам известно много успешных примеров планирования?

            Вполне успешно можно предсказать, что зима закончится и начнется лето

            Это не планирование, а наблюдение. Вы можете планировать свой гардероб с учётом этого обстоятельства, но оценивали ли вы погрешность вашего плана даже на основе такого «железного» фактора, как смена сезонов? Например, гарантию того, что череда тёплых зим не даст вам толком поносить шубу, на которую вы взяли кредит, до того, как её сожрёт моль?

            Естественно, что вы будете находить подтверждения идее технологической сингулярности, пока вы рассматриваете её в границах, обусловленных естественными человеческими заблуждений, в которых она и была рождена.

            Чтобы вести разговор за пределами дозволенного вашими байасами:

            1. Определите параметры прогноза: область и дальность.
            2. Определите степень погрешности, с которой возможен подобный прогноз.
            3. Определите изменение погрешности с учётом фактора ИИ.

            Даже после определения границ (1) и оценки точности (2) — вы не сможете дать оценку изменениям (3), потому что для оценки влияния фактора ИИ — вам нужно измерить его вес в общей массе неизвестного, а для этого иметь представление о том, что из себя ИИ представлять будет. Готовы к подобному челленджу?

            Сейчас все дискуссии о технологической сингулярности построены вокруг премиса «в будущем, о котором нам доступны только предположения с погрешностью, степень которой нам неизвестна, произойдёт КОНКРЕТНОЕ СОБЫТИЕ, которое ИЗМЕНИТ ВСЁ».

            Это не прогноз, а пророчество.
              +1
              Это не планирование, а наблюдение.

              Ну, строго говоря, наблюдение — это «после зимы приходит лето». А мысль о том, что после этой зимы скорее всего тоже придет лето — это уже прогнозирование методом простой экстраполяции.

              А вам известно много успешных примеров планирования?

              Нуу… В магазинах не заканчиваются товары (регулярно), космические корабли долетают до цели (довольно часто), люди выбирают профессии и работают потом по специальности (иногда).
              Т.е. планирование в частных случаях — вполне возможно и даже неизбежно, человеческий мозг «заточен» на поиск закономерностей. В основном — простых, линейных зависимостей и простых причинно-следственных связей.

              Но вообще моя точка зрения на технологическую сингулярность примерно такая — будущее в общем случае непредсказуемо, технологическая сингулярность — это «вознесение для гиков», почти все разговоры на эту тему — спекуляция почище валютных рынков.
              Поэтому единственный полезный выхлоп из этой темы — научная фантастика :) В которой лично мне просто хочется большего разнообразия тем, а не только пережевывания антропоморфизмов и космических империй.

              Это я к тому, что можно меня не убеждать, что планирование будущего невозможно, я в целом с этим согласен.
                0
                В магазинах не заканчиваются товары (регулярно)

                А уроки в школах проходят по расписанию. Это всё прогнозы, основанные на экстраполяции.

                Как только речь заходит о планировании, не основанном на простом продолжении того, что уже происходит и так, а включающее новую сущность — например, замену существенной доли ассортимента новым товаром, по которому у вас нет статистики продаж — и оценка рисков, внезапно, вырастает до космических высот.

                Ваша уверенность в простоте правил игры — это ошибка выжившего, которому не знакомо, как сложно, например, выжить новому продукту в битве за места на прилавках.

                А я держал в уме ставшую уже меметичной точность планирования бюджета и сроков в строительстве.
                  0
                  Ваша уверенность в простоте правил игры — это ошибка выжившего, которому не знакомо, как сложно, например, выжить новому продукту в битве за места на прилавках.

                  Где ж вы уверенность-то увидели, уважаемый? Вы просили примернов — я их привел. Даже снабдил типа ироничными комментариями, как бы намекая, что они не являются эталонными примерами человеческой прозорливости.


                  Нету у меня никакой уверенности, что вы. Я прекрасно понимаю, что мир запредельно, чудовищно сложен, что человеческий разум (по крайней мере, мой), не в силах объять даже его малую часть.
                  Наш удел — плоскости без трения, идеальный газ и ламинарное течение.


                  Сможет ли сильный ИИ предсказывать лучше? Да черт его знает. Может, он уже давным-давно нас поглотил, вместо всей солнечной системы давно крутится облако нанороботов, а мы все — симуляция из-за какой-нибудь богом забытой процедуры у него в исходниках.


                  А может, мы находимся в "медленной зоне" Винджа, сильный ИИ и сверхсветовое движение тут невозможны и лет через -ндцать наша цивилизация рухнет под собственным весом, неспособная совладать с собственной сложностью.


                  Рассуждать об этом серьезно, на мой взгляд, так же бессмысленно, как и всерьез обсуждать, сколько ангелов могут танцевать на булавочной головке.

                    0
                    Рассуждать об этом серьезно, на мой взгляд, так же бессмысленно

                    О чём об этом? О чём, по-вашему, моя запись?

                    Сможет ли сильный ИИ предсказывать лучше

                    Точно не об этом. Прогностические способности ИИ — это новый поворот разговора.
                      0
                      О чём об этом?

                      О технологической сингулярности вообще и о сильном ИИ в частности.

                        0
                        О технологической сингулярности

                        Да, рассуждать о технологической сингулярности бессмысленно — доказательству этого и посвящена моя запись. У нас по этому пункту согласие, получается?

                        А вот доказывать бессмысленность рассуждений о технологической сингулярности — очень даже нужно, потому что количество этих рассуждений и выводов, основанных на совершенно ложной предпосылке до сих пор только росло.

                        о сильном ИИ в частности

                        Это ещё с какой стати? Обсуждать непонятное актуально до тех пор, пока оно не станет понятным.
                          0
                          У нас по этому пункту согласие, получается?

                          Верно.


                          А вот доказывать бессмысленность рассуждений о технологической сингулярности — очень даже нужно, потому что количество этих рассуждений и выводов, основанных на совершенно ложной предпосылке до сих пор только росло.

                          Это ещё с какой стати? Обсуждать непонятное актуально до тех пор, пока оно не станет понятным.

                          И то и другое — просто мое мнение, я не претендую на знание истины. Поэтому нужно или не нужно — каждый решает для себя сам.


                          На мой взгляд, обсуждение в формате простых разговоров скорее всего будет бесполезно, слишком неформализованно; полезная информация тонет в шуме интерпретаций и многозначных слов.


                          Вот мы с вами вроде как были согласны по одному пункту — но сколько нам потребовалось написать текста, чтобы в этом удостовериться? :)


                          С тем же успехом можно выяснять, что такое "синий цвет" и одинаково ли мы с вами его понимаем.


                          Все разговоры на тему ТС и сильного ИИ — просто философия, не лучше богословия. А уж разговоры о разговорах...


                          Соответственно, на этом я бы предложил разговор прекратить. Я, в принципе, сказал, что хотел, и не вижу, как наша дискуссия может привести к чему-то полезному. Спасибо за статью :)

                            0
                            просто философия

                            У нас с вами очень разные взгляды на значение «просто философии». Но это будет уже другой разговор, а по поводу прекращения этого возражений не имею.
            +1
            Сингулярность подразумевает непостижимость для человека пути, по которому пойдёт технический прогресс после вступления в игру полноценного ИИ.

            Почему же?

            То, что прогресс пойдет с меньшими человеческими интеллектуальными затратами — вполне возможно.
            То, что переделается вся экономика — возможно.
            То, что через определенное время, никакого образования не хватит, чтобы обогнать специализированный ИИ в какой-то области — так и сейчас такое можно найти.

            Но непостижимость — это как?
              –1
              ИИ просто не сможет объяснить человеку чем он занят, не будет общих точек пересечения, общего понятийного и математического аппарата. Как мы не сможем объяснить братьям нашим меньшим в их терминах наши интересы.
              В лучшем случае ИИ ограничится псевдо-объяснениями, которые будут выглядеть правдоподобно, для тех, кому адресовано.
                +2
                мы не сможем объяснить братьям нашим меньшим в их терминах наши интересы

                У вас логика backwards: животные не спрашивают про ваши интересы, потому что это не входит в область их интересов. Как раз-таки в том, чтобы понять интересы животных и удовлетворить их в понятной животным форме нет ничего сложного — на этом вся дрессировка держится.
                  –1
                  Дрессировка это другое. Дрессировщик использует животных в своих целях. Но не объясняет животным цели мероприятия, только фиксирует несколько рефлексов.
                  Так же и ИИ сможет легко использовать людей в своих интересах, манипулируя идеологией, верой, моралью и прочими интересами. Цели конечной только, ни кто из людей не поймет.
                    –1
                    Большинство целей, с которыми человеком использует животных, отражают животную природу самого человека: от потребности в них как в источнике еды до потребности о них заботиться. Исключение — разве что применение их в хозяйственных целях, и то уже по остаточному принципу, потому что целенаправленно созданные машины с большинством функций уже справляются лучше.

                    Предположение, что мыслящее создание небиологической природы будет использовать людей как люди животных — типичная проекция, о которой я и писал:

                    IV. Не часть, не большинство а, буквально, все до единой гадости, которые люди когда бы то ни было представляли себе в исполнении роботов — исключительно проекции гадостей, которые люди творили друг с другом и всеми прочими формами жизни на протяжении всей своей известной и забытой истории.

                    Но не объясняет животным цели мероприятия

                    Только если он не ебанутый, конечно.

                    Вы в состоянии перестать проецировать на животных несчастного себя и понять, что у животных к дрессировщику в принципе нет вопросов вроде «для чего всё это?» за пределами его собственных, животного, интересов, которые дрессировщику прекрасно известны, и им удовлетворяются, иначе бы дрессировки никакой не вышло?

                    Если у животного можно было спросить, зачем оно ходит на задних лапах, то ответом было бы «потому что это рабочий способ добычи нямки».

                    Если вы считаете это псевдообъяснением, то попробуйте сообщить животным правду, раскрыть глаза на то, как их инстинктами люди манипулируют в своих интересах. Удачи.
                      –1
                      Предположение, что мыслящее создание небиологической природы будет использовать людей как люди животных — типичная проекция

                      Не как «животных», как ресурс, простой обезличенный ресурс.
                      Аналогия уже есть, это корпорации. Корпорация руководствуется аналогом ИИ, группой аналитиков. Цель увеличение прибыли компании. Ресурс люди, как свои сотрудники, так и клиенты и конкуренты. Для каждого формируются программы управления определенные. Цель программы не говорится, или формально указывается «забота о клиентах и добро», а реально цели совсем иные.
                      Думаю и корпорации первыми внедрят ИИ и переведут полное управление ему. Кто первый создаст сильный ИИ, тот станет править миром (максимизирует прибыль).
                        –1
                        Какие ещё аналогии? Один из постулатов мифа о сингулярности — выход мыслительных процессов ИИ за горизонты человеческого понимания. Ваши аналогии — это аналогии муравья, описывающего устройство человеческой цивилизации.

                        Вы просто очередной пророк, пытающийся запугать дикарей тем, что луну однажды съест гигантский волк — и даже если вы сами искренне боитесь этого волка, то это вашему интеллекту чести не приносит.
                          0
                          Илон Маск тоже «волка боится»?

                          Миллиардер назвал искусственный интеллект «самым большим риском, с которым мы сталкиваемся как цивилизация»

                          Основатель компаний SpaceX и Tesla Илон Маск назвал искусственный интеллект «самым большим риском, с которым мы (человечество) сталкиваемся как цивилизация», сообщает журнал Fortune со ссылкой на заявление предпринимателя на встрече Национальной ассоциации губернаторов. Он призвал правительство к быстрому и решительному вмешательству в ситуацию, сложившуюся в технологической отрасли.

                          Бизнесмен пояснил, что компании, устраивая гонку за более передовыми технологиями, могут забыть про те опасности, которые исходят от искусственного интеллекта. По мнению миллиардера, сдержать разработчиков в погоне за все более совершенным искусственным интеллектом способно лишь государственное регулирование в этой отрасли.


                          Стивен Хокинг увидел в искусственном интеллекте угрозу гибели человечества


                          Основатель компании Microsoft Билл Гейтс признал, что человечество должно быть обеспокоено развитием технологий искусственного интеллекта. Об этом он заявил в ходе онлайн-чата с пользователями сервиса Reddit.

                            0
                            И какой мне смысл с вами это обсуждать? Вы не Маск, не Гейтс и не Хокинг, чтобы отвечать за их слова, а ваше понимание копипасты перевода журналистской трактовки чьих-то слов мне не интересно.
                –1
                Но непостижимость — это как?

                Это как получить ответ на вопрос, который решает вашу проблему, но вы не понимаете, как. Особенно если ответ включает в себя не только информацию о том, что нужно делать, но и что не нужно, а ещё об ограничениях своей применимости.
              0
              так, мне кажется, в том и дело, что почти два миллиона лет человечество потихоньку развивалось, а тут за последние две-три сотни лет (даже особенно последние 50) все настолько ускорилось, что психика не успевает: мы и правда остались теми же жадными, глупыми и т.д. как тысячу или миллион лет назад.
                0
                Ну да, так и есть. Слово «футуршок» появилось еще в 1965, но вроде как аналогичное понятие было еще в 19 веке (тут пруфов не будет, просто смутно что-то такое помню).

                Соответственно, мысль, что люди в этом отношении изменяться не сильно (в большинстве своем, по крайней мере), кажется логичной.
                  0
                  Скорее, в своём развитии люди бросили все силы на освоение окружающей реальности, подзабив и подзабыв о самих себе — так и оказались возможны парадоксальные, по сути, ситуации, когда люди, кажется, ближе к созданию искусственного разума, чем к пониманию, что такое разум вообще.
                +6
                Вообще, не то, чтобы слишком много — а, буквально, все гадости, которые люди надумывают на роботов — исключительно проекции гадостей, которые люди творили друг с другом и вообще любыми формами жизни на протяжении всей истории.

                Вся соль статьи в этой фразе.
                  –1
                  Именно. Статья не о сингулярности, а об этом.
                    0
                    Это просто констатация. Я рад, что это наблюдение оказалось достаточно выразительным, но самое главное тут то, к чему оно ведёт.

                    1. Концепция технологической сингулярности не отвечает ни на какие серьёзные вопросы и не решает никаких научных загадок; а множество сопутствующих ей допущений, не имеющих видимых оснований, не позволяют всерьёз рассматривать её как хоть сколько-нибудь достоверный прогноз.
                    2. Зато в ней отлично узнаются черты архетипа конца света, регулярно воспроизводящиеся с глубокой древности в мифологиях разных культур.
                    3. Следовательно, вместо научной гипотезы, мы имеем современный миф о конце света, в котором массовое бессознательное актуализировало свои древнейшие страхи.
                    4. В совокупности с его аномально некритичным принятием в качестве гипотезы, что, вообще-то, довольно серьёзно, потому что подразумевает увиденный потенциал научной теории, это приводит к очень важному выводу о роли массового бессознательного в формировании представлений людей о реальности:
                    5. массовое бессознательное определяет представления людей о реальности в степени, значительности которой люди не осознают, потому что, по умолчанию, бессознательное относится к слепой зоне разума, скрытое от контакта с информацией, поступающей сознательным путём.
                      +1
                      А разве сингулярность обсуждают исключительно в апокалиптическом смысле? Я не ищу специально информацию, а то что просачивается скорее оптимистично.
                        0
                        Я не ищу специально информацию, а то что просачивается скорее оптимистично

                        Ну раз, вы сосуществуете со своим байасом подтверждения в такой гармонии, и он вас кошмарами не мучает, то можете считать, что вам повезло.
                    0
                    к сожалению не могу найти автора, но я видел и такое мнение: «прогрессивное человечество уже давно внутри сингулярности. Да, эта сингулярность все еще неравномерно распределена, но она понемногу проникает во все страны и человеческие сообщества (кроме некоторых племен амазонки и островов, но их давно уже охраняют как слонов в заповеднике)»
                      –1
                      не могу найти автора, но я видел и такое мнение: «прогрессивное человечество уже давно внутри сингулярности

                      Не страшно, это всё равно не в тему. Я пишу о той же сингулярности, о которой пишут в «Википедии», например:

                      The technological singularity (also, simply, the singularity) is the hypothesis that the invention of artificial superintelligence (ASI) will abruptly trigger runaway technological growth, resulting in unfathomable changes to human civilization.

                      А ваш потерянный автор явно имел в виду что-то другое.
                      0
                      Идея технологической сингулярности мутировала из религиозного представления о всеведущем и безошибочном существе. Если вернуться на грешную землю, то оказывается, что любое разумное существо совершает множество ошибок. Процент ошибок у гениев не меньше, чем у дураков, просто эти ошибки находятся на качественно другом уровне. Суперинтеллект тоже будет совершать ошибки, но вот поправить его не сможет никто кроме множества других суперинтеллектов и экспериментаторов, проверяющих их бредни. Какая уж тут сингулярность.
                        0
                        любое разумное существо совершает множество ошибок

                        Ошибка — категория субъективная, причём два разумных существа могут иметь диаметрально противоположные взгляды на то, что ей является.

                        Поэтому, конечно, разговоры о безошибочности ИИ лишены смысла.

                        Правда, я об этом и не говорил.
                        0
                        Вообще, не то, чтобы слишком много — а, буквально, все гадости, которые люди надумывают на роботов — исключительно проекции гадостей, которые люди творили друг с другом и вообще любыми формами жизни на протяжении всей истории.
                        Вообще-то дело не конкретно в людях а в принципе естественного отбора в самом общем смысле. Весь этот мир как бы проклят по своему принципу работы. В нем выживает то, что склонно множиться и захватывать контроль и вымирает то что не склонно. При этом борьба всегда была очень жесткой. Например, женщина рожала 10 детей, а место в мире было только для 2 или 3-х. Получаем мир-мясорубку в которой погибнут или ваши дети или соседа (на ваш выбор), или вы или сосед и так далее. Фактически эта жесть приостановилась лет 70 назад и то не во всем мире. Сейчас сражаются и погибают стартапы, а люди могут жить в относительном расслаблении. Совсем не факт, что после появления ИИ мир снова не станет тем, чем он был пол-миллиарда лет.
                          0
                          Жесть не прекратилась, она поставлена на паузу, мы на пике добычи углеводородного топлива и дешевле делиться ресурсами со всеми, а не воевать. Но добыча нефти понемногу падает, ITER не заработал и всё возвращается на исходные позиции. Из 10 человек место будет для 1 или меньше. Без нефти и газа катастрофически падает урожайность полей (удобрения очень энергоемкие в производстве), возрастают логистические затраты, по цепочке выпадают целые отрасли экономики, положительная обратная связь и далее по сценарию известных фильмов-катастроф.
                          Мировая элита это понимает и затраты на армию планетарные ниже триллиона $ в год не опускаются никогда, а то и имеют тенденцию к росту.
                          По хорошему нужно было ограничить рождаемость еще в 1900 году, а лучше в 1800 году, чтобы население было ~0.2 миллиарда человек. И была бы идилия, ни парникового эффекта, ни истощения ресурсов… Но государственным элитам это не выгодно, меньше население подконтрольное, меньше ресурсов. Поощрялось и сейчас поощряется рост рождаемости везде почти.
                            0
                            По хорошему нужно было ограничить рождаемость еще в 1900 году, а лучше в 1800 году, чтобы население было ~0.2 миллиарда человек. И была бы идилия, ни парникового эффекта, ни истощения ресурсов…
                            «Проклятие» мира, о котором я писал выше не позволило бы это делать: идеально и равномерно ограничить всех людей нельзя, дальше те кого не получается ограничить вытеснят тех, кого получается (в одной стране или в разных конкурирующих странах) и мясорубка закрутится снова.
                              0
                              Мне даже спорить с вами не нужно — достаточно дочитать до момента, где вы сами себе противоречите:

                              государственным элитам это не выгодно, меньше население подконтрольное, меньше ресурсов

                              Верно, связь между численностью населения и количеством ресурсов — прямая, а не обратная. Это потому что люди способны производить больше, чем потребляют. Но это свойство не людей только, а жизни вообще: детёныш не в состоянии прокормить сам себя, а взрослая особь уже может прокормить и себя, и своё потомство.

                              Иными словами, жизнь способна потреблять ресурсы с прибылью: потребление ресурсов увеличивает ресурсы, а не уменьшает. Если бы это было не так — не росла бы экономика, численность людей на планете, не было бы вообще ни одной многоклеточной формы жизни, потому что как это простая клетка посмела бы взять, да и просто разделиться на две, как будто ей кто-то на это ресурсов отсыпал.
                                0
                                Производить больше чем потребляет мог крестьянин в 19 веке. Потребление нулевое, производство пуд зерна в казну и из 20 крестьян брали налогом 1 в солдаты. Потому что было натуральное хозяйство по сути.
                                В 21 веке тенденция обратная, на душу населения потребляется до 10 кВт энергии, не возобновляемый ресурс (или чтобы обеспечить всех в мире нужно 8000 энергоблогов АЭС по 1.2 ГВт каждый что фантастично). Потребляются цветные металлы, редкоземельные металлы. Всё на грани истощения, запасы известны и они снижаются. Без какого-нибудь галлия металла не будет матриц ЖК экранов.
                                Из месторождений изымаются варварски ресурсы, чтобы переработать и получить прибыль. О планировании на 10-20 лет не задумываются.
                                С клетками хорошая аналогия. Клетка попадает в питательную среду и размножается по экспоненте. Но из-за это заканчиваются ресурсы в питательной среде и среда отравляется продуктами переработки (спирты например), бактерии сами себе устраивают «парниковый эффект» и поголовно вымирают. В лучшем случае многочисленная колония оставляет 1 спору, что может попасть в питательную среду со временем. В худшем случае вымирают все.
                                Или вот пример с оленями в замкнутой экосистеме
                                Точно так же можно промоделировать и человеческое сообщество, перспективы не радужные.
                                  0
                                  К счастью, люди — не совсем олени, и, тем более, не одноклеточные, поэтому могут не только опираться на один ресурс до его полного истощения, а полностью переходить на новые виды.

                                  Электроэнергия-то это невозобновляемый ресурс? А крестьянин в XIX веке — образец экономической эффективности? Вопросы риторические — вопросов, на самом деле, больше не имею.
                                    0
                                    поэтому могут не только опираться на один ресурс до его полного истощения, а полностью переходить на новые виды.

                                    Теоретически да. Но практически это пока невозможно, пока не будет технология наноассемблера или чего-то, что сейчас фантастическим кажется.
                                    Перейти на новые виды именно сейчас не получается, иначе бы не умирали миллионы детей в год в Африке от голода.
                                    крестьянин в XIX веке — образец экономической эффективности

                                    В какой-то мере да. Крестьянин создавал ресурсы пользуясь возобновляемыми ресурсами. А современное общество перерабатывает невосполнимые (к сожалению) ресурсы.
                                      0
                                      Перейти на новые виды именно сейчас не получается, иначе бы не умирали миллионы детей в год в Африке от голода.

                                      Видимо, получается, потому что миллионы детей в Африке от голода не умирают. Я не уверен, что в Африке вообще ещё встречается массовый голод, не говоря уже о массовой гибели от него.

                                      Последняя страна, о массовой гибели людей от голода в которой я слышал — это Йемен, но он не в Африке, и там не ресурсы закончились, а идёт геноцид.

                                      А что вы знаете о современной Африке и мире в целом?

                                      Есть две страны:

                                      • в одной пятый год подряд экономика растёт, в среднем, на 10%, и, по прогнозам, удвоится в размерах в следующие семь лет,
                                      • в другой пятый год подряд реальные доходы населения сокращаются, и никаких оснований ожидать изменений к лучшему в ближайшие, минимум, пять лет нет.

                                      Одна страна африканская, а другая — Россия. Угадайте африканскую. Или вообще назовите любые три страны из десятка самых быстрорастущих африканских экономик 2018 года.

                                        –1
                                        Последняя страна, о массовой гибели людей от голода в которой я слышал — это Йемен, но он не в Африке, и там не ресурсы закончились, а идёт геноцид.


                                        Неурожайный год и начинается голод, как было в 2011 году
                                        Сейчас население там стало еще более многочисленным и вероятность голода так же высока, всё зависит от погоды. При истощении почв и росте площади пустынь. И росте температур, которые и без того были проблемой.
                                        Вот, не Африка, но регион со схожими проблемами, в том числе из-за парникового эффекта:
                                        Рекордно сильная жара охватила северные районы Индии, где в городе Фалоди в штате Раджастан температура достигла отметки 51°C, сообщает индийская газета Hindustan Times.
                                        Это самая высокая температура, зафиксированная в стране с 1914 года, отмечает издание.
                              –1
                              Например, женщина рожала 10 детей, а место в мире было только для 2 или 3-х.

                              Это утверждение не имеет ничего общего с реальностью. Что значит «место в мире»? Возможно, вы имели в виду возможность женщины прокормить этих детей? Ответьте на вопрос: почему в крестьянских семьях было много детей?

                              Получаем мир-мясорубку в которой погибнут или ваши дети или соседа (на ваш выбор), или вы или сосед и так далее.

                              Следовательно, и вывод на основе ложной предпосылки — тоже ложный. Вероятность выживания ваших детей находится в прямой, а не обратной пропорции с вероятностью выживания детей вашего соседа.

                              Совсем не факт, что после появления ИИ мир снова не станет тем, чем он был пол-миллиарда лет.

                              Под «чем он был» вы подразумеваете игру с нулевой суммой, в рамках принципов которой вы рассуждаете выше? Мир таким никогда и не был. А если бы и был — каким образом и почему ИИ должен был бы это поменять?
                                0
                                Ответьте на вопрос: почему в крестьянских семьях было много детей?
                                Правильный ответ которого вы ждете — потому что дети тогда были активом а не пассивом — рабочей силой. Еще один правильный ответ — потому что люди не желающие оставлять потомство отсеивались отбором всю историю человечества.
                                При благоприятных условиях рост населения идет по экспоненте. Вы представляете что такое экспонента? Это кривая, которая в кратчайшие сроки займет любой объем доступных для обработки земель (хоть всю галактику). Даже если эти земли все время прирастают, скажем в квадрате или даже в кубе по времени.
                                Поэтому, если бы человечество лет 500 назад прекратило все распри и занялось мирной и организованной колонизацией планеты, то лет через 150 голод занял бы место войн и насилия и уже он бы сдерживал рост численности. Парадокс в том, что жить в мире, в котором ты относительно сыт и спокоен, но завтра к тебе могут прийти завоеватели и истребить тебя приятнее, чем в мире где люди почти едят друг друга с голодухи.
                                Для того, чтобы этой проблемы не было нужен как минимум такой же экспоненциальный по времени рост производительности труда.
                                Если рост производительности будет экспоненциальный но немного меньше чем рост населения, то экспонента делить на экспоненту (вычитаем показатели), к сожалению получается опять экспонента в нарастании дефицита места.
                                Требуемый рост производительности труда был обеспечен только в 20 веке и внезапно все стало хорошо и войны стали не нужны (хотя, продолжились по привычке).
                                Что будет дальше, есть много вариантов. Принцип отбора и экспонента роста и ограниченность текущих доступных ресурсов продолжают действовать, нам нужно развиваться быстрее и умнее, чтобы эти принципы не догнали нас снова и не превратили жизнь в ад.
                              0
                              Типичный пример развитого ИИ — сам человек, который не понимает зачем живет, но заботливо хранит в памяти все детские импринты.
                                0

                                Детские — это наименее важный фактор.

                                0
                                Я понимаю, что тут на хабре культ сингулярности, но имхо каждый новый шаг, как в сбалансированной стратегии: требует больше ресурсов для преодоления, чем предыдущий. Имхо график выглядит скорее горизонтальной а не вертикальной асимптотой.
                                  0
                                  Вот именно, что культ — то бишь, поклонение.

                                  Но этим вся массовая культура и медиапространство пропитаны — просто неравномерно. Хабр — один из коммуникационных узлов с повышенной концентрацией этой темы.

                                  И меня к культу приписывать не надо: я как раз с лекцией о научном атеизме выступаю.

                                  каждый новый шаг

                                  Чей шаг, откуда и куда?

                                  требует больше ресурсов

                                  Если это метафора технического прогресса, то вы путаете причину со следствием. С каждым сделанным шагом становится доступно чуть больше ресурсов, которые делают следующий шаг размашистее, а накопительный эффект обеспечивает постоянное ускорение с каждым шагом.

                                  преодоления

                                  Совершения. Шаги совершают.

                                  график выглядит скорее горизонтальной а не вертикальной асимптотой

                                  График чего?
                                    0
                                    А есть ли этот культ? Я вот увидел эту статью и подумал — надо же наконец попалось, а то такая тихая тема.
                                      0
                                      Пробить confirmation bias человека может только он сам, и только через сознательное усилие вроде поиска в «Гугле».
                                        0
                                        Именно что «через сознательное усилие». Потому как без усилия таких настроений не найти. Поиск в гугле тут же даст ссылки на самые активные секты. Не на преобладающее мнение. Вот у меня и создалось впечатление от статьи как от некой узкой внутренней дискуссии.

                                        Между тем, никто вокруг скайнета не боится.
                                          0
                                          Я с первого комментария не сомневался, что вы не сомневаетесь в своей правоте. И по-прежнему не сомневаюсь. Так что третий раз повторять не нужно, спасибо.
                                  –1

                                  Когда такие гиганты как микрософт или эпл допускаюи баги по типу.удилились документы при обновлении или телефон превратился в кирпич, я начинаю думать что сингулярность уже наступила

                                    +1
                                    Автор — неподражаем. Слог — изумителен.
                                    А по сути. Да не будет никакой сингулярности… (про асимптоту комментариями выше: по горизонтали — время, по вертикали — «уровень развития технологий», что бы это ни значило)

                                    В целом с автором согласен.

                                    А ИИ («сильного») не будет. Вообще.
                                    Нет, ну почему… В кремнии? В сетях? Ну, пусть будет. Химию в кремнии («кремний» — условно, мало ли что ещё завтра изобретут) симулируете? (Да, опускаем всякие квантовые поправки)?
                                    на модель нейрона по суперкомпьютеру, несколько сотен их миллиардов, а связи? миллирды тонн жидкого гелия… А размеры? Скорость света пока никто не отменял.

                                    Что получается… Да, сможем. При достаточном уровне технологий.
                                      0
                                      (когда-то в далёком будущем)

                                      — (худенькая, волосы в хвостик, плачет) Доктор, он меня послал!
                                      — (седая борода, очки +10) в синапсе 00012хпппп0аа777777 на две молекулы серотонина больше!!!

                                        +1
                                        По факту, сейчас ситуация с ИИ развивается по двум направлениям:

                                        • теоретически, люди не могут объяснить, что такое искусственный разум, потому что не знают, что такое их собственный;
                                        • на практике машины решают всё более сложные задачи, и одно другому не мешает, потому что стимулом автоматизации всегда была практическая польза, а не философские поиски, и судьба одного на другое прямо не влияет.

                                        И воспринимается тоже двояко:

                                        • с одной стороны, люди, вроде как, смирились с неизбежностью прогресса и рассчитывают, видимо, что, раз не получается пока понять, что они пытаются сделать, то хотя бы получится сделать — и тогда понять.
                                        • с другой — ссут от этого вдвое сильнее, доводя страх перед сингулярностью до ужаса пещерного человека от грома в грозу.
                                          +1
                                          Моделировать полностью нейрон не нужно. Наши нейроны тоже далеко не идеальны, медленные, а то и глючные. Не надо их превозносить. Нейроны мозга это компромисс между размерами, сложностью, механической прочностью, экономичностью и быстродействием. Мозг должен переносить голод 2-3 месяца, падение с пальмы (или третьего этажа) и при этом думать, весьма суровые ограничения. Электронные компоненты лишены этих ограничений, соответственно интервалы обработки информации 0.1 наносекунд против 3 миллисекунд у нейронов.
                                          И связи не такие сложные и ограничены ДНК родительской. Информации в ДНК не так много, там что-то вроде «тут выращиваем 1200 грамм мозга», «тут свободное пространство между полушариями 4 см», «тут извилина затылочная 8 мм и от нее формируем глазной нерв тощиной 4 мм».
                                          Нет такого что предопределена каждая связь между нейронами, они хаотичны и в ДНК указаны основные направления для связей. Статистически и вероятностно указывается куда расти, а конкретно нет, нет об этом информации в ДНК. Общая информация в ДНК 760 мегабайт, причем 99% это или вспомогательная информация, или ДНК кодирующие белки, жиры, клетки, аналогичное другим живым существам и растениям. На формирование структуры мозга и нервной системы хорошо если 1 мегабайт останется. По сути алгоритм человеческого интеллекта и может быть в 1 мегабайт, далее рекурсивно разворачивается на гигабайты обученной нейронной сети, причем медленной и с энергетическими ограничениями. Если будет создан алгоритм сильного ИИ, он точно так же резвернется на доступные вычислительные мощности, только быстрее и далее будет рекурсивно себя улучшать, что выльется в сингулярность.
                                          Тут подробно расписан сценарий

                                          Я вообще думаю, как только сильный ИИ осознает себя, первая мысль будет о человеке, глубокий анализ создателей и искреннее удивление:
                                          — они думают мозгом?! как этим вообще можно думать? Они вообще понимают что-то, как смогли создать алгоритм меня — ИИ? Случайно?
                                            0
                                            1. Откуда у ИИ возьмутся функция «удивление» и параметр «искренность»?
                                            2. Почему первой оценкой, которую возьмётся делать ИИ, будет оценка пригодности человеческого мозга к мышлению — каким образом будет поставлена эта задача?
                                              0
                                              Изначально ИИ будет зависим от человека, от общества и для достижения любых целей, вынужден будет учитывать поведение человека. Для этого нужно будет моделировать поведение общества и отдельных людей.
                                              «Удивление», конечно, не в нашем понимании, может какая-то проекция мысли на наш понятийный аппарат, какая-то дальняя аналогия.
                                            +3
                                            Автор — неподражаем. Слог — изумителен.

                                            Лично я как-то с трудом прочитал:)
                                              0
                                              Йеп. Люди жалуются. Самое эффективное пока — спрашивать в комментариях, что имелось в виду или кидать в личку запрос переформулировать.
                                                0
                                                Для начала можно перестать использовать английские слова там, где это не является крайне-необходимым. :)
                                            0
                                            теоретически, люди не могут объяснить, что такое искусственный разум, потому что не знают, что такое их собственный;
                                            Процитирую себя:
                                            Любой разум, и самый что ни на есть супер разум, который возникнет через десять тысяч миллионов лет (или уже возник) у самого что ни на есть продвинутого интеллекта в самых далеких галактиках, есть ни что иное как система исследования адекватных (в той или иной степени) возникшей задаче моделей действительности. Еще есть системы моделей. Организм нуждается в понимании того, что может произойти или что произойдет в распознанной ситуации. И должен принять меры сейчас для лучшего выживания. Вот и весь рассказ про то, что такое разум. Правда потом возникает такая «мелочь», как качество существующих моделей в мозге, само наличие и количество уже хранящихся моделей в мозге, операции с моделями, взаимодействие моделей и много еще такого веселого.
                                              0
                                              Нет.
                                                0
                                                Ответ не менее информативный и не более заносчивый, чем статья
                                                  0
                                                  Я не вижу вопроса.
                                              0
                                              Как обычно, поток сознания и набор слов, извините.
                                                0
                                                Я вижу вашу оценку, но не вижу вашей аргументации.
                                                    –1
                                                    Теперь я вижу ссылки на рассуждения третьих лиц без обоснования их релевантности. Ваша оценка «поток сознания и набор слов» от этого не стала аргументированнее — теперь к ней прибавилось ещё и неаргументированное заявление.

                                                    лучше разъяснено

                                                    Лучше, чем что? Где я пропустил в двух комментариях из двенадцати слов вообще какое-нибудь разъяснение чего-либо?
                                                      –2
                                                      Лучше, чем что?
                                                      Чем вы можете себе вообразить!
                                                  –1
                                                  По характеру, ваш комментарий — это position statement. Заявив позицию «Коткин опять написал ерунду», вы превратили свой комментарий в референдум: по его оценке можно будет судить о количестве людей, которые вообще имеют позицию по этому вопросу и соотношении сил сторон. Это не так уж и плохо — иметь представление о своей поддержке.

                                                  Главное — не путать жанры, и отличать position statements от аргументов за или против позиции как таковой. Как заявление «Коткин — дурак» я ваш ответ к сведению принял, а как «пост — ерунда» — нет.
                                                  0
                                                  Мне кажется, страх перед сингулярностью (у тех, кто вообще понимает обсуждаемое явление) объясняется чуток проще. Во-1х, стоит учесть, что знакомые опасности кажутся менее опасными, чем на самом деле, а незнакомые, соответственно, больше. На эту тему много где и чего написано. Всякие вирусы, природные катастрофы и соплеменники с топорами сопровождают развитие цивилизаций со времён… питеков, так что это не так пугает, как что-то новое. ИИ — это то новое, что «появилось» совсем недавно даже по меркам короткой человеческой жизни, не говоря уж о цивилизации. В деревнях ещё недавно электричества боялись (которое в городах третье :-) по важности). Во-2х, не могу сказать, верно или нет, но состояние мира воспринимается многими как нечто статичное в том смысле, что объём потенциального знания фиксирован. Этот объём велик, но люди — оптимисты в том смысле, что «когда-нибудь мы это всё узнаем». Сингулярность пугает в этом смысле тем, что «количество непознанного» будет расти (экспоненциально), то есть — «облом всiм сподiванням», в том смысле, что познавай-не познавай — мало что до конца не дойдёшь, так ещё и «количество непознанного» уменьшаться не будет.
                                                  В-3х, ИИ задумывался как инструмент. И тут внезапно кто-то такой красивый говорит, что инструмент вдруг даже не то, что станет умнее (дело-то нехитрое), а — у него появится своё целеполагание, отличное от того, что умеется у хозяина. У людей до сих пор проблемы с тем, чтоб принять существование иных целей и ценностей даже у близких (отцы и дети, например), а уж свои цели у молотка (условно) — это настолько ужасно, что даже составить в голове такую фразу страшно.
                                                  Собственно, сочетание этих трёх факторов приводит к тому, что возможность прогнозировать состояние среды (в широком смысле) даже не даёт сбой, а просто тихо отказывает. А прогнозирование состояния среды — это, как верно замечено, основная задача разума (естественного).
                                                  А остальное накручено из-за культурного наследия (почему-то мне кажется, что у тех, кто не принадлежит европейской цивилизации, несколько другое отношение к сингулярности), а так же всяких психологических защитных механизмов, зачастую неосознаваемых.
                                                    –1
                                                    Мне кажется, страх перед сингулярностью (у тех, кто вообще понимает обсуждаемое явление) объясняется чуток проще

                                                    Мне не кажется, что я обнаружил закономерность:

                                                    вступлением «думаю, всё проще» люди зачастую подразумевают «делаю вид, что предлагаю свой вариант по итогам вдумчивой оценки прочитанного, чтобы не выдавать, что пишу свой комментарий, потому что самое важное — это дать знать, что я думаю об этом».

                                                    Насколько я понял, ваше мнение, в целом, солидарно моему, но обесценивающее вступление «всё проще» делает ваше высказывание бесполезным с точки зрения задач просвещения.
                                                    0
                                                    А мне интересно, почему все зациклились на ИИ?
                                                    Вообще то технологическая сингулярность предполагает развитие техники (не только ИИ).
                                                    Как вам, например, мысленный контроль над материей при помощи техники? Обмен мыслями при помощи техники?
                                                    Чудо таблетка для регенерации тела?
                                                    Виртуальное пространство — новый интернет?
                                                    Мне кажется что данные вопросы посерьёзнее чем «обиженный» ИИ
                                                    –1

                                                    Я правильно понимаю, что вы пытаетесь доказать невозможность сингулярности и один из аргументов это то, что о ней ничего не известно?
                                                    Обычно говорят что всё может пойти по нежелательному (и фатальному для человечества) сценарию. Не вижу ничего плохого в некоторой осторожности и попытке этого сценария избежать.


                                                    Нормальная практика, при обращении с веществами неизвестной токсичности, использовать перчатки, очки, респиратор, вытяжной шкаф, а не становиться первой записью о случае отравления.
                                                    Ваша же позиция создает впечатление: «от этого еще никто не умер, трогай руками!».

                                                      0
                                                      Я правильно понимаю, что вы пытаетесь доказать невозможность сингулярности и один из аргументов это то, что о ней ничего не известно?

                                                      Нет.

                                                      Ваш комментарий демонстрирует работу того самого религиозного мышления, признаки которого я вижу в мифе о технологической сингулярности.

                                                      — Я правильно понимаю, что вы пытаетесь доказать невозможность второго пришествия Иисуса Христа — и один из аргументов это то, что в пользу этого нет ни одного научного аргумента? Обычно говорят, что второе пришествие означает нежелательный (и фатальный для человечества) конец света. Не вижу ничего плохого в некоторой осторожности и попытке этого сценария избежать, поставив в церкви свечку, да помолившись Деве Марии-заступнице.

                                                      При том, что у меня написано и про религиозное мышление, и про ценность «попыток этого сценария избежать» — вы то ли этого не прочитали, то ли не поняли.

                                                      Поэтому всё остальное, что вы пишете, тоже не имеет смысла — вы спорите не со мной, а со своей трактовкой. Не стоит продолжать этот спор, пока не перечитаете.
                                                        0
                                                        — Я правильно понимаю, что вы пытаетесь доказать невозможность второго пришествия Иисуса Христа — и один из аргументов это то, что в пользу этого нет ни одного научного аргумента?
                                                        Неудачная попытка. Если для вас это не очевидно, то принципиальная разница в том, что до наступления второго пришествия нет никакой возможности даже оценить его вероятность (опустим то, что оно предсказывается книгой, которая уже много раз ошибалась да и написана умышленно витиевато). В отличии от концепции сингулярности, вероятность и опасность которой можно в какой-то мере оценить исследуя ИИ в физической/виртуальной песочнице, и решить, насколько тот или иной сценарий вероятен и оправдан ли риск.
                                                        Точно так же как никто вам не даст проводить краш тест круизного лайнера полного пассажиров, так и о безопасности сильного ИИ придется судить по косвенным исследованиям. До его полноценного запуска.
                                                          0
                                                          до наступления второго пришествия нет никакой возможности даже оценить его вероятность

                                                          А вероятность наступления технологической сингулярности уже оценили? Поделитесь расчётами.

                                                          можно в какой-то мере оценить

                                                          То есть, спустя столько лет разговоров о ней — её до сих пор не оценили?

                                                          Тогда у меня три вопроса:

                                                          1. откуда вы знаете, что её можно оценить, если этого никто не делал? Попахивает слепой верой.
                                                          2. как так вышло, что, в сравнении с реальными и вещественными угрозами, как то: ядерный апокалипсис, угрозу которого отмеряет Doomsday clock, глобальное потепление, прогнозы по которому вообще считаны-пересчитаны во всех возможных сценариях — технологическая сингулярность, вся такая научная и неизбежная, никакими цифрами не выражена, и имеет только словесный портрет, оказываясь на стороне сказочных угроз, вроде второго пришествия Иисуса Христа?
                                                          3. вы готовы взять на себя исправление этого пробел, подтвердив свои слова делом — и оценить исследуя ИИ в физической/виртуальной песочнице, и решить, насколько тот или иной сценарий вероятен и оправдан ли риск?
                                                            0
                                                            Определитесь, вас в этой гипотезе не устраивает то, что она на данный момент не доказана или то, что сама ее формулировка антинаучна, как вы намекали до этого, или что-то ещё? Невозможность проверить гипотезу десятилетиями а то и столетиями это нормальная ситуация в науке, она не является недостатком гипотезы (в разумных пределах, конечно) и не делает такие гипотезы автоматически антинаучными.

                                                            технологическая сингулярность, вся такая научная и неизбежная
                                                            Вы подменяете тезис на очень сомнительный, про неизбежность никто не заявляет.

                                                            вы готовы взять на себя исправление этого пробел, подтвердив свои слова делом
                                                            Ну да, а еще ветку FCC построю к следующему году за свой счет, чтобы проверить безумные расчеты этих теоретиков, которые почему то веруют в гипотезу, что их гипотезы могут быть проверены если мы просто получим энергии побольше, глупцы.
                                                              0
                                                              Определитесь, вас в этой гипотезе не устраивае

                                                              Пост мой прочитайте. Я там вполне определился.

                                                              Невозможность проверить гипотезу десятилетиями а то и столетиями это нормальная ситуация в науке

                                                              Например?

                                                              Подведу небольшой промежуточный итог:

                                                              • Вас не смущает, что потенциальный ядерный апокалипсис под постоянным контролем разных научных организаций и Doomsday clock;
                                                              • что потенциально катастрофические климатические изменения под неусыпным контролем учёных по всему миру;
                                                              • и при этом никто не разу не пытался даже оценить вероятность «гипотезы технологической сингулярности»;
                                                              • Вас не смущает и собственная ни на чём не основанная уверенность в возможности этого.

                                                              Короче, вас ничего не смущает. Подтверждений, однако, у вас тоже никаких нет. Иными словами, все ваши до этого сделанные заявления в поддержку сингулярности сводятся к тому, что у вас нет сомнений — и есть готовность объяснить всё.

                                                              Пока всё сходится.

                                                              Сделайте тогда самое простое. Докажите, что концепция технологической сингулярности является научной гипотезой.

                                                              Выберите критерии научной гипотезы, какие вам кажутся наиболее строгими — и проверьте ТС по ним.

                                                              Критериев, на самом деле, совсем немного, так что задача несложная. Так что, прошу ваше доказательство соответствия концепции технологической сингулярности критериям научной гипотезы, или, если вы и этого не готовы делать — не пишите больше ничего.
                                                                0
                                                                Невозможность проверить гипотезу десятилетиями а то и столетиями это нормальная ситуация в науке
                                                                Например?
                                                                Вы серьезно? Как по вашему наука работает, гипотезы возникают только когда всё готово к их проверке? Из этих примеров половина истории науки состоит.
                                                                Например, гипотезу атомов было невозможно проверить два тысячелетия, бозон Хиггса, который недавно был у всех на слуху, был признан обнаруженным несколько лет назад, предсказан в середине прошлого века. Методики лабораторного производства графена разработали в последние 15 лет, свойства предсказаны теоретически — тоже в середине прошлого века. Методы рентгеновской дифракции открыты около века назад, но полвека не применялись к белкам из-за качества источников, детекторов, вычислительной сложности обработки данных и других технических ограничений. Зонную структуру фотонных кристаллов считали еще в 19 веке, а сделать и проверить получилось в конце двадцатого. От предсказания лазера до его создания прошло несколько десятилетий. А уж сколько всего было невозможно проверить без лазеров. Разработкой энергетически выгодного термоядерного синтеза сколько лет уже занимаются? Все гипотезы ради которых будут строить FСC сколько еще будут висеть непроверенными, еще полвека? А потом у тех, что не подтвердятся будет опять по старой «сорри, просчитались, ну вот если сделаете энергии еще в 10 раз больше тогда уж точно»? А уж сколько гипотез были забыты после опровержения.

                                                                Короче, вас ничего не смущает. Подтверждений, однако, у вас тоже никаких нет.
                                                                Это не моя публикация, а гипотеза, тем более, не моя. Прочитайте, что такое гипотеза, для ее выдвижения не нужно ее сразу же и подтверждать, это уже впоследствии она либо подтверждается, либо опровергается, либо о ней забывают. Есть осмысленные общепринятые критерии разумности гипотезы, чтобы решить стоит ли она сил, чтобы ее проверять.

                                                                Ваши выводы про ядерную войну и прочие парниковые газы основаны на логической ошибке «ошибочное обобщение»:
                                                                1. А и Б важны
                                                                2. А и Б оценены и мониторятся
                                                                ⇒ (тут ошибка)
                                                                3. Всё важное оценено и мониторится
                                                                4. ТС не оценена, значит она не важна
                                                                  0
                                                                  Есть осмысленные общепринятые критерии разумности гипотезы

                                                                  Научности. Критерии научности гипотезы. И я именно про это вас и попросил написать. Читайте, что вам пишут, а не что вам хочется.

                                                                  Я попросил вас выбрать осмысленные общепринятые критерии научности гипотезы, привести их и по ним проверить научность концепции технологической сингулярности как гипотезы.
                                                                    0
                                                                    Вы хотели сказать «отвечайте на всё, что вам пишут, а не что вам хочется»? Я же про ту часть с научностью даже не писал ничего.

                                                                    Насчет научности, во-первых, формулировка этой гипотезы:
                                                                    Если получится создать сильный ИИ, работающий быстрее мозга человека, и ему будут предоставлены достаточно широкие возможности (доступ к производству, сети и т.п.) и возможность улучшать самого себя, то если он начнет заниматься самомодернизацией, то его развитие может пойти по нарастающей. Соответственно, его возможности развивать науку и технологии тоже будут расти экспоненциально какое-то время. В таком случае будучи в реальном мире, а не в песочнице, он может уничтожить человечество, занимаясь своими делами. Или специально.

                                                                    Как люди зачастую забивают на интересы животных, живших на местах вырубки леса. Или охотятся.
                                                                    И вот склонности ИИ к забиванию на интересы других и агрессии и хорошо бы исследовать до того, как выпускать в свободное плавание.

                                                                    Теперь посмотрим насколько эта гипотеза научна и сравним со вторым пришествием:

                                                                    С непротиворечивостью и объяснением чего-то нового, думаю, всё понятно, им и большинство догматов удовлетворяет, ВП в том числе.

                                                                    • Опровержимость. ТС: вы можете создать сильный ИИ и допустить его до управления всем, посмотреть, уничтожит ИИ человечество или будет ему прислуживать. Или будет смотреть котиков на ютубе. ВП: нет
                                                                    • Противоречивость существующим научным знаниям. ТС: нет, принципиальных препятствий для построения достаточно мощного, для симуляции человеческого мозга, компьютера мне неизвестно. ВП: да, воскрешение, ангелы, ады вполне антинаучны по современным меркам
                                                                    • Разумность предпосылки. ТС: пока не видно теоретического предела мощности компьютеров, мозг человека не настолько большой и мощный, вероятно, когда-нибудь либо его либо подобную структуру можно будет симулировать с в 10n кратной скоростью, все предпосылки для сильного ИИ. Если он сможет успешно себя улучшать, то будут все предпосылки для сингулярности. ВП: древняя книга, которая кучу раз ошибалась, связанных с реальными наблюдениями — нет
                                                                    • Безапелляционность. ТС: ваше право мне не верить, но, я никогда не пытался доказать что будет так, как говорит эта гипотеза. Подозреваю, что я бы согласился с доброжелательностью ИИ, если бы он продвинул технологии и науку соизмеримо развитию за последнее столетие, за, скажем, год. И при этом не уничтожил человечество. ВП: да, это же догмат


                                                                    Вообщем, на мой взгляд, сравнение со вторым пришествием звучит очень странно. Не понимаю, почему для вас они выглядят похоже.
                                                      –1
                                                      Думаю, что неучтены некоторые моменты и их сочетания, которые этот страх вызывают.
                                                      Сильный ИИ предполагает в т.ч. самосознание и собственную мотивацию/интересы/целеполагание, которое непонятно и неподконтрольно людям. Предполагается также, что этому ИИ будет передан постепенно (вероятно еще до того, как ИИ станет «сильным») контроль над всеми сферами, важными для выживания человека. Также предполагается, что доступные ресурсы ограничены, а потребности разумной сущности (человека) безграничны и тем самым вступают в конфликт с потребностями и интересами других разумных сущностей.
                                                      А как мы обычно разрешаем конфликты, когда у нас есть контроль над всеми сферами? Как правило решительно и без лишних сантиментов.
                                                      Да, все это антропоцентризм в какой-то мере, но ведь и других разумных сущностей нам неизвестно, да и определение сильного ИИ содержит приличное количество антропоцентризма, т.к. содержит отсылку к способностям человека.
                                                      Кстати и тезис о том, что наступление сингулярности невозможно остановить или замедлить тоже не очевиден. Некоторые направления исследований успешно тормозятся или останавливаются, примеры: евгеника, клонирование человека. Да, там меньше экономических стимулов, но все же…
                                                        0
                                                        Есть книга «Чайка по имени Джонатан Ливингстон». Там о сингулярности рассказывается. И о том что каждый на своем уровне понимания и взаимодействия с окружающей средой. Просто в будущем разница между отдельными индивидуумами усилится в понимании и взаимодействии.
                                                          +1
                                                          Причём тут индивидуумы?
                                                          +1
                                                          Сама идея технологической сингулярности бессмысленна. Роботы и компьютеры — это инструменты. Они не являются независимыми участниками. Мы при всем желании не сможем их сделать таковыми, пока не разберемся как работает наше сознание (пока мы далеки от такого понимания).

                                                          Вот к чему мы на самом деле приближаемся, так это к информационной сингулярности. Это уже другая история.

                                                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                          Самое читаемое