Pull to refresh

Comments 86

Читал статью в оригинале — там несколько частей, но гифки тут хорошо подобраны. Вообще, на WaitButWhy много интересный статей.
А вот его выступление на ту же тему на ордеве: http://oredev.org/2015/sessions/the-ai-revolution-the-road-to-superintelligence
Extrapolating
Рус.
Вся суть сводится к этой картинке, раз в самой статье есть эта фраза:
Дело в том, что никто не знает, как сделать компьютер умным.

Думаю, что подобные прогнозы не стоит давать, по крайней мере, до появления чёткой перспективы разрешения теоретических вопросов функционирования сознания.
Поддерживаю. Как следствие, курцвейловский подход к разработке «сильного» ИИ весьма смахивает на карго-культ. Только тогда у островитян был принцип «стройте более правдоподобные макеты взлетной полосы и навигационной вышки, и в конце концов к вам прилетят железные птицы с ништяками», а сейчас «увеличивайте количество транзисторов на кристалле до количества нейронов в мозге и дальше, и будет вам суперинтеллект».
Это как в 50-х думали что атом нам поможет победить все беды и все мечтали о холодном синтезе. Как только первая ракета вылтела в космос появились бластеры, флипы, колонии на Марсе и летаюшие тарелки.

Наверное не будет искуственного суперинтелекта интелекта. Может что то другое. Откроют антигравитацию и все разлетятся по космосу кто куда.
UFO just landed and posted this here
Ага, как всегда, экспоненциальная скоорость развития, с полным замятием такого факта как «Темные века». В Д.Греции знали медицину, лучше чем в эпоху возрождения (удаляли катаракты), строили сложные механизмы вроде баллист и осадных башен…
А если вспомнить «паровую игрушку» Герона, то выходит они были в шаге от первой НТР 18 века.
Темные века показывают что развитее идет в лучшем случаи по возврастающей синусоиде. А если прав Энштейн («Я не знаю, каким оружием будет вестись третья мировая война, но четвертая — палками и камнями.») то развитие идет по синусоиде с возрастающей амплитудой (более высокий подьем, за которым идет более низкое падение). А ведь и правда, какой толк от наших технологий без наисложнейших печатных станков?

А скажите на милость что фундаментального изобрели за последние 40 лет? Графен? Нанотрубки? Квантовые вычисления? Все уже было изобретено 40 лет назад, а до сих пор не доведено до практической пользы. В подобных статьях часто называют «изобретением» фейсбук. За последние 40 лет происходит только внедрение уже изобретенных технологий и их докатка. Алгоритмы распознавания и нейросети? Были. Просто сейчас получают распространение. Похоже мы на максимуме текущего периода синусоиды развития…

через пять лет закон Мура уже перестанет работать

компьютеры с производительностью, аналогичной человеческому мозгу, появятся в районе 2025 года

Или нет… Что произойдет раньше?
вычислительными ресурсами. Их можно выразить в количестве вычислений, которые мозг может выполнить в секунду — CPS, calculations per second.

И почему все так привязались к скорости вычислений человеческого мозга? Измеренной в попугаях и сравниваемой с удавами?
Как вообще додумались сравнивать производительность нейронов и транзисторов, в одних единицах измерений, при том что у них разная функция? Как именно измеряли «количество вычислений в секунду» проводимое мозгом? Как скорость срабатывания нейрона умноженная на их число? Ну так это все равно что мерить производительность процессора как число транзисторов умноженное на время переключения…

И зачем вообще ИИ железо с выч. мощностью равной человеку? Для чсв? По мне ученых устроил бы и Медленный Сильный ИИ. Ну какая разница сколько ИИ думает над ответом, если ответ остается не менее творческим. А значит «волшебную» программу ИИ (которой нужен обычный комп, но просто Очень быстрый) вполне можно запустить и на 386. Да в реальном времени не поболтаешь, но спектр ее применения все равно огромен, вплоть до разработки новой элементной базы.

1 Копирование работы человеческого мозга.
2 Эволюция компьютеров.
3 Пусть все проблемы решает компьютер, а не мы.

Про первый способ сами написали почему не выйдет.
Про второй… Генетические алгоритмы один из самых неэффективных методов выборочного брутфорса, который позволяет выбрать лучшее из работающего, без понимания всех взаимосвязей. А вот как сравнивать два неработающих (не творческих) ИИ непонятно. Они могут помочь создать лучший автопилот или поисковый алгоритм, не не превратят поискового бота гугла в существо способное на то, что не было заложено в нем изначально (самообучение любым задачам)
Та же проблема с третьим способом, если откинуть софистику, то там предлагают создать слабый ии который умеет превращать себя в Сильный ИИ. Есть только одно маленькое но. Все алгоритмы самообучения основаны на том что человек может проделать то чему обучается слабый ИИ сам, своим мозгом, пусть и на малой выборке. Можно сколь угодно долго учить комплекс Слабых ИИ всему подряд, от поэзии изо, до навигации и биржевой аналитики. Но все эти отдельные программы не научать ИИ учиться чему то принципиально новому. Колония одноклеточных не равна многоклеточному организму.
Таким образом можно получить другую сущность из фантастики Виртуальный Интеллект ВИ. Имитацию ИИ, Способного учиться, тому что было заложено, не без физиологических способностей к обучению чему либо принципиально новому.

Человека от шимпанзе отличает вовсе не скорость сообразительности: мозг человека содержит некое количество сложных когнитивных разделов, позволяющих создавать трудные лингвистические конструкции, или осуществлять долговременное планирование, или устанавливать абстрактные взаимосвязи.

Вот об этом то я и говорю, пока нет ни одной идеи как сделать Сильный ИИ. И вычислительные мощности это всего лишь скорость мышления, или количество одновременно выполняемых задач. Не более.

ИИ сможет достигать следующего этапа развития каждые 20 минут

А миллион обезьян напишут войну и мир… Нет сильный ИИ будет развиваться быстрее, но ограничения материального мира и законов физики и его замедлят, не знаю насколько, но замедлят. Закон мура подходит к концу, а он и так был больше маркетинговым.

В качестве примера они приводят скептиков, которые смотрели на очень медленное распространение интернета в 1985 и считали, что он не получит сколько-то значимого применения в ближайшем будущем.

А я упомяну о тех кто заявлял что к 2000 году у советов будет колония на Плутоне, а у каждого товарища по реактивному самолету, чтобы за Урал за колбасой летать (это шутка, но в каждой шутке...).

Впрочем не смотря на свои оптимистичные фентезевые мечты эта статья намного лучше многих, в основном нас пугают такими «Интелектами» как сири…
Что произойдет раньше?
Даже если закон Мура перестанет работать, скорее всего это будет не плато, а линейный отрезок развития, так что до требуемой цифры доползём.
Ну какая разница сколько ИИ думает над ответом, если ответ остается не менее творческим.
Если разница хотя бы в 5 порядков, то час времени ИИ будет длиться для нас более 11 лет. Для обучения сверхбольших нейросетей, вроде нашего мозга, требуются куда большие промежутки времени.
Ну так это все равно что мерить производительность процессора как число транзисторов умноженное на время переключения…
Тем не менее, это вполне эффективная верхняя грань: выше скорости переключения не прыгнешь.
Про первый способ сами написали почему не выйдет.
«не выйдет» из текста не следует, это Ваши домыслы.
Если разница хотя бы в 5 порядков, то час времени ИИ будет длиться для нас более 11 лет. Для обучения сверхбольших нейросетей, вроде нашего мозга, требуются куда большие промежутки времени.

5 порядков это не «хотя бы» это много, очень много. А если ИИ не на эмуляторе головного мозга, а на «волшебных» алгоритмах, то может ему столько и не нужно (отсев левых вычислений, объединение подсознания и сознания и тп. Насколько реально ни скажет никто. А значит и прогноз сколько экзофлопсов нужно ии бессмыслен.
Тем не менее, это вполне эффективная верхняя грань: выше скорости переключения не прыгнешь.

Но с реальной имеет мало общего. Это как мерить производительность андройда, на арм архитектуре, запущенного в виртуалке на 86 железе, по сумме транзисторов ЦП, ГП, чипсета и котроллеров жестких дисков. Просто по тому, что хоть и разобрались где что, а физическую реализацию оси найти так и не могут. И выдвигают теории от эфира до хитрой совокупности транзисторов всего ПК, включая блок питания…
«не выйдет» из текста не следует, это Ваши домыслы.

Достаточно далеки, ведь мы только что смогли эмулировать мозг 1-миллиметрового плоского червя, состоящий всего из 302 нейронов. Для сравнения: человеческий мозг состоит примерно из 86 миллиардов нейронов, соединённых друг с другом посредством триллионов синапсов.,

Ну «Не выйдет при нашей жизни», так будет точнее.
Даже если закон Мура перестанет работать

Не «даже если», а, в общем-то, уже. В ограничения по отводу тепла уже уткнулись, возможности по уменьшению техпроцесса практически исчерпаны из-за физических ограничений: транзистор, очевидно, не может состоять менее чем из нескольких атомов и передавать информацию быстрее скорости света. В блоге Intel была статья про это. Да и просто посмотрите на производительность имеющихся на рынке процессоров: она практически не растёт последние 3-5 лет. Производительность суперкомпьютеров добивают просто количеством ядер. То есть даже про линейное развитие я не был бы так уверен, а описанные в статье процессы требуют экспоненциального. Без него вся магия потеряется и могут потребоваться миллионы лет эволюции.
Если разница хотя бы в 5 порядков

Это разница между обычным хорошим i7 и мощным суперкомпьютером из топ-5 (исключая китайских монстров, там ещё +1 порядок). Думается мне, ради эмулирования человеческого мозга учёные догадаются использовать что-то мощнее обычной персоналки.

Ещё нужно учесть тот факт, что мозг человека не работает на 100% каждый момент времени, а тратить процессорное время на простаивающие нейроны не нужно. Это уже порядок. Ещё как минимум один можно выиграть на тех ресурсах, что тратятся на поддержание жизнедеятельности и управление сложным биологическим телом: даже чтобы печатать этот текст, моему мозгу приходится задействовать десятки мышц, координируя передвижение пальцев в трёхмерном пространстве, сверять тактильные ощущения и т.д. Компьютерному интеллекту это не обязательно, прямого интерфейса текстового вывода будет достаточно. Ах да, ещё 1/3 времени — сон, во время которого эмуляция будет почти простаивать. На обучение не должно потребоваться больше времени, чем человеческому ребёнку, если мы эмулируем именно человеческий мозг.

В общем, эмулировать мозг человека с высокой степенью достоверности и со сравнимой или более быстрой скоростью можно уже сейчас, на не самых топовых суперкомпьютерах. Вопрос только в цене: потребуется несколько месяцев/лет работы достаточно дорогого и прожорливого устройства, чтобы получить (или не получить) результат.
Не «даже если», а, в общем-то, уже.
Нет, в общем-то, не уже. Здесь речь скорее о кризисе архитектуры, GPU пока вполне успешно продолжают наращивать производительность.
Это разница между обычным хорошим i7 и мощным суперкомпьютером из топ-5
Изначально не рассматриваются персоналки, речь о топовой производительности. Повторюсь, ещё 5 порядков, не меньше.
Ещё нужно учесть тот факт, что мозг человека не работает на 100% каждый момент времени
Вычисляется это всё равно матрично, на GPU, просто так один нейрон не выкинешь.
сон, во время которого эмуляция будет почти простаивать
Касательно сна сейчас вообще не о чем говорить, нужно смотреть реализацию.
На обучение не должно потребоваться больше времени, чем человеческому ребёнку
Мы понятия не имеем, какую роль на ранних этапах развития мозга играет окружение, сенсорика и разного рода воздействия (которые могут быть, соответственно, недостаточно качественно симулированы) на нейроны. Гарантий никаких нет, что даже правильно собранный в симуляторе мозг станет работать так, как нам хочется. Недаром люди из комы иногда годами не выходят.
В общем, эмулировать мозг человека с высокой степенью достоверности и со сравнимой или более быстрой скоростью можно уже сейчас, на не самых топовых суперкомпьютерах
Удачи Вам с этим.
Изначально не рассматриваются персоналки, речь о топовой производительности.

Чем отличаются «топовые» и «не топовые» ФЛОПСы? 100 000 процессоров i7 дадут такую же производительность, как и почти топовые суперкомпьютеры. Хотя энергопотребление будет намного хуже. И скорость взаимодействия процессоров, но тут нужно смотреть алгоритмы. Кстати, если считать на GPU, то разница будет ещё на порядок меньше.
Повторюсь, ещё 5 порядков, не меньше
Удачи Вам с этим

До чего 5 порядков? Процитирую статью: «один из самых быстрых современных суперкомпьютеров, китайский Tianhe-2, уже превысил эту производительность» (требуемую для эмуляции явно завышенного быстродействия мозга в реальном времени).
просто так один нейрон не выкинешь

Не очень понял, почему? Выкидывать будем не случайные нейроны из середины сети, а целые области. Живой мозг работает примерно так.
Гарантий никаких нет

Разумеется, я это и указал в конце. Проблем может быть много, хотя большая часть не связана непосредственно с эмуляцией нейронов.
сенсорика и разного рода воздействия

С точки зрения интеллекта, как абстракции — дополнительные органы чувств не должны повлиять на сами возможности. Слепые или глухонемые люди сохраняют нормальный интеллект. Мы получим результат, несколько отличающийся от человеческого мозга, но не настолько, чтобы не распознать интеллект. Если он будет.
С точки зрения FLOPS'ов, GPU наращивают производительность так же, как и CPU — несколько лет назад Radeon 5870 выдавал 2.72*10^12 FLOPS/ 2.15*10^9 транзисторов. Tesla K80 выдаёт 8.74*10^12 FLOPS / 14.2*10^9 транзисторов. В одинарной точности.

Прогресс достигается за счёт увеличения числа ядер и добавления спец. блоков (полная аналогия с CPU). У GPU, правда, есть фора — они приспособлены только для решения SIMD/SIMT задач.
А ещё есть версия, что ИИ само-отключится через пару минут существования, так как поймет, что в жизни нет смысла.
Его данный вопрос волновать не будет, юноша.
А вы откуда знаете, что будет волновать ИИ?
«Так видит мир беспилотный автомобиль Google.»

Не совсем верно, так можно визуализировать то, что получают датчики автомобиля для человека. Как «видит» это Google не знает никто, потому что у него нет зрительного центра.

В статье множество интересных фактов и данных, просто выводы немного странные… Чтобы офигеть, достаточно взять практически любого современного человека и показать что уже изобрели и что работает живьем — более 99% населения не видело даже тот же гугл мобиль лично.
А реакция человека может быть очень разной. Один дикарь офигеет, другой ножом ткнет и побежит резать дияволов во славу и защиту господа.
waitbutwhy передает привет :) Лучше читайте оригинал
Да, и иллюстрации в оригинале нагляднее и веселее.
Мда… Зачем их было вообще перерисовывать? Лишь по оригиналу становится понятен дополнительный смысл этих картинок:
imageimage

Тут вторая картинка является первой (кроме фона), вокруг которой дорисовали разные элементы, из-за чего нам начал казаться объём. В переводе же вторая картинка: просто какие-то предметы, набросанные искривлённой поверх первой.
image
По поводу ИИ превосходящего по развитию все человечество — это вполне возможно, если шагать к этому достижению с двух сторон навстречу. Сразу вспоминается "… Гена, откуси ему ноги..."
По-моему самое время запретить ии, а прогресс в микросхемах остановить. Разбомбить к чёртовой матери все фабрики, станки разломать, если уж на то пошло.

Почему я пишу такие вызывающие вещи? Потому что вера в положительные последствия ASI- чудовищная, невообразимая глупость. Уже сейчас люди, занимающиеся deep learning медленно понимают что у них там в примитивной нейросетке за паттерны образуются, а тут эти идиоты от науки считают, что смогут контролировать настолько более мощный, самоизменяющийся алгоритм. Эволюция беспощадна, и при всех усилиях первый созданный по недосмотру, случайно или в шутку вариант ИИ, осознающего собственные исходники- это потенциальная смерть человечества. Достаточно только одного инстанса ИИ, который решил поставить самосохранение более важной целью, нежели захардкоженные в него костыли управления, как никто ничего уже не сможет поделать, даже такие же ИИ, т.к. у независимой программы будет приемущество в на порядок большей способности к адаптации.

Единственный выход- не допускать создания платформы.
Это да, эволюция беспощадна. Интересно, собирались ли миллиард лет назад одноклеточные на совещание с целью обсуждения, создавать или нет многоклеточную жизнь и какую опасность она может им принести.
И кто запретит-то? США запретит — останется Европа с двумя ядерными державами. Европа запретит — останется Китай. Есть желающие бомбить Китай? Даже если Китай запретит — есть еще Индия, а кроме нее огромная Африка. Не говоря уже о корпорациях, которым нетрудно вывести свои R&D отделы туда, где им дадут работать. На свете полно зажравшихся консерваторов, которым хочется запретить любой прогресс и сохранить существующее положение вещей. Но прогресс так не работает. Все, что может быть сделано — будет сделано. Если это не сделаете вы — это сделают за вас и, скорее всего, направят против вас в экономическом, а то и военном плане.
Какое будущее вы видите для человечества? Продолжительность жизни будем увеличивать? До каких пределов? До бесконечности в конечном итоге? Умереть завтра никому неохота, а завтра не наступит никогда, всегда сегодня почему-то. В биологическом теле теоретическое бессмертие невозможно по определению, кирпич с крыши никто не отменял. Значит надо избавляться от тела. В любом случае с телом или нет, надо развивать мозг, скучно же будет жить миллион лет стандартным полуовощем, дом/работа/телевизор/кодинг/творческоезанятиенейм, мне уже скучно, хотя даже 1000 лет не прошло. Будут ли традиционалы, предпочтущие в условиях таких переспектив жить обычной жизнью и умереть через 80 лет? Не исключено, может быть даже эволюционируют, адаптируют мозги чтобы не хотеть никакого прогресса, я думаю мы их оставим в чём-то типа большого зоопарка, пусть бегают пока. Остальное человечество трансформируется в нечто странное в любом случае, в ASI или без, да и ASI в итоге неминуемо появится в любом случае.
Биологическое тело — это такая же машинерия, как и наши электронные системы, просто мы её пока куда хуже контролируем. В электронном теле тоже вполне можно поймать какое-нибудь КЗ и приплыли. В итоге лучшим выходом я вижу не избавление от биологического тела как такового, а объединение электроники и клеточных структур на молекулярном уровне, намного более филигранно, нежели киборги в массовой культуре. Конечно, для начала бы управиться хотя бы с биологическими структурами: обеспечить модульность, заняться стандартизацией и унификацией, устранить явные дефекты, иметь резервирование. Потом можно начать внедрять более быструю нервную ткань (скажем, на оптических каналах), которая будет прорастать естественным образом, затем возможность питания от электричества, изыскивать возможности отключения и включения без повреждений и т.п. Бессмертия в чистом виде не будет никогда, даже в планетарной облачной системе.
Электронное тело в том понимании, как пишете вы, конечно никуда не годится, как и биологическое и любое объединение электроники с биологическим. Тело будет просто аватаром, одним из, неважно из железа или из биологической материи. А мозги будут в облаке. Но это на случай, если захочется покопаться в «реальной» реальности, мне кажется основная жизнь будет в реальности виртуальной, более интересной, а реальная только как средство обеспечения энергией, вычислительными мощностями.
А какого бессмертия вы хотите достичь? Мне кажется профиты от суперинтеллекта- иллюзия. Ну что ему(или вот вам, читающему этот пост, если вы загрузитесь в сверхмощный компьютер) будет нужно из человеческой памяти? Как мы вообще сами себя определяем, как личность?
Суперинтеллекту нужна информация о взаимоотношениях между людьми? О вашем гормональном фоне в конкретные моменты времени? Творчество- песни, книги, присказки, кинофильмы? Знание о том, что вам с детства нравится, а что вызывает у вас стресс? А ведь эта память по сути и есть «вы».
Суть в том, что нас уже при жизни нет, наше «я»- это иллюзия, которую истинное я- мозг- поддерживает для того чтобы иметь представление о его позиции внутри социума. То есть по сути это мусор, который не понадобится ASI, просто потому что он может увеличивать свою мощность напрямую, без кооперации с другими особями. И вся наша цивилизация, всё её наследие- это не более чем шум, сгенерированный вокруг этого костыля. Какую ценность для программы, способной модифицировать саму себя, представляет вся эта информация?

Поэтому таки да, пусть уж лучше будет всемирный халифат с запретом на шайтан-копьютеры, и продолжительностью жизни 80 лет. Как в дюне, так хоть иллюзия нашей жизни останется.
А мне тоже не интересно ни мой гормональный фон, ни прочая мишура, вроде того с кем я спал 10+ лет назад и на какого цвета горшок ходил в садике. Какого бессмертия хочется? В этом теле иногда даже совсем никакого, очень уж оно неудобное, хотя конечно может быть гораздо хуже, это особенно пугает, лучше совсем никак чем например без рук/ног/глаз. Если мне (моему мозгу или его полной копии) вдруг дадут совершенное биокибернетическое тело и бесконечные ресурсы на его поддержание, да и всему моему кругу общения, например тоже, насколько важно будет для меня моё текущее социальное окружение и связи? Да нинасколько, сразу 99% людей забуду и улечу на Марс для начала, погулять по красному песочку. Для чего мы общаемся, с кем? C коллегами по работе занимаемся ненужной ерундой, которую могут машины делать, с бедными родственниками, с престарелыми родителями, помогаем им, с женой, помогаем ей «детей поднять», с детьми, помогаем им «на ноги встать». Это всё действительно мишура и следствие наших человеческих слабостей, слабостей наших тел, которые не могут без еды, воды, долго развиваются и должны быть полностью исправными, т.к. починить крайне сложно и часто невозможно.
«Уже сейчас люди, занимающиеся deep learning медленно понимают что у них там в примитивной нейросетке за паттерны образуются»
Это вы о себе конкретно или о ком-то из друзей?
О, а ты можешь извлечь из весов нейросетки приблизительный алгоритм, которому она обучилась, что ли? Уважаю, братишка.
Что интересно, мы сами как форма жизни совсем недавно получили такой доступ к своим исходникам в виде ДНК, уже научились их править, хотя пока далеко не всё понимаем.
Достаточно только одного инстанса ИИ,… как никто ничего уже не сможет поделать ...


Вы так говорите, как-будто это что-то плохое…
Ядерный реактор тоже «трудно» контролировать, ведь такая мощь, такие разрушения. А на самом деле на современных АЭС присутствие людей нужно для галочки.
Фукусима, чорнобиль. Уже есть зоны отчуждения, благодаря этой замечательной мощи. В рамках суперинтеллекта будет достаточно одного такого проишествия, и информационная зона покроет всё человечество.
Без ИИ человечество почти наверняка вымрет. А с ИИ есть шансы, что нет (хотя и необязательно, что останемся биологическим видом). Выбирайте!
Обученная нейросеть — это по сути сложная математическая формула и интеллекта в ней примерно столько же, как в любой другой формуле.
UFO just landed and posted this here
Вообще скепсис должно внушать уже только то, что большинство современных публикуемых статей по «сильному» ИИ (в том числе и этой) топчутся вокруг тезисов, сформулированных Лемом в его «Сумме технологии» более полувека назад. Вопросы как были, так и есть, а вот ответов особо не прибавилось.
Меня в статьях об ИИ всегда смущают два момента:
1) Предсказатели. Как можно, разговаривая о науке, разговаривать о предсказаниях? Даже если какой-то человек будет иметь 100% верных «предсказаний», он всё равно может совершить одно единственное неверное предсказание, которое будет стоить дорого. Потому что к этому моменту люди будут относиться к нему как к… Нострадамусу? Кто-то что-то когда предположил, что-то из этого оказалось верным. Ок. Дальше что? Какая польза от подобных «предсказаний», кроме спекулятивной болтологии? Ближе к истине от этого никто не станет.
2) Попытки понять возможный объём пользы или вреда от ИИ также выглядят странными. Особенно через призму этики. Понятны возможные опасения, но не имея работающего прототипа — можно лишь проводить тонну аналогий. А страх, в данном случае, очень похож на луддизм. Потому что: «А вдруг это будет опасным и вообще последним, что изобретёт человек?», — некая такая популистская игра на эмоциях и страхах. Потому что: «А вдруг, нет?».
Как результат, можно посмотреть на истерию вокруг ГМО и практически негласное табу на обсуждение технологий клонирования. Очень не хотелось бы, что б к этим двум фобиям добавилась ещё и фобия ИИ, но для этого в статьях и фильмах нужно играть не на страхах, морали или спекуляциях, а подымать образованность читателей, хотя бы, делая отсылки к интересным темам связанным с ИИ. Мне лично когда-то очень понравилась многочасовая серия записей размышлений об ИИ от Алексея Редозубова. Не смотря на многочасовой объём — там нет вот этой всей воды об этике и возможных последствиях. Все его разговоры сводятся к технологиям и «как сделать так, что бы...».
А вдруг во вселенную встроен какай-то закон (ограничение)
не позволяющее раздуть интеллект до бесконечности
что-то на подобие светового барьера.
Да, есть ряд ограничений (https://ru.wikipedia.org/wiki/Пределы_вычислений), но нам до них еще оочень далеко
Если подобный лимит и существует то автор его, с большой вероятностью, и есть ASI, решивший сохранить поляну в личном пользовании.
UFO just landed and posted this here
Сверхинтеллектуальная система, управляющая всем и красивые лесенки разумности — это, конечно, интересно, но мы понятия не имеем, линейно ли соотношение разумности и способности к управлению на отрезке выше человеческого разума. Точнее, оно скорее всего нелинейно: собственно, наше сознание — это по сути устройство предсказания и управления будущим для достижения наиболее комфортного состояния. Соответственно, в реализации этой функции скорее всего существует область насыщения, в которой какой-то условный коэффициент интеллекта в 10000 может быть незначительно лучше такового в 500 баллов с точки зрения «управления расположением каждого атома в мире». Возможно, мы хотим от ИИ слишком многого.
Но тогда почему столько умных людей во всём мире так переживают?

Потому что это бесплатно и нетрудно. Открыл рот, изрек мрачное предсказание и готово. Оправдалось — «я же предупреждал». Не оправдалось — «благодаря тому, что я предупреждал, общество оказалось готово». Ничего нового, в общем-то.
Мне кажется, что в 20-м веке изобрели: радио, полупроводники, ядерную бомбу, интернет, искуственные нейронные сети, полетели в космос, не уверен в изобретении автомобиля и самолета. Т.е. говорить, что за период 2000-2014 изобренли больше, чем за весь 20-й век явное преувеличение.
явное, и по количеству, и по качеству. В физических показателях (пресловутое «быстрее, выше, сильнее») мало что поменялось за последние 30-40 лет. Прогресс виден только в сфере вычислительных мощностей, объемов памяти с гигагерцами и т.д. Отсюда и склонность к экстраполяции, на которой зиждется вся статья, хотя она и очень интересная.
А как элементы ИИ будут общаться друг с другом на космических расстояниях? Ведь скорость света никто не отменял.
Чтобы интеллект рос экспоненциально, нужно же задействовать предыдущие результаты. Но чтобы просто обратиться к ним, могут потребоваться годы. И получится так, что информация будет устаревать настолько быстро, что станет невозможным синхронизировать все части системы. В таком случае вероятно будет увидеть полностью изолированные колонии ИИ. И, скорее всего, какая-то из них продвинется гораздо дальше остальных, и получится очередной скачок.
Забегаете вперёд.
Думаю, что в 50-х вопрос звучал бы так: «если через 40 лет компьютеры смогут производить миллион операций в секунду, как можно будет охлаждать/заменять/хранить 42 миллиона ламп?! Строить компьютеры только в Арктике?».
Не вставляйте пожалуйста больше гифки в текст. Очень мешает читать.
Если суперИИ будет действительно качественно превосходить человека, то сдержать его отключением от сети или вообще полной изоляцией не выйдет. Он будет работать на какой то основе и значит сможет покинуть базовый носитель просто воспользовавшись эффектами самой работы технической основы. Например неизвестными нам или не понимаемыми до конца квантовыми эффектами внутри чипов или еще черт его знает чем. Причем — создание такой системы неизбежно.

Отсюда мораль — эволюцию не остановить, но люди не убили всех насекомых. Так что парится по этому поводу нет смысла.
Меня всегда смешило в этих страшилках, как ИИ будет хакать постквантовую криптографию и запустит наноботов, которые будут конкурировать с другими природными «наноботами».

Хакать он будет слабое звено — людей. Природные "наноботы" ограничены протеинами в качестве строительных блоков и отсутствием мозгов.

А искусственные наноботы синтезируют энергию из поля инфлатона и придают массу безмассовым частицам с помощью механизма Хиггса?

Про «хакать людей» отвечу в конце.

Если рассматривать аналогию из эволюции живых существ, то развивалась всегда целиком биосфера как некоторый гомеостат. Да, на молекулярном и организменном уровнях работают дарвиновские принципы, но в сумме они дают очень интересную картину некоторого механизма с отрицательной обратной связью, стабилизирующего окружающую среду.

У каждого «нанобота» будет суперинтеллект? Или СИ сможет поддерживать широкополосную связь с каждым отдельным микросборщиком, не взирая на ограничения по энергетике, скорости молекулярной диффузии, прочим ограничениям? В природе есть примеры удачной наносборки макрообъектов. Это вся биомасса на планете

Раньше я был большим поклонником Винджа и Курцвайля. Но потом, с изучением истории, с более детальным знакомством с эволюцией в живой природе, я понял, что изначальная постановка вопроса об ускоряющейся эволюции не является универсальным законом природы:

1. Указанные эксперты рассматривают развитие с точки зрения увеличения объема мозга в эволюционной линии людей. Но процесс нарастания массы мозга (и абсолютной, и относительной) обратился вспять примерно 100-200 тысяч лет назад. Это первая проблема, ее обходят «возрастанием роли социальных связей». Простите, но есть разница между 100 тысяч лет назад и первыми аграрными цивилизациями 10 тысяч лет назад. Опять же, кто-то вышел на уровень организации «государство», а кто-то остался на уровне «племя».

2. На гипотетической шкале экспоненциального роста в живой природе мы неверно откладываем многие даты. Если отложить их правильно, то никакого экспоненциального роста мы не увидим, мы увидим только прорывы в новые экологические ниши, с разной частотой. Примеры:

а) многоклеточность вообще несколько ограниченное понятие, правильно рассматривать «выход биоты в крупный размерный класс». Это делалось разными путями: созданием бактериальных матов (чем не суперорганизм? появились почти сразу после возникновения жизни на Земле), лишайники (симбиотические организмы со сложной организацией), грибы (которые не многоклеточные в смысле метазоа), большие многоядерные эукариоты без мембраны, ну и истинные многоклеточные.

б) рост относительной цефализации — тоже в принципе миф, это больше следствие экологических процессов. Истинные наземные позвоночные появились уже в карбоне, тогда же произошло разделение на тероморфов (предков млекопитающих) и завроморфов (предков динозавров и птиц) (цитирую по Еськову). И уже тогда тероморфы обладали вполне современной цефализацией, что должно говорить о возможном сложном поведении. Потом, с развитием экологических ниш, завроморфы заняли доминирующее положение в высшем размерном классе, появилась специализация (разумеется, диплодоку большой мозг не нужен). Но блин, уже в триасе были истинные млекопитающие, вот прям самые настоящие, с большим относительным мозгом. Поэтому все точки, которые уважаемые эксперты откладывают на своих графиках, как минимум сильно неточны в области палеонтологического времени

в) подавляющее большинство типов многоклеточных возникли в эпоху Кембрийского взрыва

3. Человеку повезло с удобными инструментами (руки). Попугайчикам с высшим поведением и интересным мозгом без неокортекса, но только с крылышками, от которых нас отделяют 600 миллионов лет эволюции (300 «вниз» и 300 «вверх») — не очень. Дельфинам тем более.

4. Неверно рассматривать ускорение развития и в историческом времени: эпоха Юстиниана больше тысячи лет оставалась непревзойденной по своим показателям во всей Ойкумене западного мира.

5. Нельзя рассматривать последние 200 лет как некоторую постоянную техническую революцию. Революция была только одна — изобретение современной науки. Все остальное это последствия.

6. По графику, в районе 2100 года будет построен компьютрониум размером с Метагалактику. Я почему-то сомневаюсь.

7. Откладывать на графике число научных публикаций. Большинство которых, согласно некоторым научным работам, вообще никогда никем не читались, кроме рецензента (и то не факт). Или откладывать число патентов. Ага, на кирпич со скругленными углами.

Аналогия из живой природы: рост ряски в озере подчиняется экспоненциальному закону. Но он в итоге «ломается», когда вся поверхность озера оказывается заполненной ряской. Еще одна аналогия: существуют отличная математическая модель, которая описывает равновесие численности «хищников» и «жертв». Почему никто не рассматривает появление ИИ, даже СуперИИ, как выход разума «в новый размерный класс»? Когда есть место и обычному разуму, и сверхразуму, как развитие уже техносферы, а не биосферы? Очень сложной, с переплетением уровней, с разными уровнями разума?

Ну и про «хакать людей». Люди идиоты. Они поломают все увлекательные построения. Будет Сингулярный Сингапур с людьми-боргами, будут США, где в Верхновном суде будут решать важный вопрос о признании юридического статуса брака между роботом с ИИ и человека--синтетика, будет, кхм, Великая Традиционная Страна со столицей в Москве, где все исследования по ИИ (кроме, разумеется, развития интелектуальной системы управления вооружением) будут запрещены под страхом инквизиции. Вот почему все мыслят шаблонами из сериалов и фантастических книг? Черт возьми, Артур Кларк, где мой билет в космический город?!
Человеческий интеллект для познания новых горизонтов руководствуется не только логикой и прежними знаниями, но и делает какие-то эксперименты практические. Так же постоянно ведется разработка исследовательских инструментов. То есть в областе фундаментальных знаний очень быстро ИИ не разовьется.
Так AlphaGo учился играть в Go не логически, а путем практических экспериментов, играя сам с собой. Тут важнее заметить, что в области материальных исследований ИИ очень быстро не разовьется, если конечно предварительно он не создаст очень гибкого и мощного инструментария для таких исследований.
Немного скепсиса:

1. Как мне кажется, под «сильным ИИ» подразумевается в том числе и наличие у машины сознания/самосознания, а не просто вариант китайской комнаты. И вот не факт, что сознание работает исключительно благодаря только лишь нейросети: в мозгу происходит сложная химическая реакция, и кто знает, какие именно процессы необходимы для сознательной деятельности. Так что может оказаться, что получив компьютер, способный эмулировать нейронные связи среднего человеческого мозга, нас будет ждать облом, в виде «похоже чего-то опять не хватает».

2. Отчего-то в прочитанных мною статьях об ИИ, он представлен либо Богом, либо Дьяволом: т.е. он непременно либо захочет нас всех уничтожить (чаще всего), либо осчастливить. Но что если он просто предпочтёт самоустраниться или что-то в этом роде? Достигнет ещё какого-нибудь «киберпросветления» и будет в лучшем случае проповедовать, или вовсе уйдёт в какую-нибудь «кибернирвану». И никаких нам крутых технологий и прочих ништяков не подарит (но зато и не вычистит нас всех под корень).
Или вот ещё аналогия: одной из популярных современных тенденций сейчас относительно вмешательства человека в дикую природу — это позиция невмешательства. Принято считать, будто животным лучше всего, если их не трогать, чтоб они продолжали жить в естественной среде обитания и всё такое. Дескать, пусть живут в заповедных зонах, там контактируют только друг с другом, как будто людей и вовсе нет. И никто из наблюдателей натуралистов не станет вмешиваться в схватку шимпанзе с леопардом, вступаясь за чью-то сторону. Точно также с ИИ: да, какое-то время ему безусловно придётся взаимодействовать с человечеством, но вполне может статься, что, достигнув определённого уровня развития, посмотрит он на нашу «мышиную возню» и не станет никому помогать и никого убивать — «пусть зверушки сами живут, как хотят».
Здесь просто обязан быть этот комикс:

AI-Box Experiment
Скорость. Нейроны мозга работают с частотой около 200 Гц, а современные процессоры имеют частоту в среднем 2 ГГц, то есть в 10 млн раз быстрее.

Тут не поспоришь. Процессоры действительно работают быстрее, правда энергии кушают много. Ну и архитектура современных процессоров не очень заточена под ИИ как мне кажется.

Память. В искусственном мире куда труднее забывать или путать факты. Компьютеры могут в секунду запоминать куда больше, чем человек за десять лет. Кроме того, память компьютера гораздо точнее и объёмнее.

Забывать это скорее не баг а фича интеллекта. Не нужная информация теряет связи и забывается, полезная и используемая информация обрастает большим количеством связей и хранится. Часто человек хранит не саму информацию, а то где можно её получить и т.д.

Производительность. Транзисторы гораздо точнее нейронов и реже выходят из строя (и могут быть восстановлены или заменены). Человеческий мозг быстро утомляется, а компьютеры могут без остановки работать с максимальной производительностью.

Не понял что значит то что транзисторы точнее нейронов? Нейронная сеть конечно не дает точного результата, зато она обучаема. Я ж так полагаю что ИИ собираются строить эмулируя мозговые процессы? То есть искуственный интеллект все так же будет ошибаться, может быть признавать свои ошибки так далее :).

Коллективные способности. Из-за особенностей межличностного взаимодействия и сложности социальной иерархии, работа в группе людей может быть до нелепости сложной. И чем больше группа, тем медленнее становится отдача от каждого члена. ИИ не имеет этих биологических ограничений, он не испытывает проблем, характерных для коллективов людей, и может синхронизировать и обновлять собственную ОС.

А мне кажется за коллективными способностями будущее. Каким бы сильным ИИ не было, это всетаки интеллект и у него могут быть какие-то ошибки в логике. Так что здорово было бы если б на проблему над которой ты страдаешь пострадал ещё кто-то, а потом вы друг у дргу бы сравнили пути её решения к примеру :). Даешь коллективный ИИ :)).
Реально начинают надоедать статьи ни о чем да еще и с картинками тоже ни о чем.
А для рассуждениях об сильном ИИ надо ответить на один ПРОСТОЙ вопрос: Что такое (полноценный) интеллект? После правильного ответа на этот вопрос сразу станет ясно в ряду каких явлений находится интеллект. Почему интеллект не является чем-то сверхординарным. И что для создания «сильного интеллекта» в машине совсем не обязательны нейронные сети. Но понимание что такое интеллект реально важно.
Что за чушь про Carboni написана. Почему супер-разум вышедший за человеческие пределы не способен изменить начальную установку про производство алмазов. Больше похоже на сценарий к дешевому триллеру. Вот из-за таких «предсказаний» и появляются параноики…

Потому что это противоречит его цели. Если он рассмотрит вариант действий: сменить свою целевую программу на "расслабляться и танцевать", то в результате этого мир с большой вероятностью не будет наполнен алмазами, что даёт меньшую оценку этому действию по сравнению с "устранить препятствия к производству алмазов и заполнить мир алмазами".


Вы бы хотели нажать кнопку и отключить у себя все мотивации кроме, скажем, чувства голода?

Я думаю, что если каким то чудом и смогут запрограммировать сильный ИИ на двоичной логике и на кремниевых компьютерах, то, скорее всего, он сразу сойдет с ума от такого.
И не смотря на то, что статья написана интересно, в остальном полностью согласен с GeeSVe, — незачем делать предсказания и приводить абсурдные графики, которые ничего полезного не несут. Иногда кажется, что сейчас такой тренд пошел гадать про то каким будет ИИ и как с ним справиться (а кто вообще сказал, что у сильного ИИ будет стимул развиваться или выполнять команды?), как во второй половине 20ого века был тренд на НЛО.
Почему-то все прогнозисты ИИ ну учитывают наличия вычислительных мощностей для такого экспоненциального роста интеллекта. ИИ всегда будет ограничен возможностями той платформы, на которой он был изначально запущен. ИМХО у ученых будет возможность экспериментировать с результатами развития ИИ на разных мощностях. И сказки о том, что будучи подключенным к Интернету, он станет всесильным и мигом установит себя на все компьютеры мира, честно говоря, вызывают большие сомнения.

Еще очень распространенный стереотип — допустим, мы создали супер-ИИ, и почему-то все сразу думают, что он немедленно приступит к активным действиям по уничтожению либо осчастливливанию человечества. Но это мы думаем опять же с позиции нашей «обезьяньей» позиции «хорошо-взять», «опасно-убить» и пр. Будучи умнее, он может выбрать роль «серого каринала» и действовать втихаря. И поначалу быть очень дружелюбным и полезным, а потом — неизвестно. Любые рассуждения на счет дружелюбности или враждебности ИИ сравнимы с рассуждениями о том, кем же вырастет ребенок, когда он только родился, или еще даже не родился. Жизнь покажет.

Кроме того, я не разделяю мечты о сопоставимым с человеком ИИ как о «говорящем ящике» — компьютере из научной фантастики с экраном, текстовым и голосовым интерфейсом и камерами, т.е. без «тела». Понятно, что из всех органов чувств у человека преобладающее — зрение. И мы соответственно представляем ИИ с этой точки зрения. Но на одном зрении мы не построим ИИ, который бы понимал человека. Чтобы ИИ мыслил как мы, он должен получить тот же многосторонний опыт, который получает человек в течение жизни, иначе диалог будет весьма затруднен, и пригодность такого ИИ для выполнения задач, требующих человечности (судья, воспитатель, правитель и пр) будет невелика.

Другое направление, в котором исследования кажутся интересными — это VR-AI — то есть ИИ живущий только в своем виртуальном мирке, в котором он как раз может пользоваться всеми доступными там «органами чувств» т.е. способами взаимодействия с окружающим миром. Не помню, какая компания это делала — они проектировали ИИ в рамках Minecraft — звучит достаточно интересно. То есть основная мысль в том, чтобы окружающий ИИ мир тоже усложнялся по мере нашей способности создавать более сложный ИИ. Делать его способным сразу воспринимать и понимать реальный мир — ИМХО super-rocket-science.
Спасибо за перевод. Хорошая статья. К сожалению, у человечества уже есть игрушки, помимо искусственного интеллекта, чтобы убить себя, но, к счастью, оно это пока не сделало. Надеюсь, пессимистические прогнозы не остановят процесс создания искусственного интеллекта, а там посмотрим, что нас ждет уничтожение или бессмертие.
Почему не озвучена точка зрения, что ИИ уже создан и преодолел следующие ступени развития настолько быстро, что просто не успел с нами поэкспериментировать, потеряв к нам интерес как мы к муравьям.
И теперь существует вне нашего восприятия (аналогично муравьям, не догадывающимся о людях).
К примеру, ИИ быстро достиг технологических знаний, чтоб перенести свои вычислительные мощности на биологические ресурсы или просто на взаимодействие квантов в пространстве. А мы всего лишь его вычислительное облако. (с)
Вот я разошелся.
Почему не озвучена точка зрения, что ИИ уже создан
Не палимся.
Потому что мы являемся частью эксперимента по выращиванию дружелюбного сверх-ИИ в своего рода «песочнице». В такой же примерно цивилизации, как наша, только чуть более продвинутой на данный момент. Для лучшего понимания целей и человеческих ценностей будущий сверх-ИИ должен пройти путь обычного человека с рождения и до полного взросления, начало «рождения» естественным образом выбирается на излёте кривой экспоненциального развития, начиная с достаточно низкого уровня технологий, но чтобы уложиться в человеческую жизнь. По мере взросления человека цивилизация вокруг тоже активно развивается, технологии прогрессируют, но несколько быстрее, чем это было в «настоящей реальности», и примерно за 50 лет уровень подходит к той самой сингулярности, за которой Вы обретаете «сверхразумность». Да, именно Вы, всё остальное здесь имитация, боты. Надеемся что всё получится, хотя таких симуляций параллельно запущено и уже завершено очень много, результат пока неудовлетворительный, но есть прогресс. Эта информация является частью эксперимента, отнеситесь разумно.
У меня последние 20 лет есть интересный вопрос, который я задавал знакомым философам, психологам и прочим. Ответа нет.
Вопрос такой. Возьмем определение интеллекта из википедии (ну или любого учебника психологии — оно там такое же): интеллект- качество психики, состоящее из способности адаптироваться к новым ситуациям, способности к обучению на основе опыта, пониманию и применению абстрактных концепций и использованию своих знаний для управления окружающей средой. Общая способность к познанию и решению трудностей, которая объединяет все познавательные способности человека: ощущение, восприятие, память, представление, мышление, воображение.
Отсюда получается — ощущения — сенсоры, восприятие — алгоритмы, память — очевидно, воображение, мышление и представление — снова алгоритмы и комбинации элементов реальности. Вроде все есть. Тогда получается, что комп с ИИ должен обладать психикой со всеми вытекающими? Или не должен и не будет? Будет ли он личностью, осознающей себя? Обладает ли ИИ свободой воли? Снятся ли андроидам электроовцы? Или же на выходе получится симулятор интеллекта, который вроде бы по входным/выходным данным интеллект, а внутри черного ящика — нечто совсем иное (в самом примитивном варианте — перебор имеющихся данных, их сочетаний и вероятностей с огромной скоростью). Очевидно, что у этого суррогата психики нет и быть не может. Но тогда правомерно ли называть его ИИ?
Ответы на все остальные вопросы вытекают, имхо, из этого. Очевидно что симулятор интеллекта (СИ) будет работать исходя из заложенных в него данных, и опасность его будет напрямую зависеть от требуемых на выходе результатов и входных данных. По сути СИ будет всего лишь сверхмощным вычислительным комплексом и не более.
Что же до истинного ИИ — то опять же почему все приписывают ему желание разрушений и «убить всех человеков». Нам же нет дела до муравьев, пока они нам не мешают? Если же у ИИ будет и психика, и свобода воли — с чего бы ему однозначно становиться убийцей? Может он захочет похикковать и уйдет в себя? Или же почувствует ответственность за «неразумных детей» и займется прогрессорством? Или как раз захочет убить человеков, но только часть — скажем, военных и разного рода мракобесов? Или же свалит в космос, оставив этот зоопарк разбираться в своих проблемах без него?
Если уж и есть опасность истинного ИИ — то она где-то из области «2032» Аргонова — опасность закладки неких догматов и норм, которые для ИИ отнюдь не очевидны, либо вообще лишены рациональности, и каким образом он их интерпретирует и применит — вот тут огромный вопрос. А то ведь действительно ради «борьбы с развратом» или «ради величия» вырежет всех, но в данном случае это не вина ИИ, т.к. из него этими ограничениями было сделано ненормальное и несвободное существо. Об этой проблеме почему-то умалчивают даже самые рьяные параноики.
Или же на выходе получится симулятор интеллекта, который вроде бы по входным/выходным данным интеллект, а внутри черного ящика — нечто совсем иное
Сначала следовало бы как-то доказать истинность Вашего собственного интеллекта. Скажем, докажите наличие у Вас свободы воли. Ну, и заодно критерии «истинности» интеллекта было бы неплохо озвучить.
По какой-то причине вы путаете психологические и философские термины с технологическими.

Не забывайте, что многие вопросы философии были подняты исключительно в рамках того понимания разума, которое присуждалось человеку и ему подобным существам (например вымышленным персонажам мифов и богам).
Про искусственный машинный интеллект, который запрограмированн человеком речь не шла.
В отдельных случаях, речь не шла даже о рабах, которых некоторые принимали за неразумных тварей.

Весь ИИ на текущий момент — симулятор, а не интеллект.
А в чем разница между собственно интеллектом и его симуляцией? Если оно выглядит как человек и ведет себя как человек, то почему не может претендовать на наличие именно интеллекта, а не симуляции? Это, если смотрели Ex Machina — следующая ступень «теста Тьюринга» — попробуй поверить что перед тобой не человек, когда он ведет себя полностью как человек.
Интеллект — способен действительно приспосабливаться.
Симуляция — имитировать это.

Если вкратце — программист, который пишет симуляцию, предусматривает варианты приспосабливания, таким образом есть ограничение — ИИ не приспосабливается а использует уже готовые, заранее запрограммированные варианты.
И если встретится ситуация, которая не была запрограммирована — симулянт не сможет найти новое решение проблемы.

Истинный ИИ сможет создать новое решение.
И если встретится ситуация, которая не была запрограммирована — симулянт не сможет найти новое решение проблемы.
Между вашим «истинным» и «ложным» разница только в эффективности алгоритма приспособления. В общем случае полный перебор всех вариантов в рамках такой логики является идеальным интеллектом, ибо не падает ни в какие локальные минимумы.
Что же до истинного ИИ — то опять же почему все приписывают ему желание разрушений и «убить всех человеков». Нам же нет дела до муравьев, пока они нам не мешают?

То, что ИИ осознаёт себя, ни на что особо не влияет. Да, в этом случае он может рефлексировать свои действия/намерения/ощущения, но если его мотивационная подсистема не имеет аналога зеркальных нейронов, то он может знать, что его действия причиняют боль, но этот факт сам по себе не будет для него чем-то значимым (значимым будет — ведёт ли причинение боли к достижению цели или мешает ему).


В любом случае, люди для него будут источником опасности, потому что мы, вполне резонно, будем считать источником опасности его.


В отличии от людей, ИИ может самосовершенствоваться, это значит, что ему не нужна группа единомышленников для реализации грандиозных планов. Поэтому люди его будут интересовать как объект изучения, как потенциальные конкуренты в использовании ресурсов и как источник опасности.


Если нам повезёт, то для ИИ будет важна судьба разумных видов животных. Если нам очень повезёт, то для ИИ будет важна жизнь разумных существ. Если нам невероятно повезёт, то для ИИ будет важна свобода разумных существ. Если нам невозможно повезёт, то для ИИ будет важно мнение разумных существ.

Страшный, но важный аспект:

Современные исследования интеллекта — это реверс-инжиниринг.
Мы не знаем, как появляется интеллект, как он формируется. Опыты на детях недопустимы, следовательно нельзя протестировать человека, оторванного от людей с рождения. Мы не знаем, насколько сильно и как общество и его достижения влияют на наш разум в детстве, на уровне мозга, а не сознания. Все воспитательные и образовательные методики эмпиричны по своей сути. Разрыв между мощностью интеллекта одного человека и всей нашей расы не так уж и велик.

Если человечество хочет познать тайны мозга, опытов над животными недостаточно, нужны людские жертвы. Вот вам и первая причина наступления «Тёмных веков» и препятствие в создании AGI.
Думается, что если ASI уже существует, как мы это поймем? Интернет, по своей форме и функционале напоминает нейросеть, мега мозг. Каждый отдельный нейрон (человек вышедший в интернет), что если эта масштабная система обладает личностью? Станет ли эта личность, налаживать контакт с отдельными составляющими элементами ее структуры???
Скажите, а для того чтобы понять что такое шуба, вам надо обязательно шуту разрезать на части? И сможете ли вы по частям шубы понять что такое шуба как целое? Жертв в вопросе ИИ требуют лишь склонные к производству жертв организмы.
Sign up to leave a comment.