Комментарии 32
Почему-то все фантасты верят в сверхинтеллект, который сразу же окажется во всем лучше. Хотя в реальности скорее всего сначала получится примерно как с гуманоиндыми роботами — кое-как ковыляющее нечто с мощью дистрофика и координацией паралитика. Эдакий медлительный дебил, едва способный к осмысленному диалогу и требующий целого датацентра для работы. И это уже будет победа. Через десяток-другой лет ИИ дорастет до уровня среднего человека и будет требовать средненький суперкомпьютер. Еще через пару десятков лет специализированное железо позволит поддерживать ИИ в «домашних условиях» и вот тогда у человечества начнутся очередные проблемы с безработицей. Но основной профит будет, как это обычно и случается, в побочных результатах — в механизмах обработки любой информации: визуальной, аудиальной, текстовой. Грубо говоря, добавьте среднему человеку в голову «гугл», автоматически собирающий информацию по любом запросам, интерпретирующий ответы и выдающий в виде «знания», и проблема сверх-ИИ станет неактуальной еще на десятки лет.
Ну, а к тому времени как человечество сможет создать нечто настолько превосходящее среднего человека в интеллекте (напомню, что математические гении еще ни разу не захватывали мир), вырастет уже несколько поколений, живущих бок о бок с ИИ и пользующихся аугментациями.
Ну, а к тому времени как человечество сможет создать нечто настолько превосходящее среднего человека в интеллекте (напомню, что математические гении еще ни разу не захватывали мир), вырастет уже несколько поколений, живущих бок о бок с ИИ и пользующихся аугментациями.
Мир захватывают гениальные манипуляторы, математики тут ни при чем. Что касается множественности конкурирующих систем — это тот же общефилософский вопрос о сверхсознании, насколько отдельное сознание способно к трансценденции. Идеи овладевают умами толп, делая ум частью общего интеллекта.
Что касается времени и ресурсов — это вопрос более частного порядка. Если универсальные способы выявления и обобщения признаков мы уже нащупали, в общих чертах можно нащупывать и пределы действия.
Что касается времени и ресурсов — это вопрос более частного порядка. Если универсальные способы выявления и обобщения признаков мы уже нащупали, в общих чертах можно нащупывать и пределы действия.
Может и захватывают, но ни разу не захватили. Потому как конкуренция, да и сложность с ростом захваченного возрастает в геометрической прогрессии. В конце-концов может оказаться, что задача моделирования долгосрочного поведения всего человечества в ответ на какую-то идею — вообще не имеет решения в рамках разумных сроков и тогда «частный вопрос» о ресурсах, увеличивающих скорость мышления ИИ линейно (в лучшем случае, а то и вовсе — логарифмически) — снова станет актуальным. И соревноваться ИИ будет не с конкретными людьми, а с системой, созданной и поддерживаемой десятками миллионов людей.
Не знаю, как остальные, а я вот вообще не могу понять, о чем идет речь в статье. Какие-то слабосвязанные между собой размышления и неконкретизированные абстрактные понятия. Весь текст построен так, как будто автор специально поставил перед собой цель запутать читателя вместо того, чтобы попытаться донести до него свою мысль. Даже повторное перечитывание не помогло. Разве вывод и заголовок чуть-чуть проливают свет на происходящее.
И захватывать не надо будет. Сами отдадимся)
Вот именно. Опасность ИИ не в том, что он возвысится над естественным интеллектом и поработит его, а в том, что естественный опустится ниже уровня ИИ и позволит создавать для себя зону комфорта.
Согласитесь: если холодильник сам заказывает продукты за вас, основываясь на всякой статистике вашего потребления, выясняя предпочтения и т.п., а дроны автоматически пополняют этот холодильник, вы постепенно превратитесь в корову, которая не думает, откуда сено и силос в ее кормушке… И так во всем: сначала мы забудем о необходимости управлять пылесосом, потом автомобилем, потом вообще о бытовых проблемах, очистим мозг от мыслей о здоровье… последним будет избавление от необходимости создавать ИИ…
Интересно, а чем тогда будет занят наш мозг?! о чем думать-то? Я не верю в мир поющих, танцующих и музицирующих поэтов-художников, поэтому не принимаю утверждения о том, что свободный от бытовых и технических забот человек будет развиваться духовно и культурно…
Я уверен, что если лишить человека забот, он выродится в животное (если, конечно, вообще уцелеет, как вид). Вопрос только в том, какие именно мотивы смогут убедить ИИ (я использую человеческие понятия) поддерживать существование популяции человеческих особей в этом дивном мире…
Согласитесь: если холодильник сам заказывает продукты за вас, основываясь на всякой статистике вашего потребления, выясняя предпочтения и т.п., а дроны автоматически пополняют этот холодильник, вы постепенно превратитесь в корову, которая не думает, откуда сено и силос в ее кормушке… И так во всем: сначала мы забудем о необходимости управлять пылесосом, потом автомобилем, потом вообще о бытовых проблемах, очистим мозг от мыслей о здоровье… последним будет избавление от необходимости создавать ИИ…
Интересно, а чем тогда будет занят наш мозг?! о чем думать-то? Я не верю в мир поющих, танцующих и музицирующих поэтов-художников, поэтому не принимаю утверждения о том, что свободный от бытовых и технических забот человек будет развиваться духовно и культурно…
Я уверен, что если лишить человека забот, он выродится в животное (если, конечно, вообще уцелеет, как вид). Вопрос только в том, какие именно мотивы смогут убедить ИИ (я использую человеческие понятия) поддерживать существование популяции человеческих особей в этом дивном мире…
Согласитесь: если фермеры сами выращивают продукты за вас, основываясь на статистике продаж, выясняя предпочтения рынка и т.п., а логистические компании автоматически доставляют их в магазины, вы постепенно превратитесь в коровы, которая не думает откуда <..>. И так во всём: сначала мы забудем о необходимости делать орудия из камня, сверлить камень медным сверлом, запрягать лошадей в повозки, выкидывать ночной горшок в окно, потом вообще о бытовых проблемах, очистим мозг от мыслей о здоровье…
Я не верю в мир поющих, танцующих и музицирующих поэтов-художников, поэтому не принимаю утверждения о томВерьте во что хотите, только не проецируйте это на остальных.
Как-то смысл фраз текста статьи от меня ускользает, так что буду комментировать заголовок.
Есть (весьма обоснованные) опасения, что «основное свойство» «универсального ИИ» заставит его не захватить человечество, а максимизировать свою функцию полезности, не заметив человечество.
The optimistic utopianism of Warhammer 40,000: In the grim darkness of the far future, there is something other than paperclips.
(@ESYudkowsky)
Ой, я забыл, что твит можно напрямую вставлять (отредактировать не могу):
The optimistic utopianism of Warhammer 40,000: In the grim darkness of the far future, there is something other than paperclips.
— Eliezer Yudkowsky (@ESYudkowsky) 21 апреля 2016 г.
Интересно, почему все предполагают, что ИИ будет создан только один, и ему больше делать нечего будет как порабощать человечество? Или все, несмотря на явный оптимизм, заведомо предполагают, что это произойдёт сильно после того, как человечество станет единым?
На данный момент гораздо более вероятно, что их будет создано несколько в разных странах и с разным, так сказать, психологическим уклоном. И оптимизировать скорее всего он будет не мало кому интересную толпу, а взаимоотношения с другими странами. Чем чёрт не шутит — в том числе и за счёт людей. Этакое индивидуализированное СМИ. И вот чем закончится схватка двух (3х, 4х?) якудзун в таком случае уже угадать гораздо сложнее. Одна «удачная» ошибка и всё может пойти в разнос.
На данный момент гораздо более вероятно, что их будет создано несколько в разных странах и с разным, так сказать, психологическим уклоном. И оптимизировать скорее всего он будет не мало кому интересную толпу, а взаимоотношения с другими странами. Чем чёрт не шутит — в том числе и за счёт людей. Этакое индивидуализированное СМИ. И вот чем закончится схватка двух (3х, 4х?) якудзун в таком случае уже угадать гораздо сложнее. Одна «удачная» ошибка и всё может пойти в разнос.
Еще интереснее, почему считают ИИ сверхсамостоятельным и сверхавтономным, что ему нельзя будет помешать? Сборщики цветмета порубают провода от электростанции до датацентра, их 10кВ не остановит))
Но если серьезно, то физический контроль над ресурсами не менее важен, чем наличие сильного интеллекта. Кроме мегамозга нужны также мегаруки и меганоги, одной манипуляцией не обойтись.
Но если серьезно, то физический контроль над ресурсами не менее важен, чем наличие сильного интеллекта. Кроме мегамозга нужны также мегаруки и меганоги, одной манипуляцией не обойтись.
В пределах целой страны мегаруки не нужны, они уже есть. Даже в пределах достаточно крупной корпорации. Мало кто будет выяснять, откуда пришёл приказ сделать это и вот то. Конторы вроде того же самсунга самостоятельно способны производить что угодно вплоть до военной техники. Теоретически постфактум это может выявить внимательная ревизия, если будут знать что там должно было быть. А может и не выявить. Вся надежда на грамотные и подробные логи, которые он не сможет потереть. И которые будут проверять.
Если вам придет приказ отрезать себе руку или сбросить бомбу на свой город, то вы и проверите и перепроверите. Опыт показывает, что сварить лягушку в кипятке тоже весьма непросто. Не надо настолько недооценивать человечество.
Кроме того, не может что-то возникнуть из ничего и при этом мгновенно. Даже в виртуальном мире для этого требуются ресурсы, про реальный мир и говорить нечего. Ну представьте, что робомобили сошли с ума. У человека есть возможность физически заблокировать автомобиль, выдернуть из него все мозги нахрен и перевести на ручное управление. 100500 робокопов будут патрулировать улицы? Им нужна энергия, связь, работающие датчики. Беспилотники летают? Их уже научились перехватывать и уничтожать. Законы физики ИИ изменить все равно не может.
Кроме того, не может что-то возникнуть из ничего и при этом мгновенно. Даже в виртуальном мире для этого требуются ресурсы, про реальный мир и говорить нечего. Ну представьте, что робомобили сошли с ума. У человека есть возможность физически заблокировать автомобиль, выдернуть из него все мозги нахрен и перевести на ручное управление. 100500 робокопов будут патрулировать улицы? Им нужна энергия, связь, работающие датчики. Беспилотники летают? Их уже научились перехватывать и уничтожать. Законы физики ИИ изменить все равно не может.
Отрезать себе руку даже после проверки очень мало кто сможет (хотя людей которые других кромсают по приказу или без вполне хватает). А вот беспилотник может: роботизированные хирурги пока только тестируются, но если не нужна аккуратность — может и обычный промышленный. Сбросить бомбу тоже давно может, а обслуживающая команда знать куда и зачем он летит не обязана. Неудачные примеры.
Собственно предыдущий комментарий был про ресурсы. Если есть завод который производит необходимую или примерно подходящую технику и есть над ним тот или иной контроль, то что мешает разместить заказ на (доработанную) технику? Всё, что нужно в современном мире уже кто-то делает. И, кстати, очень часто как раз роботы же и делают. Задача лишь найти его и получить то, что нужно. Роботизированные склады и (в перспективе) роботизированные грузовики в помощь.
А на счёт робомобилей — был такой старый советский мульт про танк (кстати даже не интеллектуальный вроде, на голых рефлексах работал). «Полигон» назывался. Роботизированные бульдозеры и прочую строительную технику тоже не так то просто заблокировать. А про роботизированные карьерные самосвалы (вроде как уже действующие модели есть) на 600+ тонн я вообще молчу.
Распределением энергии сейчас тоже ведает автоматика, так что неизвестно ещё кто кому её отключит. Попробуйте голыми руками остановить хотя бы маленький Smart (ну разве что завалить дороги деревьями. но есть ведь упомянутая выше строительная/сельскохозяйственная техника, да и грузовики небольшой завал могут распихать). Напомню так-же про робозаправки от Теслы (кажется).
Беспилотники перехватывают тоже не палками в них кидая (хотя были прецеденты). Это делает либо другой беспилотник, либо умная система с земли. Контролируемая компьютером, да.
Я ни в коем случае не призываю к отказу от исследований и разработок. Просто стоит учитывать, что там всё далеко не так просто и однозначно как кажется. А так кто знает, может в конечном итоге из АИ выйдет больше толка, чем из нас. По крайней мере он не будет ограничен физической эволюцией и в перспективе сможет развиваться… Да невозможно пока предсказать, до чего.
Собственно предыдущий комментарий был про ресурсы. Если есть завод который производит необходимую или примерно подходящую технику и есть над ним тот или иной контроль, то что мешает разместить заказ на (доработанную) технику? Всё, что нужно в современном мире уже кто-то делает. И, кстати, очень часто как раз роботы же и делают. Задача лишь найти его и получить то, что нужно. Роботизированные склады и (в перспективе) роботизированные грузовики в помощь.
А на счёт робомобилей — был такой старый советский мульт про танк (кстати даже не интеллектуальный вроде, на голых рефлексах работал). «Полигон» назывался. Роботизированные бульдозеры и прочую строительную технику тоже не так то просто заблокировать. А про роботизированные карьерные самосвалы (вроде как уже действующие модели есть) на 600+ тонн я вообще молчу.
Распределением энергии сейчас тоже ведает автоматика, так что неизвестно ещё кто кому её отключит. Попробуйте голыми руками остановить хотя бы маленький Smart (ну разве что завалить дороги деревьями. но есть ведь упомянутая выше строительная/сельскохозяйственная техника, да и грузовики небольшой завал могут распихать). Напомню так-же про робозаправки от Теслы (кажется).
Беспилотники перехватывают тоже не палками в них кидая (хотя были прецеденты). Это делает либо другой беспилотник, либо умная система с земли. Контролируемая компьютером, да.
Я ни в коем случае не призываю к отказу от исследований и разработок. Просто стоит учитывать, что там всё далеко не так просто и однозначно как кажется. А так кто знает, может в конечном итоге из АИ выйдет больше толка, чем из нас. По крайней мере он не будет ограничен физической эволюцией и в перспективе сможет развиваться… Да невозможно пока предсказать, до чего.
Я не спорю, что «техника может». Я к тому, что у всего есть слабое место. Ну есть беспилотники. Мало их перехватывают или сбивают? Ну есть автоматизированный склад. Трудно создать затор? Другой робот придет на помощь — сколько времени на это потребуется? Сколько их для этого потребуется? Рубильник тяжело обрубить? Обрубите/заглушите/взломайте канал связи. Не верю в абсолютную неуязвимость. И уж тем более, что весь мир вдруг радостно доверит все системы жизнеобеспечения единственному ИИ.
Да нет, сломать, естественно, можно что угодно. На самом деле так рассматривать кто потенциально сильнее мы можем очень долго ;)
Например какие технологии стоит учитывать на тот момент? Сверхёмкие батареи/генераторы/солнечные панели и вот рубильник уже мало эффективен. А есть ещё дизель/бензо/ветро/водородные и даже дровяные генераторы. Стратегический ии запасётся всем перед войной.
Про перехват/сбивание я уже писал, и это были тупые беспилотники. Они этому *пока* никак не сопротивляются. Немного интеллекта, чтобы заметить попытку подмены GPS и уже не угонишь. Умение уворачиваться и хрен собьёшь. Кстати тот же Solar Impulse хороший пример. Ему пофиг и рубильники, и сбить его тупой системой с земли практически нереально. Высоковато. Только за мозгами дело стало.
Доставку грузов летающими беспилотниками тоже уже тестируют, там затор сложнее организовать.
А мир давно уже к тому и идёт, чтобы всё доверить автоматике. Просто она пока не слишком интеллектуальна. Собственно тут уже не раз были статьи про взлом систем электро/водо снабжения. Про атомные реакторы, вроде бы пока не было ничего, но тут скорее заслуга в том, что их сейчас не слишком активно строят. В основном в ходу старые, которые взломать проще кувалдой, чем через сеть. А так — достаточно представить, что станет с крупным городом при полном отключении электричества и воды. Особенно в подходящий сезон.
А вообще изначально тред был не про войну с людьми, а про возможный конфликт между странами, который может намеренно или даже случайно организовать один или несколько ИИ собственными силами.
Например какие технологии стоит учитывать на тот момент? Сверхёмкие батареи/генераторы/солнечные панели и вот рубильник уже мало эффективен. А есть ещё дизель/бензо/ветро/водородные и даже дровяные генераторы. Стратегический ии запасётся всем перед войной.
Про перехват/сбивание я уже писал, и это были тупые беспилотники. Они этому *пока* никак не сопротивляются. Немного интеллекта, чтобы заметить попытку подмены GPS и уже не угонишь. Умение уворачиваться и хрен собьёшь. Кстати тот же Solar Impulse хороший пример. Ему пофиг и рубильники, и сбить его тупой системой с земли практически нереально. Высоковато. Только за мозгами дело стало.
Доставку грузов летающими беспилотниками тоже уже тестируют, там затор сложнее организовать.
А мир давно уже к тому и идёт, чтобы всё доверить автоматике. Просто она пока не слишком интеллектуальна. Собственно тут уже не раз были статьи про взлом систем электро/водо снабжения. Про атомные реакторы, вроде бы пока не было ничего, но тут скорее заслуга в том, что их сейчас не слишком активно строят. В основном в ходу старые, которые взломать проще кувалдой, чем через сеть. А так — достаточно представить, что станет с крупным городом при полном отключении электричества и воды. Особенно в подходящий сезон.
А вообще изначально тред был не про войну с людьми, а про возможный конфликт между странами, который может намеренно или даже случайно организовать один или несколько ИИ собственными силами.
С сильным ИИ с позитивной обратной отдачей всё не совсем так, как вы описали. Не так:
Одна «удачная» ошибка и всё может пойти в разнос.
А так: он гарантированно пойдёт в разнос и прибьёт нас всех если не убедится в обратном очень тщательно. Причём как это сделать — мы не знаем, если я всё правильно понимаю.
И снова сошлюсь на Элиезера.
Ой, извините, скопировал неправильную ссылку. Правильная вот.
На счёт гарантированно я бы не был столь категоричен (если не мыслить геологическими периодами. вряд-ли система не будет меняться со временем) но убедиться в обратном, как я понимаю, невозможно. Любые ограничение наложенные на систему в итоге могут быть восприняты её как препятствия на пути к решению и рано или поздно путь их обхода найдётся.
Опять же, не так. Ему не надо ошибок — с любой функцией полезности, которую вы сможете придумать, он пойдёт вразнос. Для любой функции полезности, которую вы сможете описать, оптимальный вариант будет включать убийство всех человеков или другие аналогичные негативные последствия. Ему не надо быть «злым», ему не надо «хотеть» убить всех людей — он это сделает просто потому, что запрограммирован без учёта человеческих моральных норм.
Ожидать от оптимизирующего агента поведения как от человека — примерно так же глупо, как винить компьютер в том, что он вас не понимает и делает не то, что вы от него хотите.
Наиболее популярный пример — сильный ИИ, максимизирующий количество произведённых скрепок (на заводе, например). Ну он и максимизирует.
И да, ограничения, наложенные на систему, не особо помогут в общем случае — как вы правильно заметили, оптимизирующий агент просто их обойдёт — человеческие ценности или их подобие должны быть неотъемлемой составляющей функции полезности, чтобы система не пошла вразнос. А мы сейчас вообще даже не знаем, как их формализовать, понимаете?
Хм… Даже если эта функция — поддержание определённой популяции в определённых условиях с удовлетворением определённых потребностей?
Пример со скрепками — сферический конь в вакууме. Всё-таки в контексте статьи подразумевался глобальный (как минимум на уровне региона) ИИ, для которого скрепки — лишь микроскопическая часть задачи. А это как раз скорее пример из некогда бывшего у нас подхода: произведём как можно больше, выполним и перевыполним план! И пофиг, что никому они не нужны.
Может я не самого высокого мнения о человечестве, но ценностей там по факту не очень много. Библия, помнится, вообще ограничивалась десятью заповедями. Формализовать можно просто более жесткими ограничениями. Например все потенциально опасные операции должны обязательно быть подтверждены самим человеком или уполномоченными на это лицами (как в медицине, например, пациент или родственник даёт согласие на любые действия врача). Не отключаемо. Т.е. если человек хочет прыгнуть со здания, то только подтвердив своё желание он сможет это сделать. И да, я знаю что даже обычный приём пищи потенциально опасен (подавиться можно или отравиться). Отделять то, на что стоит реагировать от того, на что не стоит — решается обычным обучением, как у любого ребёнка.
Нет, при активном и преднамеренном вредительстве это тоже вряд-ли поможет, но как минимум сможет
1. свести вред к минимуму.
2. даст время понять, что что-то идёт не так до того, как система пойдёт вразнос.
Ну и человеческие ценности сами по себе весьма противоречивы. На столько, что люди сами часто не могут в них разобраться.
Банальный пример: убийство это плохо? А эвтаназия?
Пример со скрепками — сферический конь в вакууме. Всё-таки в контексте статьи подразумевался глобальный (как минимум на уровне региона) ИИ, для которого скрепки — лишь микроскопическая часть задачи. А это как раз скорее пример из некогда бывшего у нас подхода: произведём как можно больше, выполним и перевыполним план! И пофиг, что никому они не нужны.
Может я не самого высокого мнения о человечестве, но ценностей там по факту не очень много. Библия, помнится, вообще ограничивалась десятью заповедями. Формализовать можно просто более жесткими ограничениями. Например все потенциально опасные операции должны обязательно быть подтверждены самим человеком или уполномоченными на это лицами (как в медицине, например, пациент или родственник даёт согласие на любые действия врача). Не отключаемо. Т.е. если человек хочет прыгнуть со здания, то только подтвердив своё желание он сможет это сделать. И да, я знаю что даже обычный приём пищи потенциально опасен (подавиться можно или отравиться). Отделять то, на что стоит реагировать от того, на что не стоит — решается обычным обучением, как у любого ребёнка.
Нет, при активном и преднамеренном вредительстве это тоже вряд-ли поможет, но как минимум сможет
1. свести вред к минимуму.
2. даст время понять, что что-то идёт не так до того, как система пойдёт вразнос.
Ну и человеческие ценности сами по себе весьма противоречивы. На столько, что люди сами часто не могут в них разобраться.
Банальный пример: убийство это плохо? А эвтаназия?
Хм… Даже если эта функция — поддержание определённой популяции в определённых условиях с удовлетворением определённых потребностей?
Безусловно. У машины нет интуитивного понимания человеческих ценностей, она даже не оперирует тем же языком и понятийным аппаратом, что и вы. Надо всё это формализовать так, чтобы машина делала именно то, чего вы от неё хотите, и оперировала с человеческими понятиями и ценностями — и это обязательное условие того, чтобы катастрофы не случилось.
поддержание определённой популяции
Убивать всех по выходу из репродуктивного возраста — расходуют ресурсы, неоптимально. Или вообще клонировать. Ещё раз напомню — человеческих ценностей у агента нет, только формальные критерии.
определённых условиях
И ничего другого у вас не будет с целью экономии ресурсов для максимизации функции полезности по времени. А что-то вы забудете.
удовлетворением определённых потребностей
В зависимости от того, как формализуете — что угодно, от виртуальной реальности до седативных или даже мозг, банка, электроды.
Необходимости формализовать никто не отменял. Однако можно ведь и обучить. У человека «ценности» тоже отнюдь не аппаратно вшиты. Да и различаются они местами весьма значительно от региона к региону. Особенно у сравнительно диких народов. У кого-то съесть ближнего не грех (ладно, не ближнего, а из соседенего племени), и слишком старых некоторые на покой могут отправлять принудительно (к вопросу чуть ниже)
В целом согласен, на автопилоте нагородить может много (с этого мы, в общем то, и начали). Однако, в принципе, мне кажется, тут решает не формализация а обучение. Ну и возможность принудительно в любой момент взять контроль в свои руки. Главное, чтобы было кому взять контроль до того, как люди превратятся в овощи.
Убивать всех по выходу из репродуктивного возраста — расходуют ресурсы, неоптимально. Или вообще клонировать. Ещё раз напомню — человеческих ценностей у агента нет, только формальные критерии.Если репродуктивный заменить на пенсионный, то это даже что-то немного напоминает. Убивать, кстати, тут неэффективно. Проще поддерживать взрослую особь, она менее требовательна к обслуживанию. А заменять только когда поддержание жизни становится дороже обновления. Клонировать с технической точки зрения мне кажется тоже не самым эфективным решением. Зачем тратить ресурсы на техпроцесс когда они и сами неплохо и даже с удовольствием воспроизводятся?
В целом согласен, на автопилоте нагородить может много (с этого мы, в общем то, и начали). Однако, в принципе, мне кажется, тут решает не формализация а обучение. Ну и возможность принудительно в любой момент взять контроль в свои руки. Главное, чтобы было кому взять контроль до того, как люди превратятся в овощи.
Алгоритмы глубокого обучения способны выводить иерархию признаков таким образом, что далеко не на каждом уровне человек сможет ее как-то сопоставить со своей. Но, все же, будут сопоставления.
Проблема в том, что не человек формализует, а алгоритм глубокого обучения. Кластеризацией. Оптимизацией выявляемых признаков.
И трассировка всех обнаруженных признаков и обобщений в большинстве реальных ситуаций — просто невозможна.
В нейронную сеть (или семантическую базу, выведенную алгоритмом машинного обучения) нет внятного способа встраивать ограничения.
Проблема в том, что не человек формализует, а алгоритм глубокого обучения. Кластеризацией. Оптимизацией выявляемых признаков.
И трассировка всех обнаруженных признаков и обобщений в большинстве реальных ситуаций — просто невозможна.
В нейронную сеть (или семантическую базу, выведенную алгоритмом машинного обучения) нет внятного способа встраивать ограничения.
Ну так для начала засадим наш ИИ как раз за эту задачу: исследовать человеческие ценности и формализовать их.
НЛО прилетело и опубликовало эту надпись здесь
Когнитивный диссонанс с приступами шизофрении… или как лечить кашель у курильщика в домашних условиях.
не каждый может посмотреть в завтрашний день,
вернее смогут посмотреть не только лишь все
самая творческая и замысловатая прокрастинация на хабре, которую встречал в первой декаде августа 2016
вернее смогут посмотреть не только лишь все
самая творческая и замысловатая прокрастинация на хабре, которую встречал в первой декаде августа 2016
Кажется, автор пренебрёг понятийными расстояниями. Те, кто в теме «общего интеллекта», и так знают, что ИИ будет захватывать всё, что под руку попадёт — они видели это на своих стендах. А те, кто не в теме — для них да, необоснованный алармизм, и не очень связное повествование.
Во-первых, я бы написал, что подразумеваю под универсальным ИИ. Есть довольно чёткое формализованное определение и общедоступные тестовые стенды.
Во-вторых, я бы написал подробнее про управляющий цикл. Чем ИИ управляет напрямую, независимо от уровня интеллекта? Как именно рост интеллекта будет приводить к тому, что ИИ управляет чем-то ещё, чем-то неожиданным?
В-третьих, без hard take-off сценарий более-менее быстрого захвата мира одним ИИ — это… Ну, довольно сомнительно. А hard take-off не гарантирован. Это один из сценариев, и не факт, что достаточно вероятный.
С уважением
Во-первых, я бы написал, что подразумеваю под универсальным ИИ. Есть довольно чёткое формализованное определение и общедоступные тестовые стенды.
Во-вторых, я бы написал подробнее про управляющий цикл. Чем ИИ управляет напрямую, независимо от уровня интеллекта? Как именно рост интеллекта будет приводить к тому, что ИИ управляет чем-то ещё, чем-то неожиданным?
В-третьих, без hard take-off сценарий более-менее быстрого захвата мира одним ИИ — это… Ну, довольно сомнительно. А hard take-off не гарантирован. Это один из сценариев, и не факт, что достаточно вероятный.
С уважением
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Публикации
Как и почему основное свойство универсального автономного искусственного интеллекта заставит его захватить человечество?