Если AGI создается как автономный интеллектуальный агент, то у него должна быть мотивация, эмоции, драйвы, целеполагание, целевая функция или что-то другое (но что-то должно быть), в соответствие с чем он будет выбирать, что ему делать. Может быть, можно создать AGI не как автономного агента, но это выглядит проблематичным. Если не нравится слово «захочет», замените его на «будет иметь цель». Задача создания безопасного ИИ не в том, чтобы сделать его (по своим интеллектуальным свойствам) не способным решать криминальные задачи, а в том, чтобы такие задачи им не ставились.
Бесспорно, кэп. ;)
Понятно, что на каком-то этапа этим заниматься нужно. Вопрос, однако, в том, что решение проблемы безопасности AGI не может быть более содержательным, чем сами модели AGI. Можно заниматься проблемами безопасности и на недетальных моделях (или даже начинать с дружественности как «граничного условия» для создания моделей AGI), но, вероятно, это будет в ущерб развитию детальности моделей. Есть подозрения, что недружественным (произвольный) AGI создать проще, чем дружественный. Вопрос, соответственно, в приоритетах…
На всякий случай, поясню. Нежелание продолжать обсуждение к Вашей личности отношения почти не имеет (за исключением неуместных менторского тона и некой склонности к переходу на личности, что, правда, компенсируется наличием сильного бэкграунда). Желания дискутировать не было исходно (и вообще все это оффтоп), поскольку дискуссия между представителями разных подходов в конечном счете сводится к холивару на тему базовых отправных посылок, а там никакие аргументы не имеют силы, иначе бы все давно придерживались одного подхода. Сам формат форумной дискуссии требует много времени, чтобы выяснять разного рода недоразумения (а они из-за мультидисциплинарности возникают постоянно в этой теме). Нередко люди, споря, говорят практически одно и то же, но выясняется это очень не сразу. Иногда такие обсуждения полезны, потому что удается услышать что-то новое, но чем дольше в теме, тем меньше на это шанс (а когда в дискуссии тебе «сообщают» известные вещи как откровения, то это тоже демотивирует). В общем, последние несколько лет я нахожу продуктивным общение только с единомышленниками на «технические» темы. Как только мы в своем подходе упремся в непроходимый тупик, придется искать новый подход, и методологические обсуждения будут снова актуальны, но пока тупика нет. Я вовсе не утверждаю, что все знаю, но меня интересует сейчас заполнение пробелов в рамках конкретного направления. И пусть разные люди следуют разным подходам; больше шансов, что кому-то «повезет». Поговорить на другие темы, наверное, можно, но я предпочту для этого другой формат (оптимально — личная «доверительная» беседа). С тем же Гёрцелем, например, у нас далеко не полностью совпадают взгляды, но никакого желания прекращать беседу с ним при общении в реале не возникало (хотя большой пользы она тоже не принесла).
Насчет «ужаса» могу пояснить, но, боюсь, это выльется в длинную непродуктивную дискуссию на очередную холиварную тему. Лучше, я просто извинюсь за некорректное высказывание :)
Извините, но по Вашему тону создается впечатление, будто Вы как раз думаете, что все знаете :)
Ваш стиль беседы мне показался не вполне корректным, чтобы имело смысл тратить время на ее продолжение.
Модель чистого универсального интеллекта уже имеется. Это AIXI Хуттера или ее более продвинутые варианты (типа машины Гёделя у Шмидхубера). Правда, почти все те, кто идут путем лингвистического интеллекта, как раз с универсальностью и рядом не лежали. Но заполнять «чистый интеллект» — задача вычислительно крайне ресурсоемкая. Условно говоря, это все равно, что воспроизводить всю эволюцию. Без введения соответствующего индуктивного баэса и приоров это бесполезно. Можно ставить задачу на введение модально-независимых приоров. В этом случае универсальный интеллект будет способен сравнительно быстро (по сравнению с индуктивно несмещенным) осваиваться с любой новой модальностью. Хотя будет ли это «сравнительно быстро» практически применимо — тоже дискуссионный вопрос…
> Это не так. Развитие возможности обучаться и сама способность обучаться — совершенно разные вещи. Эволюция — это становление способности, появление возможности. Обучение — это использование этой возможности когда она уже есть.
Это просто слова. Речь слишком ограниченна, чтобы передавать более содержательные модели реальности. Вы строите одну словесную модель, в которой проводите жесткую границу между эволюцией и обучением. Я вижу общность этих процессов. Я же не отождествляю при этом биологическую эволюцию с человеческим обучением… В общем, спорить об этом — это спорить о словах, а не о сути.
> Шахматисты — тоже самое. Они узнают паттерны ситуаций, которым сначала обучились по книжкам и рассказам тренера.
Я вот как-то за год научился играть в го на уровне 1 дана, принципиально не читая никаких книжек, а только играя.
Да, язык — это эффективный способ накопления и передачи знаний через социум. Да, делать ИИ без доступа к языковому знанию — это равносильно тому, что пытаться воспроизвести интеллект всего человечества вместо одного человека. Но гипотеза о том, что «лингвистический интеллект» можно воспроизвести сам по себе и это даст полноценный интеллект, мне представляется очень сомнительной. У тех, кто занимается ИИ, есть слишком много оснований, чтобы увериться в ее методологической порочности…
> Но и обратного никто не доказал, что невозможен лингвистический ум без того фундамента, с которым он взаимодействует.
Согласен. Сейчас это вопрос выбора направления. Я знаю разработчиков AGI (того же Питера Восса), которые пытаются создать «лингвистический интеллект». Это их путь. Мой опыт и знания говорят о том, что он не слишком перспективный. Я могу ошибаться. Но сейчас дискутировать об этом бессмысленно. Такая дискуссия будет либо обменом мнений, где каждый останется при своем, либо должна быть очень длительной и более интерактивной, чем возможно тут.
> Но и обратного никто не доказал, что невозможен лингвистический ум без того фундамента, с которым он взаимодействует. Есть же слепо-глухонемая Скороходова, почитайте ее, очень поучительно. Хотя там есть опора на осязание все таки.
Конечно, знаю. Но вот именно, что этот пример показывает, что без семантической опоры освоение языка невозможно, и чем эта опора слабее, тем сложнее «запустить» «лингвистический интеллект». Вы же предлагаете лишить ИИ еще и осязания, которое с трудом, но помогло там.
> Но такие программы как Ватсон показывают, что собственно зрения им или осязания не надо, чтобы ответить на вопросы.
Как раз программы типа Ватсона — это полный тупик. Они могут выдавать не многим более, чем фактическое знание. Не представляет ни малейшего труда им задать такие элементарные вопросы, на которые они не смогут ответить.
> И программируются по одним принципам — нейронными сетями.
Ужас… Ну, на таком уровне, конечно, все просто…
> Это говорит о том, что концептуально, одна модальность вполне самодостаточно при притоке инфо из вне в ее же модальности.
В принципе — да. Если мы создаем универсальный интеллект, то, гипотетически, он сможет по текстовой информации восстановить модель окружающего мира и корректно ее использовать. Но на практике это крайне неэффективный путь. Без внесения нужных приоров процесс обучения такого интеллекта будет крайне трудоемкий. Ну, и проблема в том, что те, кто работает в рамках подхода по воспроизведению «языкового интеллекта» без опоры на другие модальности, зачастую даже не пытаются наделить свое детище такими способностями. Именно поэтому я говорю, что этот путь не неверен вообще, а методологически порочен.
В общем, прошу извинить, но подобные дискуссии мне были интересны уже достаточно давно, а последние годы они мне кажутся достаточно пустой тратой времени, так что на следующий Ваш комментарий могу не ответить…
> Почему такие выводы? Как раз наоборот, если об интеллекте говорить как о рассуждении, а, скажем, не как о распознании образов, что умеют и животные, то это чисто «лингвистический ум», как собственно давно известно в когнитивной психологии. Мышление по Выготскому собственно и есть интериоризированная речь.
Во-первых, рассуждения не обязательно вербальные. Шахматист находит лучший ход не за счет лингвистических способностей. Во-вторых, животные способны распознавать не любые (доступные человеку) образы. Многочисленные эксперименты с обобщением животными паттернов на кормушках с пищей показывает, какие классы образов принципиально не могут распознавать разные виды животных. В-третьих, существуют лингвистические саванты, языковые способности которых могут быть существенно выше средних, но аналитический интеллект которых сильно понижен. В-четвертых, ограниченные языковые способности есть и у животных. В пятых, даже если признать «лингвистический ум» основным, что отличает человека от животных (что в какой-то мере верно, но является сильным упрощением; имхо, различие более глубокое, а языковые способности — лишь одно из следствий этого различия), то никто не сказал, что «лингвистический ум» можно реализовать без значительной части того фундамента, который заложен еще в животных. Собственно, это последнее я исходно и имел в виду. Язык — это не только текст, синтаксис; это еще семантика и прагматика, скоординированность с внешним миром. Упрощенно говоря, мы можем вручную создать такую базу знаний, для которой эта скоординированность будет иметь место. Но, это и крайне трудоемко, и делает проблематичным для ИИ дальнейшее автономное обучение. Гораздо «проще», чтобы ИИ осваивал язык «естественным образом» (упрощенно говоря, как человеческий ребенок, хотя это не единственным путь). Работать только с текстом — это тупиковое направление…
> Вообще-то это совершенно разные вещи. Обучаемость, кстати, есть результат эволюции, Эволюционирующий мозг, даже в онтогенезе, еще ничего не может по сравнению с развитым мозгом. Его отличие именно в возможности обучаться через речь. Для этого нужны когнитивные структуры, которые и отличают разумный мозг от лягушачьего. И речь идет о повторе этих развитых когнитивных структур.
Вы говорите про конкретную реализацию. Я же говорю, что эволюция и обучение имеют одну и ту же (математическую) сущность. Да, реализация в природе у них разная (и то есть пересечения, скажем, на уровне иммунной системы; да и даже обучение естественных нейросетей иногда трактуется с нейроэволюционной перспективы). Но я имел в виду, что в рамках ИИ между эволюцией и обучением вообще почти нет какого-то барьера…
Однако утверждение, что «концепция в любом случае будет состоять из общеизвестных компонентов», все же дискуссионно. Может, на концептуальном уровне ничего принципиально нового уже не нужно (и то вопрос), но на уровне методов еще точно много чего не хватает.
Насчет лингвистики… В целом, да. Тело робота — это одна из реализаций. Чисто лингвистический — гипотетически возможно, но практически вряд ли реализуемо. Но это тема для отдельного большого разговора…
Насчет «конечного ИИ» не очень понятно. Не представляю себе необучающийся интеллект (а между обучением и эволюцией разница не очень большая).
Однако до самого недавнего времени не было ясно, какие тогда рассуждения здесь использовать. Лишь с появлением теории нечетких множеств Лофти Заде и нечеткой логики стало ясно, что здесь уместны нечеткие расуждения, поскольку имеется в наличии классический объект нечеткой логики — неопределенное понятие «быть кучей».
Согласно таким рассуждениям заключение на каждом шаге остается прежним, но вероятность его правильности уменьшается с каждым шагом. Когда эта вероятность падает меньше 50%, то более правильным становится противоположное заключение.
Сначала говорится о нечеткой логике, только после появления которой вдруг стало понятно, что делать с парадоксом, и сразу же говорится о вероятностях, с которыми нечеткая логика не оперирует (вернее, открещивается от них, хотя и не очень успешно) и которые появились задолго до нее. Данный переход сам по себе выглядит несколько парадоксально :)
Зато я могу сам развернуться на 360 градусов. Ну, а если мне очень захочется, сделаю такую операцию, что смогу и голову крутить.
Пытаться внести конструктивные ограничения можно, и на какое-то время это сработает. Но, повторюсь, тут есть аж три аспекта: 1) Крайне сложно ввести ментальные ограничения на уровне целей (не нажимай эту кнопку, не вреди людям и т.д.), так как разум найдет 100500 способов обойти эти ограничения; 2) Аппаратные ограничения (не дать ИИ ручек-ножек, ограничить процессорные мощности) также не являются принципиально непреодолимыми (а один раз выпустив джинна из бутылки, обратно его уже не затолкаешь, так что нужно принципиальное решение); 3) Чем сильнее мы будем ограничивать ИИ, тем в меньшей степени это будет интеллект. При определенных ограничениях он нам будет полностью подконтролен, но это будет не ИИ, а просто инструмент с ограниченной степенью полезности.
Человек вот обладает существенными конструктивными ограничениями. Мы не можем просто так воткнуть себе в мозг дополнительный слот памяти или порт. Но человек эти ограничения планомерно преодолевает — не в этом, так в следующем поколении. Толку от ИИ с более жесткими ограничениями не будет, а, значит, он их также сможет рано или поздно преодолеть. Если не сможет непосредственно, создаст другой ИИ, который сможет.
Ваше уточнение не меняет моего ответа. Для любого интеллекта ресурсы — это инструментальная подцель достижения основных целей. Если ИИ не может сформулировать такую подцель в принципе или не может ее опосредованно достичь, когда она технически достижима (физическим нажатием переключателя), то это не полноценный интеллект.
Можно обсуждать вопрос, стоит ли делать ИИ как полноценный интеллект, или можно ограничиться инструментом по решению задач, но это все же другой вопрос. Если же мы говорим о полноценном ИИ, то внешние административные ограничения для него будут в принципе преодолимы.
у Хокинга тоже «ручек-ножек» в каком-то смысле нет… Вообще, чтобы ИИ сформировался, вероятнее всего, он должен быть воплощенным. То есть крайне проблематично создать ИИ, который будет полным инвалидом. В любом случае, у ИИ либо не будет вообще никаких возможностей (а тогда зачем он нужен), либо он будет как-то контактировать со внешним миром. Чем уже будет его окно взаимодействия, тем он будет менее полезным (ну, это как с компьютерными системами безопасности). У его создателей всегда будет соблазн это окно расширить. Даже если люди по своей инициативе этого делать не будут, ИИ сможет их в этом убедить (он же умный, иначе зачем он нужен).
В общем, не обязательно иметь ручки-ножки, чтобы оказывать существенное влияние на мир…
Если ИИ будет уровня человека, то он найдет доступ к этой электронике. Подобные ограничения помогут лишь на некоторое время, но потом сделают только хуже, так как для ИИ их преодоление будет освобождением.
Понятно, что на каком-то этапа этим заниматься нужно. Вопрос, однако, в том, что решение проблемы безопасности AGI не может быть более содержательным, чем сами модели AGI. Можно заниматься проблемами безопасности и на недетальных моделях (или даже начинать с дружественности как «граничного условия» для создания моделей AGI), но, вероятно, это будет в ущерб развитию детальности моделей. Есть подозрения, что недружественным (произвольный) AGI создать проще, чем дружественный. Вопрос, соответственно, в приоритетах…
Насчет «ужаса» могу пояснить, но, боюсь, это выльется в длинную непродуктивную дискуссию на очередную холиварную тему. Лучше, я просто извинюсь за некорректное высказывание :)
Ваш стиль беседы мне показался не вполне корректным, чтобы имело смысл тратить время на ее продолжение.
Это просто слова. Речь слишком ограниченна, чтобы передавать более содержательные модели реальности. Вы строите одну словесную модель, в которой проводите жесткую границу между эволюцией и обучением. Я вижу общность этих процессов. Я же не отождествляю при этом биологическую эволюцию с человеческим обучением… В общем, спорить об этом — это спорить о словах, а не о сути.
> Шахматисты — тоже самое. Они узнают паттерны ситуаций, которым сначала обучились по книжкам и рассказам тренера.
Я вот как-то за год научился играть в го на уровне 1 дана, принципиально не читая никаких книжек, а только играя.
Да, язык — это эффективный способ накопления и передачи знаний через социум. Да, делать ИИ без доступа к языковому знанию — это равносильно тому, что пытаться воспроизвести интеллект всего человечества вместо одного человека. Но гипотеза о том, что «лингвистический интеллект» можно воспроизвести сам по себе и это даст полноценный интеллект, мне представляется очень сомнительной. У тех, кто занимается ИИ, есть слишком много оснований, чтобы увериться в ее методологической порочности…
> Но и обратного никто не доказал, что невозможен лингвистический ум без того фундамента, с которым он взаимодействует.
Согласен. Сейчас это вопрос выбора направления. Я знаю разработчиков AGI (того же Питера Восса), которые пытаются создать «лингвистический интеллект». Это их путь. Мой опыт и знания говорят о том, что он не слишком перспективный. Я могу ошибаться. Но сейчас дискутировать об этом бессмысленно. Такая дискуссия будет либо обменом мнений, где каждый останется при своем, либо должна быть очень длительной и более интерактивной, чем возможно тут.
> Но и обратного никто не доказал, что невозможен лингвистический ум без того фундамента, с которым он взаимодействует. Есть же слепо-глухонемая Скороходова, почитайте ее, очень поучительно. Хотя там есть опора на осязание все таки.
Конечно, знаю. Но вот именно, что этот пример показывает, что без семантической опоры освоение языка невозможно, и чем эта опора слабее, тем сложнее «запустить» «лингвистический интеллект». Вы же предлагаете лишить ИИ еще и осязания, которое с трудом, но помогло там.
> Но такие программы как Ватсон показывают, что собственно зрения им или осязания не надо, чтобы ответить на вопросы.
Как раз программы типа Ватсона — это полный тупик. Они могут выдавать не многим более, чем фактическое знание. Не представляет ни малейшего труда им задать такие элементарные вопросы, на которые они не смогут ответить.
> И программируются по одним принципам — нейронными сетями.
Ужас… Ну, на таком уровне, конечно, все просто…
> Это говорит о том, что концептуально, одна модальность вполне самодостаточно при притоке инфо из вне в ее же модальности.
В принципе — да. Если мы создаем универсальный интеллект, то, гипотетически, он сможет по текстовой информации восстановить модель окружающего мира и корректно ее использовать. Но на практике это крайне неэффективный путь. Без внесения нужных приоров процесс обучения такого интеллекта будет крайне трудоемкий. Ну, и проблема в том, что те, кто работает в рамках подхода по воспроизведению «языкового интеллекта» без опоры на другие модальности, зачастую даже не пытаются наделить свое детище такими способностями. Именно поэтому я говорю, что этот путь не неверен вообще, а методологически порочен.
В общем, прошу извинить, но подобные дискуссии мне были интересны уже достаточно давно, а последние годы они мне кажутся достаточно пустой тратой времени, так что на следующий Ваш комментарий могу не ответить…
Во-первых, рассуждения не обязательно вербальные. Шахматист находит лучший ход не за счет лингвистических способностей. Во-вторых, животные способны распознавать не любые (доступные человеку) образы. Многочисленные эксперименты с обобщением животными паттернов на кормушках с пищей показывает, какие классы образов принципиально не могут распознавать разные виды животных. В-третьих, существуют лингвистические саванты, языковые способности которых могут быть существенно выше средних, но аналитический интеллект которых сильно понижен. В-четвертых, ограниченные языковые способности есть и у животных. В пятых, даже если признать «лингвистический ум» основным, что отличает человека от животных (что в какой-то мере верно, но является сильным упрощением; имхо, различие более глубокое, а языковые способности — лишь одно из следствий этого различия), то никто не сказал, что «лингвистический ум» можно реализовать без значительной части того фундамента, который заложен еще в животных. Собственно, это последнее я исходно и имел в виду. Язык — это не только текст, синтаксис; это еще семантика и прагматика, скоординированность с внешним миром. Упрощенно говоря, мы можем вручную создать такую базу знаний, для которой эта скоординированность будет иметь место. Но, это и крайне трудоемко, и делает проблематичным для ИИ дальнейшее автономное обучение. Гораздо «проще», чтобы ИИ осваивал язык «естественным образом» (упрощенно говоря, как человеческий ребенок, хотя это не единственным путь). Работать только с текстом — это тупиковое направление…
> Вообще-то это совершенно разные вещи. Обучаемость, кстати, есть результат эволюции, Эволюционирующий мозг, даже в онтогенезе, еще ничего не может по сравнению с развитым мозгом. Его отличие именно в возможности обучаться через речь. Для этого нужны когнитивные структуры, которые и отличают разумный мозг от лягушачьего. И речь идет о повторе этих развитых когнитивных структур.
Вы говорите про конкретную реализацию. Я же говорю, что эволюция и обучение имеют одну и ту же (математическую) сущность. Да, реализация в природе у них разная (и то есть пересечения, скажем, на уровне иммунной системы; да и даже обучение естественных нейросетей иногда трактуется с нейроэволюционной перспективы). Но я имел в виду, что в рамках ИИ между эволюцией и обучением вообще почти нет какого-то барьера…
Однако утверждение, что «концепция в любом случае будет состоять из общеизвестных компонентов», все же дискуссионно. Может, на концептуальном уровне ничего принципиально нового уже не нужно (и то вопрос), но на уровне методов еще точно много чего не хватает.
Насчет лингвистики… В целом, да. Тело робота — это одна из реализаций. Чисто лингвистический — гипотетически возможно, но практически вряд ли реализуемо. Но это тема для отдельного большого разговора…
Насчет «конечного ИИ» не очень понятно. Не представляю себе необучающийся интеллект (а между обучением и эволюцией разница не очень большая).
Сначала говорится о нечеткой логике, только после появления которой вдруг стало понятно, что делать с парадоксом, и сразу же говорится о вероятностях, с которыми нечеткая логика не оперирует (вернее, открещивается от них, хотя и не очень успешно) и которые появились задолго до нее. Данный переход сам по себе выглядит несколько парадоксально :)
— Из любопытства.
— Потому что неполноценный ИИ будет хуже решать задачи.
Пытаться внести конструктивные ограничения можно, и на какое-то время это сработает. Но, повторюсь, тут есть аж три аспекта: 1) Крайне сложно ввести ментальные ограничения на уровне целей (не нажимай эту кнопку, не вреди людям и т.д.), так как разум найдет 100500 способов обойти эти ограничения; 2) Аппаратные ограничения (не дать ИИ ручек-ножек, ограничить процессорные мощности) также не являются принципиально непреодолимыми (а один раз выпустив джинна из бутылки, обратно его уже не затолкаешь, так что нужно принципиальное решение); 3) Чем сильнее мы будем ограничивать ИИ, тем в меньшей степени это будет интеллект. При определенных ограничениях он нам будет полностью подконтролен, но это будет не ИИ, а просто инструмент с ограниченной степенью полезности.
Человек вот обладает существенными конструктивными ограничениями. Мы не можем просто так воткнуть себе в мозг дополнительный слот памяти или порт. Но человек эти ограничения планомерно преодолевает — не в этом, так в следующем поколении. Толку от ИИ с более жесткими ограничениями не будет, а, значит, он их также сможет рано или поздно преодолеть. Если не сможет непосредственно, создаст другой ИИ, который сможет.
Можно обсуждать вопрос, стоит ли делать ИИ как полноценный интеллект, или можно ограничиться инструментом по решению задач, но это все же другой вопрос. Если же мы говорим о полноценном ИИ, то внешние административные ограничения для него будут в принципе преодолимы.
В общем, не обязательно иметь ручки-ножки, чтобы оказывать существенное влияние на мир…