Нет, начальный алгоритмы вычисления целевой функции и механизмы его развития должны быть полностью отделены от интерполирующей и оптимизирующей части ИИ и в какой-то мере захардкожены. Видимо это справедливо и для мозга человека. Человек не может изменить свои желания по своей воле, если они заложены генетически и в процессе воспитания. Мотивации находятся как бы вне выбора стратегии поведения. Наоборот, они определяют какая стратегия хороша, а какая плоха. Алгоритмы мотивации могут пластично изменяться, но механизм их изменения не связан с основной мыслящей частью мозга и он не направлен на выполнение самих же мотиваций. Это должен быть как бы еще один отдельный мозг внутри мозга.
Правильно, задача на самом деле сложнее. В начале ИИ может ориентироваться на внешнюю реакцию. Потом, он построит модель психики и определит какие состояния психики порождают эту реакцию и какие общие ситуации порождают эти состояния психики другого человека. Далее, алгоритм целевой функции должен быть изменен: целью должны стать сами благоприятные состояния чужой психики а не их внешние проявления. Таким образом можно запрограммировать эмпатию.
Это сложно, даже очень. Но это не выглядит невозможным при условии, что базовая часть задачи (интерполяция мира и выбор оптимальной стратегии) была бы решена. Т.е. нельзя сказать, что мы понятия не имеем что такое «осознание», «сочувствие». Составить подобное понятие не сложно. Сложно получить работающую систему.
Представьте, что ученым удалось создать программу, представляющую собой очень мощный интерполятор, способный очень эффективно строить модель окружающего мира, наблюдая этот мир. Его работа должна быть похожа на интерполяцию разложением в ряд Фурье: есть низкие гармоники, описывающие модель грубо, есть высокие, описывающие точнее. Дальше программа должна в каждый момент «вести» мир, синхронизируя свою модель с наблюдениями. Дальше, в каждый момент должно происходить постоянное моделирование будущего, с поиском наилучших вариантов его развития (с точки зрения изначально заданного алгоритма вычисления целевой функции). Моделирование идет от низких гармоник и потом выборочно наиболее выгодные варианты детально с высокими гармониками.
Дальше, на выход в мышцы подаются «предсказанные» интерполятором сигналы из наилучшей найденной стратегии.
Такой мозг-интерполятор будет подобием простого эгоистичного разума, решающего задачи, запрограммированные в мотивационной части алгоритма.
Дальше, имеем две проблемы: как добавить высокоуровневое абстрактное мышление и как добавить социальное поведение. Вторая задача сводится к особому программированию мотивационного алгоритма: нужно как-то запрограммировать, что одобрение других особей — это хорошо. Например, начиная с выражения одобрения на лицах, а дальше интерполятор сам найдет оптимальную стратегию для решения задачи.
Задача абстрактного мышления — сложнее. Как к ней подступиться непонятно…
… но все это не важно. Пока никто не знает даже как сделать подобный интерполятор, так, чтобы он строил модель любого внешнего мира и чтобы эта модель позволяла находить оптимальные по заданной ц.ф. стратегии.
Идеи не мои. В основном из книги Джеффа Хокинса. Идеи вполне ясные. Проблема в том, что не получается их реализовать.
Отличный способ для DeepMind убедить всех, что решение задачи сильного ИИ им по зубам.
Предлагаю Маску срочно создать в SpaceX отдел по борьбе с марсианскими бактериями, которыми колонисты могут заразиться на Марсе.
Сейчас ситуация в науке совсем другая. Во время когда изобретали лампочку накаливания достаточно было просто посмотреть по сторонам чтобы увидеть неимоверное количество явлений, о природе которых у ученых не было никаких идей.
Сегодняшняя наука построила модели совершенно для всего что только можно наблюдать. Для того чтобы наблюдать нечто не совсем изученное, приходится строить ускорители стоимостью по 3 млд. евро. И тут появляется кто-то, кто говорит ученым, что построенная модель мира объясняющая даже то что происходит БАК не объясняет то что происходит в домашней микроволновке. Как так? Ученые ставят тысячи точнейших экспериментов. Как получается, что этот эффект ни разу не проявился за 100 лет и все вплоть до совершенно экстремальных состояний материи всегда удавалось объяснить существующей моделью?
«1,2 миллиньютона на киловатт — это очень малый показатель. Даже солнечный парус развивает тягу в 3,6 миллиньютона на киловатт, не говоря уже о двигателях на ракетном топливе. Тем не менее, энтузиасты EmDrive считают, что если двигатель оснастить еще и ячейками с топливом, то есть с водородом и кислородом, то его вполне можно использовать в космическом деле. Например, установить на МКС, что позволит работать с минимальным количеством топлива, а также снизить количество маневров для разгона станции.»
Судя по написанному в публикации Journal of Propulsion and Power расклад другой. Обычный ионный двигатель дает на два порядка большую тягу, выбрасывая незначительное количество газа. Это значит, что для МКС ионный двигатель был бы почти на два порядка эффективнее.
Преимущество EmDrive в том, что он работает пока не закончится энергия, в то время как ионный двигатель работает пока не закончится выбрасываемый газ и энергия.
Если сравнить с солнечным парусом, то тягу 1 кВт-ного EmDrive дает парус размером 10x10 метров, не потребляя энергии вообще. Не очень впечатляет.
Гораздо интереснее другое. Если двигатель действительно не выбрасывает ничего кроме э.м. волн, то импульс, который эти волны уносят должен быть на те же два порядка меньше. Это нарушает закон сохранения импульса. Если бы это оказалось правдой, это был бы неслыханный подарок для физиков: физику можно было бы переписывать с чистого листа. Однако, это настолько невероятно, что гораздо более вероятна ошибка или фальсификация.
В связи с такой практикой, было бы очень удобно, если бы появились «магазины-выставки» в которых ничего нельзя купить, но можно все посмотреть и обо всем проконсультироваться. Такие выставки должны жить за счет платы за вход. Т.е. услугу продажи нужно попросту отделить от услуги посмотреть-узнать.
Представьте, вы приходите в такой салон мобильных телефонов, там представлены абсолютно все имеющиеся на рынке модели. У магазина нет ни склада ни логистики — только то что выставляется.
Платите за вход, щупаете все модели, разговариваете с консультантом и заказываете эту модель в интернете где дешевле.
Преимуществ много: есть все модели, а не только ходовые и консультанту выгодно быть объективным, так как ему все равно купите ли вы что-нибудь. Если его советы себя оправдали, вы придете в следующий раз к нему снова.
Минусы:
— доходы таких заведений будут скромными по сравнению с традиционной схемой перепродажи;
— никакого удовольствия от шопинга из за платного входа и рациональной модели предоставления услуги;
— пока существуют обычные магазины и интернет-магазины — человеку проще получить ту же услугу посмотреть-узнать на халяву. Чтобы сломать это порочную схему, нужны ресурсы и мощная рекламная компания, способная изменить мышление потребителей.
> При этом, никто толком не рассказывает, зачем все же человечеству Сильный ИИ. Какие задачи будут перед ним стоять. в чем будет цель его существования. Все обычно какие то общие фразы" НУ ТИПА БУДЕТ КРУТА ЖЕ".
Может статься, что создание сильного ИИ позволит нам понять что мы такое есть. Тогда, само по себе это знание может оказаться важнее или опаснее всего, что может делать ИИ. Представьте себе, что у нас есть полное математическое понимание как работает эмпатия, любознательность, мотивации, ЧСВ, депрессия, страх смерти и так далее. Что бы вы не переживали, вы можете разобраться в этом так же как можно разобраться в работе программ и фреймворков. Человек превратится в алгоритм, который знает самого себя и пытается фиксить самого себя. Не зависнем ли мы вообще после этого? Пока не попробуем не узнаем же.
Сейчас позанудствую на geektimes.
Очень увлекательно игнорировать реальное положение вещей и фантазировать по галактические содружества.
Реальное и давно замеченное положение вещей состоит в том, что во вселенной счет идет на сотни миллионов лет, а материя на земле в целом и цивилизация в частности развивается с экспоненциальным ускорением (ну вы знаете, сингулярность). Согласно этой тенденции мы превратим в квантовый суперкомпьютер каждый объект в солнечной системе в ближайшие тысячелетия, или даже столетия. Чем мы будет заниматься наша или другая цивилизация в оставшиеся миллиарды лет? Либо превратит в такой же суперкомпьютер всю доступную вселенную, либо впадет в нирвану и перестанет делать что-то, либо вообще погибнет со скуки. И в любом случае ей на это потребуется мгновение по масштабам вселенной.
Теперь обратим внимание: все три варианта вполне согласуются с наблюдаемым фактом молчания вселенной.
Например, в случае вселенной-суперкомпьютера всю вселенную занимает первая же способная на это цивилизация, прокатываясь по космосу как волна со скоростью близкой к световой (или быстрее если это возможно).
И того, подводим итоги: что означает молчание вселенной? Молчание означает, что цивилизации переходят в стабильное состояние (любое — смерть, «нирвана») либо слишком рано и локально чтобы оставить заметные для нас следы своего существования, либо только после захвата всей вселенной. Не существует цивилизаций, которые наследили бы существенно до стабилизации или гибели.
Что это означает для нашего будущего? Это означает, что мы можем скоро погибнуть, можем замкнуться в себе навечно как океан Соляриса или можем оказаться той самой первой цивилизацией, занявшей всю вселенную. Исключается только вариант, при котором мы будем летать к звездам, оставим много следов своего существования и затем погибнем или перейдем к стабильному и локальному космическому существованию.
Это сложно, даже очень. Но это не выглядит невозможным при условии, что базовая часть задачи (интерполяция мира и выбор оптимальной стратегии) была бы решена. Т.е. нельзя сказать, что мы понятия не имеем что такое «осознание», «сочувствие». Составить подобное понятие не сложно. Сложно получить работающую систему.
Дальше, на выход в мышцы подаются «предсказанные» интерполятором сигналы из наилучшей найденной стратегии.
Такой мозг-интерполятор будет подобием простого эгоистичного разума, решающего задачи, запрограммированные в мотивационной части алгоритма.
Дальше, имеем две проблемы: как добавить высокоуровневое абстрактное мышление и как добавить социальное поведение. Вторая задача сводится к особому программированию мотивационного алгоритма: нужно как-то запрограммировать, что одобрение других особей — это хорошо. Например, начиная с выражения одобрения на лицах, а дальше интерполятор сам найдет оптимальную стратегию для решения задачи.
Задача абстрактного мышления — сложнее. Как к ней подступиться непонятно…
… но все это не важно. Пока никто не знает даже как сделать подобный интерполятор, так, чтобы он строил модель любого внешнего мира и чтобы эта модель позволяла находить оптимальные по заданной ц.ф. стратегии.
Идеи не мои. В основном из книги Джеффа Хокинса. Идеи вполне ясные. Проблема в том, что не получается их реализовать.
Предлагаю Маску срочно создать в SpaceX отдел по борьбе с марсианскими бактериями, которыми колонисты могут заразиться на Марсе.
Сегодняшняя наука построила модели совершенно для всего что только можно наблюдать. Для того чтобы наблюдать нечто не совсем изученное, приходится строить ускорители стоимостью по 3 млд. евро. И тут появляется кто-то, кто говорит ученым, что построенная модель мира объясняющая даже то что происходит БАК не объясняет то что происходит в домашней микроволновке. Как так? Ученые ставят тысячи точнейших экспериментов. Как получается, что этот эффект ни разу не проявился за 100 лет и все вплоть до совершенно экстремальных состояний материи всегда удавалось объяснить существующей моделью?
Судя по написанному в публикации Journal of Propulsion and Power расклад другой. Обычный ионный двигатель дает на два порядка большую тягу, выбрасывая незначительное количество газа. Это значит, что для МКС ионный двигатель был бы почти на два порядка эффективнее.
Преимущество EmDrive в том, что он работает пока не закончится энергия, в то время как ионный двигатель работает пока не закончится выбрасываемый газ и энергия.
Если сравнить с солнечным парусом, то тягу 1 кВт-ного EmDrive дает парус размером 10x10 метров, не потребляя энергии вообще. Не очень впечатляет.
Гораздо интереснее другое. Если двигатель действительно не выбрасывает ничего кроме э.м. волн, то импульс, который эти волны уносят должен быть на те же два порядка меньше. Это нарушает закон сохранения импульса. Если бы это оказалось правдой, это был бы неслыханный подарок для физиков: физику можно было бы переписывать с чистого листа. Однако, это настолько невероятно, что гораздо более вероятна ошибка или фальсификация.
Представьте, вы приходите в такой салон мобильных телефонов, там представлены абсолютно все имеющиеся на рынке модели. У магазина нет ни склада ни логистики — только то что выставляется.
Платите за вход, щупаете все модели, разговариваете с консультантом и заказываете эту модель в интернете где дешевле.
Преимуществ много: есть все модели, а не только ходовые и консультанту выгодно быть объективным, так как ему все равно купите ли вы что-нибудь. Если его советы себя оправдали, вы придете в следующий раз к нему снова.
Минусы:
— доходы таких заведений будут скромными по сравнению с традиционной схемой перепродажи;
— никакого удовольствия от шопинга из за платного входа и рациональной модели предоставления услуги;
— пока существуют обычные магазины и интернет-магазины — человеку проще получить ту же услугу посмотреть-узнать на халяву. Чтобы сломать это порочную схему, нужны ресурсы и мощная рекламная компания, способная изменить мышление потребителей.
Может статься, что создание сильного ИИ позволит нам понять что мы такое есть. Тогда, само по себе это знание может оказаться важнее или опаснее всего, что может делать ИИ. Представьте себе, что у нас есть полное математическое понимание как работает эмпатия, любознательность, мотивации, ЧСВ, депрессия, страх смерти и так далее. Что бы вы не переживали, вы можете разобраться в этом так же как можно разобраться в работе программ и фреймворков. Человек превратится в алгоритм, который знает самого себя и пытается фиксить самого себя. Не зависнем ли мы вообще после этого? Пока не попробуем не узнаем же.
Очень увлекательно игнорировать реальное положение вещей и фантазировать по галактические содружества.
Реальное и давно замеченное положение вещей состоит в том, что во вселенной счет идет на сотни миллионов лет, а материя на земле в целом и цивилизация в частности развивается с экспоненциальным ускорением (ну вы знаете, сингулярность). Согласно этой тенденции мы превратим в квантовый суперкомпьютер каждый объект в солнечной системе в ближайшие тысячелетия, или даже столетия. Чем мы будет заниматься наша или другая цивилизация в оставшиеся миллиарды лет? Либо превратит в такой же суперкомпьютер всю доступную вселенную, либо впадет в нирвану и перестанет делать что-то, либо вообще погибнет со скуки. И в любом случае ей на это потребуется мгновение по масштабам вселенной.
Теперь обратим внимание: все три варианта вполне согласуются с наблюдаемым фактом молчания вселенной.
Например, в случае вселенной-суперкомпьютера всю вселенную занимает первая же способная на это цивилизация, прокатываясь по космосу как волна со скоростью близкой к световой (или быстрее если это возможно).
И того, подводим итоги: что означает молчание вселенной? Молчание означает, что цивилизации переходят в стабильное состояние (любое — смерть, «нирвана») либо слишком рано и локально чтобы оставить заметные для нас следы своего существования, либо только после захвата всей вселенной. Не существует цивилизаций, которые наследили бы существенно до стабилизации или гибели.
Что это означает для нашего будущего? Это означает, что мы можем скоро погибнуть, можем замкнуться в себе навечно как океан Соляриса или можем оказаться той самой первой цивилизацией, занявшей всю вселенную. Исключается только вариант, при котором мы будем летать к звездам, оставим много следов своего существования и затем погибнем или перейдем к стабильному и локальному космическому существованию.