Я где-то читал некую статью на тему неокортекса. И там высказывалась мысль… Или мне показалось, что она там высказывается… Что неокортекс подобен шлему виртуальной реальности надетому так сказать на древний рептильный мозг в том плане, что он не управляет непосредственно действием, но он как бы это действие представляет, а древний мозг в свою очередь банально выполняет то что ему транслируется… Как-то так. Т.е. фактически множество действия, которые мы бы могли назвать рефлекторными, автоматическими — это просто потому, что они действительно через неокортекс не проходят. Когда вам летит мяч — в своей реальности неокортекса вы его уже поймали, а древний ящер внутри вас делает так, чтоб это стало реальностью.
Этакий вот поток сознания… В порядке мозгового штурма. ;)
Можете немного пояснить, что из этого вы называете моделью?
Важная (как мне кажется) веха моих размышлений на этот счет — понимание того, что модель в обязательном порядке развернута во времени. Она не обязательно развернута в пространстве (звук, текст — одномерные каналы, но услышав первые ноты любимой композиции вы вспоминаете ее практически до конца), но обязательно — во времени. Одно из очевидных следствий — в этой модели есть будущее. Кажется — ничего такого, просто прогноз… Или нет?
В вашем примере «я попал в цель» — некое внешнее по отношению к модели «целевое состояние». а прогнозное (ожидаемое) — «я промажу». Но в моей model based системе целевое состояние — задано в самой модели. необходимость поиска стратегии для его достижения проистекает из единственного стремления системы: привести в соответствие реальность с моделью. Можно даже сказать что это то самое устранение противоречий: т.е. если все идет, как идет, то я промажу, а в моей модели я попал. Значит я что-то такое сделал! Нужно лишь понять что именно и… Сделать!
Таким образом, что именно должен делать ИИ вы определяете корректируя его модель (будущего). И не важно — это задача «попал из пушки», «через час был на работе» или «ни один человек не должен пострадать» — все это зафиксированные в будущем состояния мира и ИИ должен найти такой вариант развития событий, что бы мир к ним пришел. ;)
В данном ключе как раз не вижу особенной проблемы активности одного или неопределенно большого количества других «интеллектуальных агентов». ИИ имеет представление об их возможностях он тоже не знает, что именно будет делать «друг», но если в его модели по каким-то причинам есть вариант что само по себе действие «попросить» приводит к варианту «в аэропорту» — это вполне обоснованный повод попросить! )
Там куча нюансов, я понимаю… Начиная от того, что хоть я и говорю о будущем, как константе, но все-таки есть некая вариативность (не то что бы совсем не попал… Просто не попал в шарик! Т.е. или изначально вариантов больше одного, или есть некая степень приближения к идеалу, т.е. допустимое несоответствие). Так же есть риск начать строить стратегию изменяя неподвластные тебе параметры… Ну так и люди бывает, «теряют связь с реальностью»! ;)
Конечно может, но это будет достаточно очевидная тенденция, которую вероятно можно будет скорректировать. Я же в данном случае пытаюсь показать, что некие ошибочные парадигмы в сознании могут выявиться на поздних стадиях эволюционного процесса и, что немаловажно — внезапно.
Есть же сейчас проблема, что в определенных условиях для сети, обученной распознавать образы, можно подобрать такую искусственно сгенерированную картинку, которую она с вероятностью в 99.9% отнесет к определенному классу, при том, что на картинке может быть фактически «белый шум» с точки зрения человека. Да — это почти реверс инжениринг сети, но это показывает, насколько сеть работает по-другому. и зачастую неожиданно.
И надо нашему ИИ как-то специально сообщать, что людей не стоит ни убивать, ни калечить, ни пытать, ни сажать в тюрьмы, ни на героин подсаживать…
Была где-то мысль, что даже заложив всю, достаточно противоречивую человеческую мораль — все равно крайне сложно избежать вариантов, когда благо людей в понимании ИИ будет весьма специфично… Даже без конкуренции, даже при отношении к людям, как к… Ну как у человека к детям, например. Ну ведь далеко не каждое действие, выполненное родителями «ради блага детей» самими детьми понимается и принимается.
В качестве аналогии: разработка любого проекта. ;) Как часто новая версия — это не старый франкенштейн, которому добавили новых функций, и провели косметические правки, а действительно качественно переработанное решение, пересматривающее проблемные места в архитектуре, оптимизированное и тп? ;)
А в случае с ИИ в моем понимании влезть в него и поправить отдельные места в принципе невозможно! Можно только вырастить новый. И хорошо если проблемы в существующим заметны сразу — а если их проявление возможно только при стечении целого ряда факторов?
И что, если эти факторы сойдутся на этапе, когда самосовершенствование уже вошло в ту самую экспоненциальную фазу? Представляете, какая прелесть: спятивший сверхинтеллект! ;)
В моем понимании, будущий ИИ будет именно обучатся или воспитываться даже, а не программироваться. Будет формироваться его картина мира, модель реальности. И вот что бы избежать одного бага в этой картине на всех — не помешало бы каждый экземпляр (ну или хотя-бы каждую конечную популяцию) обучать отдельно и независимо — возможно по разным методикам даже… Как-то так. И своих более продвинутых «потомков» новоявленные ИИ должны не копированием создавать, а так же обучать. с нуля.
Ну во-первых, вы конечно же правы: вырождение не правильное слово. Оно предполагает некий итерационный процесс. Здесь скорее всего речь может идти о выявлении ошибки, несовместимой с дальнейшим существованием.
Ну и в какой момент функция самосовершенствования должна отключится по-вашему?
как раз против совершенствования я ничего не имею! Я говорю о потенциально проблемном копировании вообще и самокопировании в частности… Т.е. делать более продвинутый варинт ИИ хорошо бы с нуля… Максимально возможного нуля… Что бы избежать возможного накопления ошибок.
НО боюсь, имея такую соблазнительную возможность, как полное копирование, крайне сложно от нее отказаться…
Вот создали вы некую систему, которая начала самосовершенствоваться. Ну и соответственно на старте у нее была только возможность развиваться (концепт SeedAI), но это еще далеко не интеллект. И вот оно развивалось-развивалось, возможно несколькими ветками независимо, и вот наконец пара-тройка самых удачных демонстрируют вполне достойный интеллект. Вы конечно проводите все тесты, которые только можете придумать, и выбираете лучший вариант, который идет в тираж. Т.е. он уже копируется весь целиком, со всеми накопленными «нейронными связями» или чего у него там. И все последующие версии — они это ядро в себе так или иначе содержат.
Что важно: это не программа. Не код, который можно дебажить. Это по сути черный ящик.И если там есть какая-то очень глубокая системная ошибка — баг, который не проявлял себя ровно до тех пор, пока… Пока ему не показали фиолетовую кошку! Ну вот не было их в природе, а тут кто-то пошутил. ;)
И вся ваша индустрия умных машин в один миг рассыпалась, как карточный домик.
Отличная статья! Вот прям то, что мне было нужно — масса практических методик, минимум философских изысканий. Философии мне своей хватает, а живая практика дорогого стоит! Спасибо.
А когда мы заложили «конкурентное выживание» да и просто выживание в приоритеты? ;) Или это как-то само собой подразумевается?
Самокопирование, кстати — потенциальная проблема, могущая перерасти в вырождение. У человека каждая особь по сути формируется с нуля — етим обеспечивается защита от накопленных ошибок и достаточная адаптация к изменчивым условиям среды. Багованный самовоспроизводящийся ИИ лишен этой защиты и при определенных обстоятельствах — никакие бэкапы его уже не спасут: они все так же могут содержать критическую ощибку, которая станет фатальной…
Действует «от цели» — очень коварно само по себе. ;) Есть такая знаменитая концепция "максимизатора скрепок" — умозрительный эксперимент, предложенный Бостромом в 2003 году: есть AGI, цель которого — производство скрепок. Максимально эффективное. Если мы имеем дело с AGI, то в принципе он вполне способен в конце концов выйти на то, что для совершенствования процесса нужно совершенствовать себя. А само-совершенствующийся AGI, как вы и упомянули — это экспонента. В итоге такой автомат может переработать в скрепки всю солнечную систему…
Хотя… Я еще подумал, и понял, что все дело, скорее всего, как обычно в трудностях перевода! ))
Дело в том, что наш, русский ИИ — это не много не мало — искусственный интеллект! Т.е. мы сразу ставим вопрос глобально, философски, почти метафизически… Англоговорящие товарищи в этом плане попроще: их AI, это всего лишь Artificial intelligence, т.е. «искусственная интеллектуальная деятельность». И конечно же любое распознавание паттернов, классификация и прочие прелести нейронных сетей — это уже в полный рост AI, но вот вроде еще не совсем ИИ. Похоже, что с Сильным ИИ и AGI приключилась та же история: англоговорящие товарищи считают, что Сильный — это значит способный решать любую задачу, а значит уже в достаточной степени «как человек», ибо прикладники же — чего с них взять! А у нас полет мысли — шире: будет он там чего решать или нет, это как пойдет, главное что был брат по разуму! )))
Я дико извиняюсь, но можно ссылочку, или какой-нибудь источник, подтверждающий вот это:
Сейчас существуют две широко известные постановки задачи. Первая — Сильный ИИ. Вторая — ИИ общего назначения (он же Artifical General Intelligence, сокращённого AGI).
В русской вики AGI ведет на Статью «Сильный искусственный интеллект». В английской Определение звучит так: Artificial general intelligence (AGI) is the intelligence of a machine that has the capacity to understand or learn any intellectual task that a human being can (интеллект машины, способной понять или освоить любую интеллектуальную задачу, которую может выполнить человек).
Я вполне готов признать за вами право разделять для себя эти понятия на два разных (я бы даже сказал, что естественная функция разума! ;) ), но в моем понимании, это совсем не общепринятая классификация!
Это прям то, что сразу бросилось в глаза… остальное пока читаю! ;)
>>>Задача AGI не упоминает, в какой именно среде находится AGI. Скажем так, AGI, исходя из его определения, должен уметь сам изготовить эту свёрточную сеть. А то вдруг он окажется в 4-мерном пространстве, и там надо делать не 2-мерные фильтры, а 3-мерные?
В своих изысканиях я проходил через несколько… Скажем так «этапов». ;) В статье вскользь упоминается о том, что «разум, это способность существа», т.е. не просто какой-то абстракции, а чего-то такого, что существует в исследуемом мире, как часть этого мира. Следовательно, можно предположить, что этот «мир» уже обладает некой размерностью и в самой нашей системе заложены начальные… механизмы, что-ли, которые и позволяют осуществлять «построение модели». В качестве иллюстрации собственно и написана история гипотетического робота: его мир заранее содержит представление о пространстве, он может строить его карту, локализовать в ней себя и другие объекты… все это является входом для его «решателя-принимателя-решений-разума», чем бы он в итоге не был: AGI/RL-сетью/деревом вариантов или чем-то еще. НЕ вход с сенсоров, а именно модель. Собственно и выходом тоже является модель, только развернутая в будущее и содержащая действия самое себя…
Я к тому, что на определенном этапе я отошел от мысли, что AGI должен быть абсолютно универсальным и будучи помещенным в любую среду уметь полностью самостоятельно постичь правила игры. По крайней мере на начальном этапе это в значительной мере выбивает почву из под ног: я считаю, что сначала было бы неплохо построить AGI, существующий в конкретном мире (вроде робота уборщика ;) ), а потом развивать универсальность. Это позиция на момент написания первой части статьи.
Вторая часть должна быть про процессное восприятие. Я пришел к тому, что в принципе лишь одно измерение есть всегда — это время. И основной квант модели — процесс. Это позволяет в принципе говорить об универсальности подхода, но не отменяет необходимости некоего начального «конфигурирования» системы под конкретные задачи.
>>>Уровень абстрагирования разный. Как это воспроизводить на компе — хороший вопрос.
Мне это видится как… Усовершенствованная теория множеств, или классов, когда нет строгого разделения на класс/экземпляр или множество/элемент, а все это равноправные элементы, имеющие неограниченную вложенность. В таком случае можно описать довольно обобщенные процессы… Нет, если вы захотите от меня больше конкретики — я скорее всего поплыву. ;) У меня есть идеи, но нет стройной завершенной теории. Собственно мое состояние в этом смысле является прекрасной иллюстрацией вопроса: очень размытое общее представление. ;) Собственно именно это свойство психики позволяет нам иметь полную модель реальности!
>>>Ну то есть это чисто вспомогательная штука.
А мне, наоборот, кажется, что существующие технологии без сомнения прекрасны (RL, сверточные сети, дерева решений и тп), но они лишь инструменты. Внутри же системы должна быть определенная архитектура. Нет, система вполне может состоять из множества RL-сетей и даже только из них! Но это не значит, что надо просто взять тысячу RL на все случаи жизни и они вместе дадут AGI — не дадут. Нужна идея! Концепт.
>>>Я честно не очень понимаю, что вы понимаете под моделью, но давайте попробуем найти точку отсчёта.
Последнее из относительно практического, что я давно хочу попробовать: есть движок unity, там есть PhysX. берем шагающего робота — не очень сложного, на серво-машинках, ставим на него гироскоп (или не один). Далее у нас есть информация о положении серв и данные с гироскопа… в юнити создаем максимально «такого же» робота, где оперативно обновляем информацию о положении серв и положении в пространстве. Т.е. в первом приближении у нас модель и реальность синхронизированы. Далее… Большое пространство для экспериментов. ;)
Под моделью я понимаю буквально: модель. ;) Конечно описанное выше — это не финальный вариант. Это точка отсчета. Конечно хотелось бы, что бы система сама пришла к чему-то подобному, но… На самом деле не доказано, что человек не рождается с «предустановками» относительно размерности пространства и «интуитивным» (считай, предустановленным) понятием движения/гравитации. Но в итоге важно, что есть две реальности — внешняя и внутренняя и на их взаимной корреляции можно попробовать что-то делать.
>>>Дальше… Мы говорим следующее. Каждый из этих алгоритмов — это гипотеза о том, как устроен мир.
Тут… Тонко. Я понимаю, что вы хотите сделать: мой, достаточно оторванный от реальность «полет мысли» (в плохом смысле слова) вы хотите вернуть на грешную землю к непосредственной практике. Это правильно — это очень нужно делать. И вы не первый, кто говорит о RL, способной предсказывать следующий кадр, как о модели мира… И я даже понимаю, что где-то это так и есть. Но несколько не в том понимании, о котором говорю я.
Я попробую сформулировать в чем нюанс, но… Не с ходу. Мне нужно подумать.
Ох… Много сразу вопросов/идей… ;) Если что пропущу — соориентируйте! )
>>> Есть концепция Artifical General Intelligence
Если я ничего не путаю, то AGL, это так называемый «Сильный» ИИ, или универсальный ИИ. Понятие введено, что бы не создавать путаницы: множество современных систем решает вполне себе интеллектуальные задачи (да и сам термин у англоговорящих товарищей AI — это Artificial intelligence — интеллектуальная деятельность), но при этом — узко специализированны. СМИ очень любят новости вида «Искусственный интеллект превзошел человека в области...», но не уточняют, что речь идет о хорошо обученной нейронной сети… AGL — это как раз ИИ в общепринятом непрофессиональном понимании — этакий мозг, который как наш, только искусственный. ;)
>>>Тот ИИ, что вы описали — это не RL. Это тот кусок RL
Я убежден, что сверточные, рекурентные и прочая сети — это безусловно нужные и важные вещи, но они не обладают… Не знаю — «архитектурой», или «идеологией» что ли. А «обучение с подкреплением» (reinforcement learning), как и любые другие формы обучения — так же очень нужные концепции, которые безусловно пригодятся, но не являются теорией именно интеллекта в целом. Были попытки доказать, что таки являются, но не увенчались успехом… У меня есть некоторые соображения почему именно и о них должна была быть вторая часть, но пока не созрела.
В ходе моих экспериментов с RL оказалось, что построить хорошую модель реальности — это уже проблема.
Это безусловно проблема. Но это проблема еще и потому, что вы подходите к созданию AGL, как к обычному AI. Т.е. вы начинаете пытаться поставить локальную задачу, понимая, что глобальное описание мира — это слишком сложно.
Но мне кажется, что нужно изменить подход. Что модель мира не обязательно сложна, но всегда всеобъемлюща. Ее сложность нарастает постепенно путем разделения уже известного на более детальное представление того-же самого. Слово «Все», «Сущее», «Мироздание» — является малоприменимой на практике, но тем не менее полной моделью мира (в начале было слово, да? ;) ). Если разделить его на два подмножества, например «я» и «не я» — то она уже будет практичнее и все равно останется полной. В системах типа карт Таро или скандинавских рун — конечное число элементов и их сочетаний описывает все мироздание. Впрочем наш родной алфавит на 33 буквы — тоже. )
>>>Значит, модель должна уметь учитывать историю
Она ее не учитывает — она из нее состоит. Модель имеет протяженность из прошлого в будущее. Она в любом случае развернута во времени — причем практически в бесконечность. В целом это не совокупность объектов, а совокупность процессов. ;) Об этом тоже должна быть вторая часть.
>>>Если же смотреть с точки зрения теории управления, то у человека каждая палочка/колбочка в глазу — это отдельный сенсор. И каждый температурный рецептор — это отдельный сенсор. Частота восприятия — это что-то типа 1/25 секунды.
Я могу ошибаться, но собственно сверточные сети этот вопрос более-менее проясняют. Человек не является системой раздражитель-реакция. Каждые единичные сенсоры ищут очень простые элементы, которые на следующем уровне собираются в контуры, которые… И так до тех пор, пока на выходе не будут абстракции уже довольно высокого уровня (в плоть до «нейронов бабушки», google, если что). В любом случае все эти данные являются лишь обновлением для модели, а не основанием реакции. Действия же обусловлены тем, что стратегия, о которой вы говорили, уже построена и действия в соответствии с ней включены в модель настоящего-будущего, как ее (модели) непосредственная часть.
>>>Горизонт планирования — это «расстояние», на котором человек вообще теряет любое понимание последствий своих решений.
Я бы так не сказал… Все зависит условно «от уровня детализации». В шахматах конечно человек планирует всего на несколько ходов, но это достаточно детально. Но на самом высокм уровне он планирует до конца: он собирается выиграть. ;) Иными словами — в его модели он уже выиграл и сделал все эти 3-7-12 ходов ближайших и более размыто — далее… Вплоть до победы.
>>>Написать такую модель руками можно, но
Не думаю… Но ее не нужно писать… Нужно все-таки придумать какие-то более менее универсальные принципы, по которой она могла бы уточнятся постоянно. В прочем, в чем-то вы правы: если не начать писать, то как она должна выглядеть — не понять. ;) Нужно прорабатывать теорию — пробовать что можно, авось что-то и проклюнется.
>>> Ещё наблюдаю, что люди мыслят в терминах объектов
НЕ совсем… Но это долгая тема. ;) Люди мыслят в терминах процессов.
>>> Для него будет существовать видеоряд с камер, множество кадров, каждый из которых состоит из пикселей.
Опять же — нет. Это УЖЕ не так. в терминах пикселей «мыслит» первый слой сверточной сети. После 4-5 слоя уже абстракции вполне серьезные — можно говорить об образах. Даже сейчас. НА текущем этапе развития.
Где-то попадалась информация, что первые несколько слоев свертки у нас внезапно — В ГЛАЗУ. ;) Т.е. по глазному нерву в зрительную кору идут уже не «пиксели», а возможно целые объекты!
>>>Так что полагаю, главный вопрос в том, как конкретно сделать настолько мощную модель? Какая у неё будет структура, как обучать, как защитить от переобучения?
Ох… Ну если бы я это знал — стал бы я писать на Хабр философские измышления? ;) Я надеюсь изменить своими словами подход. И может быть тогда сформируются какие-то прорывные подходы… Ну хотелось бы верить, что это возможно.
Но я точно знаю, что от переобучения она, например, должна быть защищена именно тем, что чем более детальна и полна модель, тем сложнее непротиворечиво встроить в нее новые элементы, и как следствие — с большой вероятностью новые данные «не зайдут».
Простите, я понимаю, что между обучением нейронной сети и обучением в том контексте, что говорю я — существует семантический разрыв… Что обучение нейронной сети — это практическая задача, а обучение, как это слово использую я — во много философское понятие. Это создает не очень хороший эффект, похожий на подмену понятий.
Да — я действительно пока не могу наверное МАТЕМАТИЧЕСКИ сформулировать то, что подразумеваю под обучением. ( Я пока слабо понимаю, что такое на практике «построение модели», «включение в модель», «поиск противоречия». Ну вот именно в виде конкретной реализации. Собственно именно поэтому и пишу сюда. ;)
Фактически вы привели задачу классификации, и мне кажется, что на текущий момент ее сносно решают нейронные сети. В процессе обучения вы сможете добиться от современной сети точности в 80-90% в задаче классификации мусора(конечно куча нюансов, какими именно сенсорами будет оперировать система для анализа, и как следствие — что за метрики будут у объектов), что вполне приемлемо.
При этом логика поведения все еще может оставаться вполне алгоримизируемой, без «бзиков». ;) Такому уборщику интеллект общего типа не нужен.
В описанной гипотетической ситуации, не интеллект ради уборки мусора, а уборка мусора, как тестовая среда для интеллекта… Как-то так.
общая канва повествования почему-то вышла на идею сходную с максимизатором скрепок, хотя я к этому не стремился…
Я конечно хотел проиллюстрировать идею, что машины с интеллектом общего типа не программируются. Им по сути нужно задавать жизненные установки, критерии счастья… Ну да — в каком-то смысле KPI. И да — в любом случае, они будут пытаться добиться желаемого практически любым способом. НО это не главное.
Что я действительно хотел проиллюстрировать, так это то, что машина, построенная так, что бы добиться максимального соответствия своей модель мироздания с собственно мирозданием уже имеет массу необходимых элементов сознания/разума, как-то:
стремление к познанию;
размышления, которые представляют собой попытки убрать противоречия уже созданной модели;
мотивацию к действию — т.к. не только модель можно уточнять в соответствии с мирозданием, но и мироздания в определенных пределах можно подгонять под моделью;
Конечно все это неизбежно приводит, к некоторым когнитивным искажениям… Такова плата за универсальность и гибкость.
Что немаловажно — все это относится не только к машинам. ;)
Зависит от того, кто именно ставит задачу… ;) Условно пользователь/клиент, или начальник/коллега (в широком смысле).
Если пользователь — то ему нужно не спрашивать, как сделать что-то, а описывать проблему с которой он столкнулся, потому, что весьма вероятно, что его проблема решается проще. А если, допустим, программист на тематическом форуме спросил как «выстрелить себе в ногу», то его цель именно узнать, как выстрелить в ногу и рассказывать ему, что в ногу лучше не стрелять — в принципе означает сомневаться в его компетенции. Другое дело, если человек сам сразу говорит, мол «я в этом деле новичок, разъясните дураку»… ;)
Проблема ХУ говорит о том, что при постановки задачи в большинстве случаев хорошо бы начать собственно с описания проблемы, а не формулировки как именно ее надо решить. Это актуально во всех случаях, когда вы обращаетесь к специалистам в области решения подобных проблем, квалификация которых, как минимум не ниже вашей (вы как пользователь ставите задачу программисту, вы как заказчик ставите задачу строителю и тп...).
Описанная же вами и JustDont проблема относится к вопросам, заданным в профессиональной среде (на тематических ресурсах по обмену опытом), где все «по одну сторону баррикад» (все специалисты, а не заказчики) и собственно вариант решения Y cамоценен сам по себе… Просто некоторые из отвечающих забывают переключиться. ;)
Ну и конечно если задача ставится исполнителям их непосредственным руководителем — в подавляющем большинстве случаев вопросы типа «а почему вот именно так, а не иначе, а зачем… » — лишняя трата времени. Не всегда, но часто. Обычно конкретный программист не очень представляет проект в целом, и обосновать применение того или иного подхода в данном случае чревато долгой и утомительной философской беседой…
Я где-то читал некую статью на тему неокортекса. И там высказывалась мысль… Или мне показалось, что она там высказывается… Что неокортекс подобен шлему виртуальной реальности надетому так сказать на древний рептильный мозг в том плане, что он не управляет непосредственно действием, но он как бы это действие представляет, а древний мозг в свою очередь банально выполняет то что ему транслируется… Как-то так. Т.е. фактически множество действия, которые мы бы могли назвать рефлекторными, автоматическими — это просто потому, что они действительно через неокортекс не проходят. Когда вам летит мяч — в своей реальности неокортекса вы его уже поймали, а древний ящер внутри вас делает так, чтоб это стало реальностью.
Этакий вот поток сознания… В порядке мозгового штурма. ;)
В вашем примере «я попал в цель» — некое внешнее по отношению к модели «целевое состояние». а прогнозное (ожидаемое) — «я промажу». Но в моей model based системе целевое состояние — задано в самой модели. необходимость поиска стратегии для его достижения проистекает из единственного стремления системы: привести в соответствие реальность с моделью. Можно даже сказать что это то самое устранение противоречий: т.е. если все идет, как идет, то я промажу, а в моей модели я попал. Значит я что-то такое сделал! Нужно лишь понять что именно и… Сделать!
Таким образом, что именно должен делать ИИ вы определяете корректируя его модель (будущего). И не важно — это задача «попал из пушки», «через час был на работе» или «ни один человек не должен пострадать» — все это зафиксированные в будущем состояния мира и ИИ должен найти такой вариант развития событий, что бы мир к ним пришел. ;)
В данном ключе как раз не вижу особенной проблемы активности одного или неопределенно большого количества других «интеллектуальных агентов». ИИ имеет представление об их возможностях он тоже не знает, что именно будет делать «друг», но если в его модели по каким-то причинам есть вариант что само по себе действие «попросить» приводит к варианту «в аэропорту» — это вполне обоснованный повод попросить! )
Там куча нюансов, я понимаю… Начиная от того, что хоть я и говорю о будущем, как константе, но все-таки есть некая вариативность (не то что бы совсем не попал… Просто не попал в шарик! Т.е. или изначально вариантов больше одного, или есть некая степень приближения к идеалу, т.е. допустимое несоответствие). Так же есть риск начать строить стратегию изменяя неподвластные тебе параметры… Ну так и люди бывает, «теряют связь с реальностью»! ;)
Есть же сейчас проблема, что в определенных условиях для сети, обученной распознавать образы, можно подобрать такую искусственно сгенерированную картинку, которую она с вероятностью в 99.9% отнесет к определенному классу, при том, что на картинке может быть фактически «белый шум» с точки зрения человека. Да — это почти реверс инжениринг сети, но это показывает, насколько сеть работает по-другому. и зачастую неожиданно.
Была где-то мысль, что даже заложив всю, достаточно противоречивую человеческую мораль — все равно крайне сложно избежать вариантов, когда благо людей в понимании ИИ будет весьма специфично… Даже без конкуренции, даже при отношении к людям, как к… Ну как у человека к детям, например. Ну ведь далеко не каждое действие, выполненное родителями «ради блага детей» самими детьми понимается и принимается.
А в случае с ИИ в моем понимании влезть в него и поправить отдельные места в принципе невозможно! Можно только вырастить новый. И хорошо если проблемы в существующим заметны сразу — а если их проявление возможно только при стечении целого ряда факторов?
И что, если эти факторы сойдутся на этапе, когда самосовершенствование уже вошло в ту самую экспоненциальную фазу? Представляете, какая прелесть: спятивший сверхинтеллект! ;)
В моем понимании, будущий ИИ будет именно обучатся или воспитываться даже, а не программироваться. Будет формироваться его картина мира, модель реальности. И вот что бы избежать одного бага в этой картине на всех — не помешало бы каждый экземпляр (ну или хотя-бы каждую конечную популяцию) обучать отдельно и независимо — возможно по разным методикам даже… Как-то так. И своих более продвинутых «потомков» новоявленные ИИ должны не копированием создавать, а так же обучать. с нуля.
НО боюсь, имея такую соблазнительную возможность, как полное копирование, крайне сложно от нее отказаться…
Вот создали вы некую систему, которая начала самосовершенствоваться. Ну и соответственно на старте у нее была только возможность развиваться (концепт SeedAI), но это еще далеко не интеллект. И вот оно развивалось-развивалось, возможно несколькими ветками независимо, и вот наконец пара-тройка самых удачных демонстрируют вполне достойный интеллект. Вы конечно проводите все тесты, которые только можете придумать, и выбираете лучший вариант, который идет в тираж. Т.е. он уже копируется весь целиком, со всеми накопленными «нейронными связями» или чего у него там. И все последующие версии — они это ядро в себе так или иначе содержат.
Что важно: это не программа. Не код, который можно дебажить. Это по сути черный ящик.И если там есть какая-то очень глубокая системная ошибка — баг, который не проявлял себя ровно до тех пор, пока… Пока ему не показали фиолетовую кошку! Ну вот не было их в природе, а тут кто-то пошутил. ;)
И вся ваша индустрия умных машин в один миг рассыпалась, как карточный домик.
Самокопирование, кстати — потенциальная проблема, могущая перерасти в вырождение. У человека каждая особь по сути формируется с нуля — етим обеспечивается защита от накопленных ошибок и достаточная адаптация к изменчивым условиям среды. Багованный самовоспроизводящийся ИИ лишен этой защиты и при определенных обстоятельствах — никакие бэкапы его уже не спасут: они все так же могут содержать критическую ощибку, которая станет фатальной…
Таких концепций много: серая слизь, например…
Дело в том, что наш, русский ИИ — это не много не мало — искусственный интеллект! Т.е. мы сразу ставим вопрос глобально, философски, почти метафизически… Англоговорящие товарищи в этом плане попроще: их AI, это всего лишь Artificial intelligence, т.е. «искусственная интеллектуальная деятельность». И конечно же любое распознавание паттернов, классификация и прочие прелести нейронных сетей — это уже в полный рост AI, но вот вроде еще не совсем ИИ. Похоже, что с Сильным ИИ и AGI приключилась та же история: англоговорящие товарищи считают, что Сильный — это значит способный решать любую задачу, а значит уже в достаточной степени «как человек», ибо прикладники же — чего с них взять! А у нас полет мысли — шире: будет он там чего решать или нет, это как пойдет, главное что был брат по разуму! )))
В русской вики AGI ведет на Статью «Сильный искусственный интеллект». В английской Определение звучит так: Artificial general intelligence (AGI) is the intelligence of a machine that has the capacity to understand or learn any intellectual task that a human being can (интеллект машины, способной понять или освоить любую интеллектуальную задачу, которую может выполнить человек).
Я вполне готов признать за вами право разделять для себя эти понятия на два разных (я бы даже сказал, что естественная функция разума! ;) ), но в моем понимании, это совсем не общепринятая классификация!
Это прям то, что сразу бросилось в глаза… остальное пока читаю! ;)
В своих изысканиях я проходил через несколько… Скажем так «этапов». ;) В статье вскользь упоминается о том, что «разум, это способность существа», т.е. не просто какой-то абстракции, а чего-то такого, что существует в исследуемом мире, как часть этого мира. Следовательно, можно предположить, что этот «мир» уже обладает некой размерностью и в самой нашей системе заложены начальные… механизмы, что-ли, которые и позволяют осуществлять «построение модели». В качестве иллюстрации собственно и написана история гипотетического робота: его мир заранее содержит представление о пространстве, он может строить его карту, локализовать в ней себя и другие объекты… все это является входом для его «решателя-принимателя-решений-разума», чем бы он в итоге не был: AGI/RL-сетью/деревом вариантов или чем-то еще. НЕ вход с сенсоров, а именно модель. Собственно и выходом тоже является модель, только развернутая в будущее и содержащая действия самое себя…
Я к тому, что на определенном этапе я отошел от мысли, что AGI должен быть абсолютно универсальным и будучи помещенным в любую среду уметь полностью самостоятельно постичь правила игры. По крайней мере на начальном этапе это в значительной мере выбивает почву из под ног: я считаю, что сначала было бы неплохо построить AGI, существующий в конкретном мире (вроде робота уборщика ;) ), а потом развивать универсальность. Это позиция на момент написания первой части статьи.
Вторая часть должна быть про процессное восприятие. Я пришел к тому, что в принципе лишь одно измерение есть всегда — это время. И основной квант модели — процесс. Это позволяет в принципе говорить об универсальности подхода, но не отменяет необходимости некоего начального «конфигурирования» системы под конкретные задачи.
>>>Уровень абстрагирования разный. Как это воспроизводить на компе — хороший вопрос.
Мне это видится как… Усовершенствованная теория множеств, или классов, когда нет строгого разделения на класс/экземпляр или множество/элемент, а все это равноправные элементы, имеющие неограниченную вложенность. В таком случае можно описать довольно обобщенные процессы… Нет, если вы захотите от меня больше конкретики — я скорее всего поплыву. ;) У меня есть идеи, но нет стройной завершенной теории. Собственно мое состояние в этом смысле является прекрасной иллюстрацией вопроса: очень размытое общее представление. ;) Собственно именно это свойство психики позволяет нам иметь полную модель реальности!
>>>Ну то есть это чисто вспомогательная штука.
А мне, наоборот, кажется, что существующие технологии без сомнения прекрасны (RL, сверточные сети, дерева решений и тп), но они лишь инструменты. Внутри же системы должна быть определенная архитектура. Нет, система вполне может состоять из множества RL-сетей и даже только из них! Но это не значит, что надо просто взять тысячу RL на все случаи жизни и они вместе дадут AGI — не дадут. Нужна идея! Концепт.
>>>Я честно не очень понимаю, что вы понимаете под моделью, но давайте попробуем найти точку отсчёта.
Последнее из относительно практического, что я давно хочу попробовать: есть движок unity, там есть PhysX. берем шагающего робота — не очень сложного, на серво-машинках, ставим на него гироскоп (или не один). Далее у нас есть информация о положении серв и данные с гироскопа… в юнити создаем максимально «такого же» робота, где оперативно обновляем информацию о положении серв и положении в пространстве. Т.е. в первом приближении у нас модель и реальность синхронизированы. Далее… Большое пространство для экспериментов. ;)
Под моделью я понимаю буквально: модель. ;) Конечно описанное выше — это не финальный вариант. Это точка отсчета. Конечно хотелось бы, что бы система сама пришла к чему-то подобному, но… На самом деле не доказано, что человек не рождается с «предустановками» относительно размерности пространства и «интуитивным» (считай, предустановленным) понятием движения/гравитации. Но в итоге важно, что есть две реальности — внешняя и внутренняя и на их взаимной корреляции можно попробовать что-то делать.
>>>Дальше… Мы говорим следующее. Каждый из этих алгоритмов — это гипотеза о том, как устроен мир.
Тут… Тонко. Я понимаю, что вы хотите сделать: мой, достаточно оторванный от реальность «полет мысли» (в плохом смысле слова) вы хотите вернуть на грешную землю к непосредственной практике. Это правильно — это очень нужно делать. И вы не первый, кто говорит о RL, способной предсказывать следующий кадр, как о модели мира… И я даже понимаю, что где-то это так и есть. Но несколько не в том понимании, о котором говорю я.
Я попробую сформулировать в чем нюанс, но… Не с ходу. Мне нужно подумать.
комментарий удален>>> Есть концепция Artifical General Intelligence
Если я ничего не путаю, то AGL, это так называемый «Сильный» ИИ, или универсальный ИИ. Понятие введено, что бы не создавать путаницы: множество современных систем решает вполне себе интеллектуальные задачи (да и сам термин у англоговорящих товарищей AI — это Artificial intelligence — интеллектуальная деятельность), но при этом — узко специализированны. СМИ очень любят новости вида «Искусственный интеллект превзошел человека в области...», но не уточняют, что речь идет о хорошо обученной нейронной сети… AGL — это как раз ИИ в общепринятом непрофессиональном понимании — этакий мозг, который как наш, только искусственный. ;)
>>>Тот ИИ, что вы описали — это не RL. Это тот кусок RL
Я убежден, что сверточные, рекурентные и прочая сети — это безусловно нужные и важные вещи, но они не обладают… Не знаю — «архитектурой», или «идеологией» что ли. А «обучение с подкреплением» (reinforcement learning), как и любые другие формы обучения — так же очень нужные концепции, которые безусловно пригодятся, но не являются теорией именно интеллекта в целом. Были попытки доказать, что таки являются, но не увенчались успехом… У меня есть некоторые соображения почему именно и о них должна была быть вторая часть, но пока не созрела.
В ходе моих экспериментов с RL оказалось, что построить хорошую модель реальности — это уже проблема.
Это безусловно проблема. Но это проблема еще и потому, что вы подходите к созданию AGL, как к обычному AI. Т.е. вы начинаете пытаться поставить локальную задачу, понимая, что глобальное описание мира — это слишком сложно.
Но мне кажется, что нужно изменить подход. Что модель мира не обязательно сложна, но всегда всеобъемлюща. Ее сложность нарастает постепенно путем разделения уже известного на более детальное представление того-же самого. Слово «Все», «Сущее», «Мироздание» — является малоприменимой на практике, но тем не менее полной моделью мира (в начале было слово, да? ;) ). Если разделить его на два подмножества, например «я» и «не я» — то она уже будет практичнее и все равно останется полной. В системах типа карт Таро или скандинавских рун — конечное число элементов и их сочетаний описывает все мироздание. Впрочем наш родной алфавит на 33 буквы — тоже. )
>>>Значит, модель должна уметь учитывать историю
Она ее не учитывает — она из нее состоит. Модель имеет протяженность из прошлого в будущее. Она в любом случае развернута во времени — причем практически в бесконечность. В целом это не совокупность объектов, а совокупность процессов. ;) Об этом тоже должна быть вторая часть.
>>>Если же смотреть с точки зрения теории управления, то у человека каждая палочка/колбочка в глазу — это отдельный сенсор. И каждый температурный рецептор — это отдельный сенсор. Частота восприятия — это что-то типа 1/25 секунды.
Я могу ошибаться, но собственно сверточные сети этот вопрос более-менее проясняют. Человек не является системой раздражитель-реакция. Каждые единичные сенсоры ищут очень простые элементы, которые на следующем уровне собираются в контуры, которые… И так до тех пор, пока на выходе не будут абстракции уже довольно высокого уровня (в плоть до «нейронов бабушки», google, если что). В любом случае все эти данные являются лишь обновлением для модели, а не основанием реакции. Действия же обусловлены тем, что стратегия, о которой вы говорили, уже построена и действия в соответствии с ней включены в модель настоящего-будущего, как ее (модели) непосредственная часть.
>>>Горизонт планирования — это «расстояние», на котором человек вообще теряет любое понимание последствий своих решений.
Я бы так не сказал… Все зависит условно «от уровня детализации». В шахматах конечно человек планирует всего на несколько ходов, но это достаточно детально. Но на самом высокм уровне он планирует до конца: он собирается выиграть. ;) Иными словами — в его модели он уже выиграл и сделал все эти 3-7-12 ходов ближайших и более размыто — далее… Вплоть до победы.
>>>Написать такую модель руками можно, но
Не думаю… Но ее не нужно писать… Нужно все-таки придумать какие-то более менее универсальные принципы, по которой она могла бы уточнятся постоянно. В прочем, в чем-то вы правы: если не начать писать, то как она должна выглядеть — не понять. ;) Нужно прорабатывать теорию — пробовать что можно, авось что-то и проклюнется.
>>> Ещё наблюдаю, что люди мыслят в терминах объектов
НЕ совсем… Но это долгая тема. ;) Люди мыслят в терминах процессов.
>>> Для него будет существовать видеоряд с камер, множество кадров, каждый из которых состоит из пикселей.
Опять же — нет. Это УЖЕ не так. в терминах пикселей «мыслит» первый слой сверточной сети. После 4-5 слоя уже абстракции вполне серьезные — можно говорить об образах. Даже сейчас. НА текущем этапе развития.
Где-то попадалась информация, что первые несколько слоев свертки у нас внезапно — В ГЛАЗУ. ;) Т.е. по глазному нерву в зрительную кору идут уже не «пиксели», а возможно целые объекты!
>>>Так что полагаю, главный вопрос в том, как конкретно сделать настолько мощную модель? Какая у неё будет структура, как обучать, как защитить от переобучения?
Ох… Ну если бы я это знал — стал бы я писать на Хабр философские измышления? ;) Я надеюсь изменить своими словами подход. И может быть тогда сформируются какие-то прорывные подходы… Ну хотелось бы верить, что это возможно.
Но я точно знаю, что от переобучения она, например, должна быть защищена именно тем, что чем более детальна и полна модель, тем сложнее непротиворечиво встроить в нее новые элементы, и как следствие — с большой вероятностью новые данные «не зайдут».
Простите, я понимаю, что между обучением нейронной сети и обучением в том контексте, что говорю я — существует семантический разрыв… Что обучение нейронной сети — это практическая задача, а обучение, как это слово использую я — во много философское понятие. Это создает не очень хороший эффект, похожий на подмену понятий.
Да — я действительно пока не могу наверное МАТЕМАТИЧЕСКИ сформулировать то, что подразумеваю под обучением. ( Я пока слабо понимаю, что такое на практике «построение модели», «включение в модель», «поиск противоречия». Ну вот именно в виде конкретной реализации. Собственно именно поэтому и пишу сюда. ;)
При этом логика поведения все еще может оставаться вполне алгоримизируемой, без «бзиков». ;) Такому уборщику интеллект общего типа не нужен.
В описанной гипотетической ситуации, не интеллект ради уборки мусора, а уборка мусора, как тестовая среда для интеллекта… Как-то так.
Я конечно хотел проиллюстрировать идею, что машины с интеллектом общего типа не программируются. Им по сути нужно задавать жизненные установки, критерии счастья… Ну да — в каком-то смысле KPI. И да — в любом случае, они будут пытаться добиться желаемого практически любым способом. НО это не главное.
Что я действительно хотел проиллюстрировать, так это то, что машина, построенная так, что бы добиться максимального соответствия своей модель мироздания с собственно мирозданием уже имеет массу необходимых элементов сознания/разума, как-то:
Конечно все это неизбежно приводит, к некоторым когнитивным искажениям… Такова плата за универсальность и гибкость.
Что немаловажно — все это относится не только к машинам. ;)
Если пользователь — то ему нужно не спрашивать, как сделать что-то, а описывать проблему с которой он столкнулся, потому, что весьма вероятно, что его проблема решается проще. А если, допустим, программист на тематическом форуме спросил как «выстрелить себе в ногу», то его цель именно узнать, как выстрелить в ногу и рассказывать ему, что в ногу лучше не стрелять — в принципе означает сомневаться в его компетенции. Другое дело, если человек сам сразу говорит, мол «я в этом деле новичок, разъясните дураку»… ;)
Проблема ХУ говорит о том, что при постановки задачи в большинстве случаев хорошо бы начать собственно с описания проблемы, а не формулировки как именно ее надо решить. Это актуально во всех случаях, когда вы обращаетесь к специалистам в области решения подобных проблем, квалификация которых, как минимум не ниже вашей (вы как пользователь ставите задачу программисту, вы как заказчик ставите задачу строителю и тп...).
Описанная же вами и JustDont проблема относится к вопросам, заданным в профессиональной среде (на тематических ресурсах по обмену опытом), где все «по одну сторону баррикад» (все специалисты, а не заказчики) и собственно вариант решения Y cамоценен сам по себе… Просто некоторые из отвечающих забывают переключиться. ;)
Ну и конечно если задача ставится исполнителям их непосредственным руководителем — в подавляющем большинстве случаев вопросы типа «а почему вот именно так, а не иначе, а зачем… » — лишняя трата времени. Не всегда, но часто. Обычно конкретный программист не очень представляет проект в целом, и обосновать применение того или иного подхода в данном случае чревато долгой и утомительной философской беседой…