Какие-то ветки, параллельные миры, самокорректирующиеся вселенные - всё это сложно.
Есть решение проще, если путешественник смог попасть в прошлое, то события, что там произошли, даже с учетом его действий, привели в будущем к тому, чтобы он смог переместиться в прошлое.
Если путешественник попытается изменить ход истории, так как хочется ему, то максимум что он сможет сделать - это только те действия, что внушат ему факт того, что у него получилось. К примеру в случае убийства своего дедушки фактически убитым будет не его дедушка. Путешественник удовлетворился, но на деле произошло не то, что он хотел.
И ещё одна хорошая мысль, путешествия во времени фактически не доступны тем людям, что могут совершить действия, меняющие ход истории: история и будущее уже определены, если человек меняет прошлое и будущее разваливается из-за парадоксов, то в будущем путешественник не может получить доступ к машине времени и соответственно предпринять диверсионные действия. Соответственно так исторически сложилось, что доступ к устройству есть только у тех, кто сделает всё так, чтобы история сложилось как надо (в том числе не воспользуются машиной времени вовсе).
Статья ради статьи, вы быть хоть как-нибудь серьезно отнеслись к подготовке материала. Даже в самых базовых уроках, книгах, статьях используют нормальные токенизаторы, к примеру из библиотек NLTK/Gensim, а не python-овский strip().
Не говоря уже о том, что пропущенные такие базовые этапы как удаление стоп слов (его сам TfIdfVectorizer может провести), лемматизация/стемминг, настройка параметров векторизатора.
Выглядит как какой-та низкокачественная калька с англоязычной статьи по типу этой.
Кроме того, из конструкции строящегося корабля была убрана дублирующая тормозная установка. Последнее решение было обосновано тем, что при запуске корабля на низкую 180-200-километровую орбиту он в любом случае в течение 10 суток сошёл бы с неё вследствие естественного торможения о верхние слои атмосферы и вернулся бы на Землю. На эти же 10 суток рассчитывались и системы жизнеобеспечения[7][8][9]
Соглашусь в автором, что конкретно для этой среды нейронки — жирно.
Поставленная задача является классической для алгоритмов RL, при этом остаётся загадкой почему был выбран генетический алгоритм в качестве оптимизатора…
Вся суть нейронок в универсальности, они могут обучаться на новых данных, если к этой карте добавить пару сократов, разветвлений, тупиков, то со временем нейронки их найдут и начнут действовать более интеллектуально (если размер НС позволит), а вот ваша модель — нет, здесь нужна рука человека, которая добавит новой логики. Более того, задачу можно запросто усложнить до такого, что человек не в силах будет описать модель оптимального взаимодействия с ней, а нейронка — сможет.
Автор видео «Нейросетевые машины и генетические алгоритмы» попросту пока что не усложнил свою среду по той причине, что он только начинает заниматься разработкой системы управления. Кстати, если внезапно заменить авто космическим кораблём, а трассу пространством над луной, то нс вскором времени адаптируется, а человек, возможно даже не узнает об изменениях…
В этом вся прелесть — адаптация без участия человека.
Пройдите курсы по RL (classic + deep), вопросы отпадут сами собой.
Модели мира высокоуровнево описываются диаграммами связей, низкоуровневно — состояниями-векторами (заданными людьми или сгенерированными энкодерами), в некоторых случаях модели мира — это обработанные численными методами данные с различных видов локаторов (видеокамера, сонар, и пр.).
Движения очень хорошо генерируются и изучаются такой областью математики как теория управления: необходимое движение с заданными ограничениями можно получить аналитически (если надо, то и эвристически). Благодаря этому разделу существуют ракеты, перемещающиеся в пространстве сложнейшие роботы, различные многоосевые манипуляторы/станки.
В своей области алгоритмы непоколебимы, и некоторые даже математически доказаны, что работать эффективнее нельзя.
Вы можете сказать, что они неуверсальны, но в этом и суть, универсальные алгоритмы не могут работать везде лучше чем узко специализированные. Вы предложили модель, но уже видно, что она комбинаторно-сложна, т.е. неэффективна на широком спектре задач.
Более того, её можно свести к китайской комнате: если такие-то условия выполняются — то сделай это, и т.д. Но что ваша модель, что китайская комната не дают ответа как её обучать.
Все эти дискуссии, что внутренние механизмы в случае если состояние не встречалось добавляют новое и связывают его с существующим бесмысленны, во первых ровно то же самое делают алгоритмы RL, просто в алгоритмах RL состояния и действия можно задать как угодно, хоть бинарными карточками, хоть векторами любой длины, хоть вершинами графа, любыми отличимыми объектами, а в вашей моделе она задаётся именно этими карточками.
При этом ваша модель не имеет никакой доказаной базы эффективности и сходимости, а алгоритмы RL — имеют. Вы говорите, что связи будут создавать рукописные алгоритмы, которые вы ещё не придумали — ну так скорее всего и не придумаете, в этом и есть загадка интеллекта, непонятно как мозг находит эти связи, есть куча разных приближенных гипотез, но все они не описывают все кейсы.
Я всё это к тому, что если вы запрограммируйте свою модель, то она будет работать менее эффективно и качественно чем существующие алгоритмы по причинам описанным выше.
Вы, конечно можете закодить всякие лайфхаки, но это читинг, и в общем случае при неизвестной задаче всё равно проиграете: некоторые алгоритмы RL гарантированно могут найти решение, если оно существует, да за большое время, но могут.
Ссылки приводить не буду, можете погуглить ключевые слова из моего сообщения, посмотреть видосы на ютубе с последними результами работ в сфере RL, также рекомендую ознакомиться с этой площадкой, там алгоритмы RL решают различные задачи, на гитхабе есть лидерборды.
Если слишком критично написал — извините, то чем вы занимаетесь — полезно для науки, быть может я не прав и вы добьётесь успеха, не хочу вас разочаровать в вашем деле.
Всё исходит из того, что я вижу некоторые проблемы в этой гипотезе, над которыми математики и специалисты в сфере ИИ бьются десятками лет и не могут найти решение, а вы к его поиску ещё не приступали, пока только придумали носитель информации, который ещё пока что непонятно как наполнить.
То как человек описывает себя на естественном языке, изображениями, и пр. — всего лишь жалкое подобие реальных процессов. Большая часть функционирования мозга скрыта от человека, и существующий уровень технологий не позволяет эту тайну раскрыть. Поэтому теории построенные на таких наблюдениях почти всегда являются описанием функционала, поведение которого схоже с наблюдаемым объектом или более коротко — аппроксимацией. В них особо не стоит искать ответы на вопросы, также непонятно где их всё же стоит искать.
Меня устроил ответ, что я — набор генетически записанных алгоритмов, подстроенных под текущий окружающий мир опытом, переданным мне моим окружением. И в действительности, моё сознание ничего не решает, оно просто следует эвристическому алгоритму. Ведь мысли, которые ему предлагаются они возникают с точки зрения сознания из неоткуда, из какого-то другого компонента.
Просто так получилось, что перед человеком лежали такие задачи, которые привели его к сознанию, которое мы сейчас знаем. Животные скорее всего обладают чем-то схожим, но оперируют попросту более простыми состояниями. Отличие человека от них — в наличие социума, который смог поддерживать передачу большего объема (бытового, языкового, образовательного) опыта в течении тысяч лет до наших дней.
Когда люди изучают мозг, они лишь аппроксимируют поведение (нейрона/группы нейронов/структуры/.../человека в целом), а то как это делает мозг это, скорее всего, невероятно сложная, не самая эффективная процедура. При этом сложность быть может такой, что человеку не хватит интеллекта чтобы её познать. Более перспективным считается(кем?) как раз подражание, а не полное копирование мозга и интеллекта в целом.
Какова мотивая вашего желания понять именно механизмы мозга?
Ну вы вправе так считать. В рамках комментариев об этом поговорить не получится.
Так и есть :)
В моей модели большая часть механик идет из генома.
Вот в этом сейчас и основная проблема, что люди не могут понять какие алгоритмы и каким образом запускают процесс становления интеллекта.
Если не получилось, начинаем что-то менять на карте. Если с изменением получилось, то начинаем искать как достичь изменения. Таким образом будет копиться стек подзадач. Как только очередная подзадача разрешена без изменений в карте, начинаем стек выполнять.
Выглядит как брутфорс, если планируете мультиагентную среду, то хороший бы прирост дали механизмы копирования поведения, если моноагентную — как я написал выше: абстракции опыта(применение одинаковых техник для разных, но в чём-то схожих ситуаций), ревёрсинга задачи (получение подзадачи, необходимой для решения целевой), предсказывания результата применения действия и оценивания последнего.
Насчёт ревёрса задачи (декомпозиции), в вашей системе наблюдаются связи, которые умеют предсказывать и анализировать события:
если здесь и шаг вперёд, то там;
если квакает и зелёная — лягушка.
Этот механизм можно также развернуть в обратную сторону, для декомпозиции задачи. Как вы сказали, при обнаружении нового состояния добавляется новая карточка, т.е. образовывается связь старое состояние -> действие -> новое состояние. Так вот, для поиска решения хорошо подходит обратный процесс, когда также добавляется карточка новое состояние -> действие -> старое состояние. Это даёт возможность находить список подзадач для решении задачи.
Но стоит быть аккуратным, т.к. не на любую карточку необходима обратная — нужны только высокоуровневые, оперирующие глобальными состояними. Также не стоит запускать процесс поиска решения волнообразно, здесь как раз уместен подход поиска в глубину, чтобы решатель(сознание) могло концентрироваться только на одном пути решения задачи, т.к. если запустить процесс волной, то все эти необходимые подзадачи перемешаются между собой.
Оптимальной мне кажется итерационная схема:
Сознанию предоставляются прогнозы, предсказанные и взвешанные вероятностью будущие состояния, возможные действия для их достижения, краткосрочные оценки этих будущих состояний (уровень благополучия), долгосрочные оценки (матожидание благополучия (широко используется в RL)), и сознание уже решает какое действие применить, чтобы попытаться перевести систему в наиболее благополучное состояние.
С помощью вашей теории в этой системе можно и понятно как описать:
Предикторы будущих состояний, оценщики благополучия, системы определяющие возможные действия. А сознание (не в смысле человеческое) — это только эвристический алгоритм, взвешивающий варианты и выбирающий оптимальное действие из предложенных.
Надеюсь, вы что-то полезное подчерпнёте из моих соображений.
При «обучении» кластер тоже не ищется. Вы либо попадете в известный кластер либо нет. Если подходящего кластера нет, то он добавляется.
Тогда система не будет уметь абстрагировать понятия: каждый угол, который хотя бы на один пиксель отличается от другого будет новой структурой.
И ещё вопрос, вот система попадает в мир, у неё нет карты, что она будет делать и по какой причине?
Что её сподвигает совершить действия(при этом она даже не знает о их существовании)?
Допустим, некоторый опыт(карта местности) есть, что сподвигает систему не бездействовать? Пусть систему что-то всё же сподвигло совершать действие, как будет идти процесс исследования, ведь если она будет следовать картам, то не будет получать нового опыта, постоянно будет ходить из одного известного состояния в другое.
Я бы рекомендовал написать простейший клеточный мир с лабиринтами, ловушками и головоломками, реализовать базовую модель. Вы сразу столкнётесь с проблемой, что системой ничто не управляет, скорее всего она будет бездействовать, т.к. отсутствуют всякие мотивы на действия, если вы всё же захардкодите мотиваторы, то получите reinforcement learning систему (что-то вроде Q-Learning) со всеми вытекающими проблемами.
Сила интеллекта в том, что при отсутствии опыта он умеет абстрагировать, комбинировать, предсказывать и оценивать. В вашей модели я этого не вижу, хоть и понимаю, что реализовать это можно, но достаточно трудоемко.
Минуса не мои, у меня кармы 0, рейтинга 0, следовательно ни комментарии, ни посты оценивать не могу. Более того, каждый мой комментарий проверяется модератором несколько часов(привет модератор :)). Я солидарен с вами, не вижу смысла ставить минус человеку, который разъясняет свою гипотезу, во первых это благое дело, а во вторых он это делает только из доброты душевной.
То, что вы описываете, это опять же носитель интеллекта, я верю, то что ваша архитектура поддерживает исполнение любой программы, в том числе и программы интеллекта. Возможно я неправильно выразился, но вопрос в том, как эти связи образовываются.
В случае с сенсорными системами ситуация ясна: здесь достаточно затычки — системы, которая просто связывает новое неизвестное состояние со старым. Однако даже здесь есть к чему придраться, как вы написали, имеет место переиспользование. Но кто решает, что один набор сенсорных данных схож с другим? Ну ок, скажем что схожесть — это расстояние хэмминга/жаккара. Опять окей, как система найдёт схожую карточку? Перебором миллионов? Окей, приходит место геометрического хеширования. Далее, допустим что система ошиблась, т.к. она совершает миллионы таких операций, то откуда она узнает в каком месте она ошиблась, объединяя два понятия? Можно насобирать логов активации и найти корреляцию этой ошибки и активации карточки. Видите сколько затычек? Оочень сложно ещё будет эти затычки реализовать на языке карточек, т.к. если хардкодить, то не будет ответа на следующий вопрос.
Алгоритм допустил ошибку, у нас есть система, которая её исправила, как теперь починить алгоритм, как отточить его гиперпараметры? Писать некий алгоритм сверху?
Насчёт поиска кратчайшего пути — это тоже затычка, при этом ИРЛ работать не сможет, ресурсов мозга попросту не хватит чтобы построить маршрут длинной в 5 км, потому что поиск в ширину с радиусом 5 км — это слишком много данных. Мозг не просто ищет путь из точки А в точку Б, он делает это направленно и эвристически, это больше похоже на A* с промежуточными узлами(интересно кто их определяет), т.е.мозг лениво строит цепочку маршрута, а вот как добраться из одного узла цепи в другой — решает направленный алгоритм.
Где механизмы оценки и предсказания (без них ваша система будет работать хуже(из-за производительности) генетического алгоритма? Да, если подать на вход карточкам текущее состояние, то они предскажут будущее волнообразно, но вопрос в том, кто эти данные туда подставит, кто считает результат, кто его переложит в механизм оценки ситуации, кто считает данные результата оценивания. И как мозг определит, что этот волнообразный процесс на самом деле воображули системы, а не реально происходящая ситуация, конечно, можно поставить ещё одну переменную сигнализирующую о том, что это воображение, а не реальный мир. Но всё это костыли.
Самое главное, где механизмы интенции? Кто дирижёр системы, кто управляет всеми этими подсистемами? Это самый сложный алгоритм, человеку его мало представляется возможным качественно реализовать вручную.
Повторюсь, ваша статья описывает носитель(компьютер), но современный вопрос стоит не в носителе (подойдёт любая полная по Тьюрингу система), а в том как устроена программа, которая на нём исполняется. Вы частично ответили на простые вопросы: как можно построить модель мира, как искать в ней кратчайшие пути (в действительности мозг не ищет кратчайший), как описывать движения, но с этим прекрасно справляются и существующие, более эффективные алгоритмы.
Здесь ещё проблема в том, что ваша система описанная здесь как есть не сможет воспринимать сложные действия: допустим взять спички, достать одну, зажечь, пустить газ, поднести к комфорке, потушить, поставить чайник, налить воды и т.д. Это слишком сложные действия и цепочка слишком длинна. Мозг попросту собъется на каком-то промежуточном этапе. Допустим спичка погасла, огонь не горит, газ идёт, система должна принять правильно действие: быстро зажечь ещё одну спичку или выключить газ. Но откуда она будет знать об этом, если опыта у неё такого нет? Чтобы этого не происходило нужны опорные точки, оценка ситуаций, генераторы возможных действий. Тот список действий, что я описал и есть — последовательность опорных точек, но как их вычленить из набора сенсорных данных?
Ваша система пока может ответь на вопрос "что будет, если", но это всего лишь вспомогательная система ответа на вопрос "что надо, чтобы", на который вы пока не отвечаете, вместо этого придумываете затычки, вроде поиска в ширину. Не спорю, что быть может ИИ и будет частично построен на таких системах, но для такого низкого уровня, который описали вы, этих вручную написанных алгоритмов будет слишком много, и при этом они будут захардкожены и не смогут адаптироваться к новому характеру данных, с которым дети встречаются по нескольку раз в день в процессе познания мира.
Если вы не ставили себе цели ответить на вопросы, что я написал — то извините, в таком случае вы попросту привели ещё один способ(из бесконечного числа) представить данные и связать их.
В целом, я сам наблюдая за собой понимаю, что мозг оперирует бинарными сущностями, даже когда занимается математическими операциями: 1257+5*8 членит операции, вспоминает правильные ответы (5*8=40), делит числа на разряды, вспоминает результаты сложения 1257+40=12(5+4)|(7+0)=1297, это всё прекрасно описывается карточками. И когда дети изучают таблицу умножения — они эти карточки изучают. Так, что теория мне нравится, а вот как на неё накручивают механизмы — нет.
Очень понравилась статья. Недавно сам начал заниматься проблемой сознания и интеллекта, записывать размышления, наработки. Прочитал материал, нашёл очень много общего, задумался теперь: сам ли я придумал некоторые механизмы или на подсознательном уровне мозг мне их подкинул (помню, что читал предыдущую статью).
Ваше описание решения проблемы даёт информацию о том, как организовать данные и манипулировать ими. Но ключевая проблема ИИ на сегодняшний день — это знания и опыт: где их взять. Ключевым фактором накопления релевантного опыта являются алгоритмы оценки состояний (внутренней системы и окружающей среды), алгоритмы внимания, абстракции. С помощью описанных вами механизмов их можно воплотить, но здесь стоит вопрос не с помощью чего, а как? В этом и загвоздка.
Стандартный пайплайн интеллектуального агента: сбор информации об окружающей среде и состоянии системы агента(в физическом и ментальном плане), предсказание будущих состояний среды и системы, генерация возможных действий, оценка результатов их применения, выбор действия (основная роль сознания), применение действия.
Даже такое простое описание системы даст агенту проэволюционировать до любого уровня сложности, лишь бы среда предоставляла новые данные и не было существенных ограничений мощности.
Самый тайный секрет, который хранит природа (в т.ч. наш генетический код) — это реализация этих алгоритмов, как они так хитро устроены, что мозг находит нужные взаимосвязи, как они абстрагируются (в случае вашего подхода, абстракция — это пересечение множеств карточек), как оцениваются состояния, как эти оценки применяются к опыту, как конструируются новые решения при отсутствии опыта ранее (наверное, самый острый вопрос).
Если стремиться к сильному ИИ, то надо понимать, что от него не требуется ничего кроме решения поставленной задачи, а всё вокруг — это беготня вспомогательных систем. Почти все системы человека заточены на поиск еды и полового партнёра, то что мы умеем решать невероятно сложные задачи и строить сложнейшие механизмы — всего лишь побочный эффект, автоматизацию которого и мечтает человечество положить на плечи ИИ. Это к тому, что все низкоуровневые описания работы интеллекта, возможно, не нужны, т.к. от AGI требуется только добывать информацию, строить предположения, выбирать лучшие. И человечество сейчас застряло как раз на добыче информации (автоматическое построение ассоциативных карт), но даже если эта проблема решится, то всё ещё непонятно как выполнить вторую часть, как и какие сложить пазлы знаний так, чтобы получить нечто новое.
На простых системах, к примеру, клеточных автоматах, аркадных играх, сегодняшние наработки работают достаточно хорошо, но эти алгоритмы не переносятся в реальный мир: почти везде возникает комбинаторный взрыв, и даже если строить оценки сложности необходимой мощности, то запросто можно прийти к тому, что задача нерешаема: невозможно построить столько мощностей.
Следовательно надо искать лучшие алгоритмы — которые знают, где и что искать, как оптимизировать.
Учёные мечтают о сильном ИИ, не имеющим человеческих пороков и проблем, но как раз эти пороки и проблемы привели к тому, что появилось сознание: не было бы стимулов (удовольствия, страдания) — не было бы систем оценки, и как следствие, развитием бы управляла эволюция только на основе пассивного опыта — сделал что-то выжил, не сделал чего-то — выжил, сделал — плохо умер, т.е. нет второго шанса (у нас его даёт воображение и различные предикторы). Если бы животные не умели сопереживать, то не было бы переноса опыта, обучения. Если бы не было эмоций, то субъекты не могли бы качественно считывать состояния и желания друг друга. Не было бы лени — не было бы желания оптимизации процессов и ресурсов.
Все эти механизмы помогли решить проблему пропитания, защиты и размножения, а также послужили ступенями, которые привели низжих существ на вершину — к Homo Sapiens. Но когда человек начал ставить себе новые цели — решать сложные задачи, они оказались ни к чему, зачастую даже мешают, быть может, ИИ стоит провести также по этим ступеням, получить алгоритмы обработки информации (стать сильным ИИ), и затем уже отсечь бесполезные — выживальческие механизмы.
как в существующей постановке задачи сделать так, чтобы модель обучилась совсем не врезаться в препятствия.
Данный тип задач идеально подходит для алгоритмов RL, могу посоветовать этот курс, в нём есть ответы на все ваши вопросы и даже больше.
Как было упомянуто в статье, вы используете свой метод обучения — ручной, вы показываете нейронной сети как правильно, но несмотря на то, что примеры представленные человеком очень эффективны, их количество очень мало и сильно на поведении нейронной сети не отражается. С этим можно справиться путём аугментации данных, она добавит тренировочных семплов и сделает их более разнообразными (за счёт, например, гаусового шума). В данном случае — шум можно интерпретировать как любопытность модели, чем он больше, тем модель совершает больше ошибок, но в то же время, учится быстрее.
Чтобы научить систему управлять авто почти без столкновений, необходимы релевантные данные, без них модель может научиться только методом проб и ошибок, рекомендую попросту не обучать модель на тех семплах, где она совершила дтп, это пассивный способ обучения, мы просто не показываем ей как нельзя, а показывает только как можно.
Касательно того как выходить из аварийных ситуаций — здесь всё сложнее, у данной модели нету памяти. Пример: машина в метре от стены, она по какой-то причине едет вперёд, останавливается вплотную к стене чтобы не врезаться, отъезжает назад и снова попадает в ситуацию, что и в начале этого предложения, т.е. в данном случае она попросту будет совершаться возвратно-поступательные движения, т.к. у неё нет памяти, она не помнит, что она пыталась избежать столкновения.
Решить эту проблему можно добавлением в модель «глобального» состояния, чтобы она понимала что в принципе она делает. На каждом шаге это состояние должно предсказываться для следующего хода и подаваться на следующей итерации к нему на вход.
Но чтобы обучить такую модель, всё же, понадобится огромное количество примеров, при этом, модель должна иметь большую любопытность, чтобы быстро придумать способ обхода. Для более быстрого обучения желательно построить микрополигон, где обучение будет проходить конкретно на таких ситуациях.
В целом, я здесь описал стандартные подходы решения таких задач в RL, очень рекомендую на него посмотреть.
А разве дело в картинах? Там есть фотографии, есть комментарии к ним, аля: "Восхитительные бровки!", "Тону в этих глазах" и пр. Следовательно можно произвести все те же операции. Особенно удобно это с инстой, подружки любят друг друга нахваливать...
Под собственным весом это раздавит корпус/движки.
А делать посадочные ноги как на Falcon 9, это добавлять очень много массы к ракете.
Какие-то ветки, параллельные миры, самокорректирующиеся вселенные - всё это сложно.
Есть решение проще, если путешественник смог попасть в прошлое, то события, что там произошли, даже с учетом его действий, привели в будущем к тому, чтобы он смог переместиться в прошлое.
Если путешественник попытается изменить ход истории, так как хочется ему, то максимум что он сможет сделать - это только те действия, что внушат ему факт того, что у него получилось. К примеру в случае убийства своего дедушки фактически убитым будет не его дедушка. Путешественник удовлетворился, но на деле произошло не то, что он хотел.
И ещё одна хорошая мысль, путешествия во времени фактически не доступны тем людям, что могут совершить действия, меняющие ход истории: история и будущее уже определены, если человек меняет прошлое и будущее разваливается из-за парадоксов, то в будущем путешественник не может получить доступ к машине времени и соответственно предпринять диверсионные действия. Соответственно так исторически сложилось, что доступ к устройству есть только у тех, кто сделает всё так, чтобы история сложилось как надо (в том числе не воспользуются машиной времени вовсе).
Статья ради статьи, вы быть хоть как-нибудь серьезно отнеслись к подготовке материала.
Даже в самых базовых уроках, книгах, статьях используют нормальные токенизаторы, к примеру из библиотек NLTK/Gensim, а не python-овский strip().
Не говоря уже о том, что пропущенные такие базовые этапы как удаление стоп слов (его сам TfIdfVectorizer может провести), лемматизация/стемминг, настройка параметров векторизатора.
Выглядит как какой-та низкокачественная калька с англоязычной статьи по типу этой.
Вероятно 208 секунд - безопасная длительность работы электромотора, при более длительном воздействии он может перегреться.
С мыльницы SX500-IS тоже хорошие фото выходят. Зум ~x30
© Википедия
Поставленная задача является классической для алгоритмов RL, при этом остаётся загадкой почему был выбран генетический алгоритм в качестве оптимизатора…
Вся суть нейронок в универсальности, они могут обучаться на новых данных, если к этой карте добавить пару сократов, разветвлений, тупиков, то со временем нейронки их найдут и начнут действовать более интеллектуально (если размер НС позволит), а вот ваша модель — нет, здесь нужна рука человека, которая добавит новой логики. Более того, задачу можно запросто усложнить до такого, что человек не в силах будет описать модель оптимального взаимодействия с ней, а нейронка — сможет.
Автор видео «Нейросетевые машины и генетические алгоритмы» попросту пока что не усложнил свою среду по той причине, что он только начинает заниматься разработкой системы управления. Кстати, если внезапно заменить авто космическим кораблём, а трассу пространством над луной, то нс вскором времени адаптируется, а человек, возможно даже не узнает об изменениях…
В этом вся прелесть — адаптация без участия человека.
Модели мира высокоуровнево описываются диаграммами связей, низкоуровневно — состояниями-векторами (заданными людьми или сгенерированными энкодерами), в некоторых случаях модели мира — это обработанные численными методами данные с различных видов локаторов (видеокамера, сонар, и пр.).
Движения очень хорошо генерируются и изучаются такой областью математики как теория управления: необходимое движение с заданными ограничениями можно получить аналитически (если надо, то и эвристически). Благодаря этому разделу существуют ракеты, перемещающиеся в пространстве сложнейшие роботы, различные многоосевые манипуляторы/станки.
В своей области алгоритмы непоколебимы, и некоторые даже математически доказаны, что работать эффективнее нельзя.
Вы можете сказать, что они неуверсальны, но в этом и суть, универсальные алгоритмы не могут работать везде лучше чем узко специализированные. Вы предложили модель, но уже видно, что она комбинаторно-сложна, т.е. неэффективна на широком спектре задач.
Более того, её можно свести к китайской комнате: если такие-то условия выполняются — то сделай это, и т.д. Но что ваша модель, что китайская комната не дают ответа как её обучать.
Все эти дискуссии, что внутренние механизмы в случае если состояние не встречалось добавляют новое и связывают его с существующим бесмысленны, во первых ровно то же самое делают алгоритмы RL, просто в алгоритмах RL состояния и действия можно задать как угодно, хоть бинарными карточками, хоть векторами любой длины, хоть вершинами графа, любыми отличимыми объектами, а в вашей моделе она задаётся именно этими карточками.
При этом ваша модель не имеет никакой доказаной базы эффективности и сходимости, а алгоритмы RL — имеют. Вы говорите, что связи будут создавать рукописные алгоритмы, которые вы ещё не придумали — ну так скорее всего и не придумаете, в этом и есть загадка интеллекта, непонятно как мозг находит эти связи, есть куча разных приближенных гипотез, но все они не описывают все кейсы.
Я всё это к тому, что если вы запрограммируйте свою модель, то она будет работать менее эффективно и качественно чем существующие алгоритмы по причинам описанным выше.
Вы, конечно можете закодить всякие лайфхаки, но это читинг, и в общем случае при неизвестной задаче всё равно проиграете: некоторые алгоритмы RL гарантированно могут найти решение, если оно существует, да за большое время, но могут.
Ссылки приводить не буду, можете погуглить ключевые слова из моего сообщения, посмотреть видосы на ютубе с последними результами работ в сфере RL, также рекомендую ознакомиться с этой площадкой, там алгоритмы RL решают различные задачи, на гитхабе есть лидерборды.
Если слишком критично написал — извините, то чем вы занимаетесь — полезно для науки, быть может я не прав и вы добьётесь успеха, не хочу вас разочаровать в вашем деле.
Всё исходит из того, что я вижу некоторые проблемы в этой гипотезе, над которыми математики и специалисты в сфере ИИ бьются десятками лет и не могут найти решение, а вы к его поиску ещё не приступали, пока только придумали носитель информации, который ещё пока что непонятно как наполнить.
Меня устроил ответ, что я — набор генетически записанных алгоритмов, подстроенных под текущий окружающий мир опытом, переданным мне моим окружением. И в действительности, моё сознание ничего не решает, оно просто следует эвристическому алгоритму. Ведь мысли, которые ему предлагаются они возникают с точки зрения сознания из неоткуда, из какого-то другого компонента.
Просто так получилось, что перед человеком лежали такие задачи, которые привели его к сознанию, которое мы сейчас знаем. Животные скорее всего обладают чем-то схожим, но оперируют попросту более простыми состояниями. Отличие человека от них — в наличие социума, который смог поддерживать передачу большего объема (бытового, языкового, образовательного) опыта в течении тысяч лет до наших дней.
Когда люди изучают мозг, они лишь аппроксимируют поведение (нейрона/группы нейронов/структуры/.../человека в целом), а то как это делает мозг это, скорее всего, невероятно сложная, не самая эффективная процедура. При этом сложность быть может такой, что человеку не хватит интеллекта чтобы её познать. Более перспективным
считается(кем?) как раз подражание, а не полное копирование мозга и интеллекта в целом.Какова мотивая вашего желания понять именно механизмы мозга?
Вот в этом сейчас и основная проблема, что люди не могут понять какие алгоритмы и каким образом запускают процесс становления интеллекта.
Выглядит как брутфорс, если планируете мультиагентную среду, то хороший бы прирост дали механизмы копирования поведения, если моноагентную — как я написал выше: абстракции опыта(применение одинаковых техник для разных, но в чём-то схожих ситуаций), ревёрсинга задачи (получение подзадачи, необходимой для решения целевой), предсказывания результата применения действия и оценивания последнего.
Насчёт ревёрса задачи (декомпозиции), в вашей системе наблюдаются связи, которые умеют предсказывать и анализировать события:
если здесь и шаг вперёд, то там;
если квакает и зелёная — лягушка.
Этот механизм можно также развернуть в обратную сторону, для декомпозиции задачи. Как вы сказали, при обнаружении нового состояния добавляется новая карточка, т.е. образовывается связь старое состояние -> действие -> новое состояние. Так вот, для поиска решения хорошо подходит обратный процесс, когда также добавляется карточка новое состояние -> действие -> старое состояние. Это даёт возможность находить список подзадач для решении задачи.
Но стоит быть аккуратным, т.к. не на любую карточку необходима обратная — нужны только высокоуровневые, оперирующие глобальными состояними. Также не стоит запускать процесс поиска решения волнообразно, здесь как раз уместен подход поиска в глубину, чтобы решатель(сознание) могло концентрироваться только на одном пути решения задачи, т.к. если запустить процесс волной, то все эти необходимые подзадачи перемешаются между собой.
Оптимальной мне кажется итерационная схема:
Сознанию предоставляются прогнозы, предсказанные и взвешанные вероятностью будущие состояния, возможные действия для их достижения, краткосрочные оценки этих будущих состояний (уровень благополучия), долгосрочные оценки (матожидание благополучия (широко используется в RL)), и сознание уже решает какое действие применить, чтобы попытаться перевести систему в наиболее благополучное состояние.
С помощью вашей теории в этой системе можно и понятно как описать:
Предикторы будущих состояний, оценщики благополучия, системы определяющие возможные действия. А сознание (не в смысле человеческое) — это только эвристический алгоритм, взвешивающий варианты и выбирающий оптимальное действие из предложенных.
Надеюсь, вы что-то полезное подчерпнёте из моих соображений.
Тогда система не будет уметь абстрагировать понятия: каждый угол, который хотя бы на один пиксель отличается от другого будет новой структурой.
И ещё вопрос, вот система попадает в мир, у неё нет карты, что она будет делать и по какой причине?
Что её сподвигает совершить действия(при этом она даже не знает о их существовании)?
Допустим, некоторый опыт(карта местности) есть, что сподвигает систему не бездействовать? Пусть систему что-то всё же сподвигло совершать действие, как будет идти процесс исследования, ведь если она будет следовать картам, то не будет получать нового опыта, постоянно будет ходить из одного известного состояния в другое.
Я бы рекомендовал написать простейший клеточный мир с лабиринтами, ловушками и головоломками, реализовать базовую модель. Вы сразу столкнётесь с проблемой, что системой ничто не управляет, скорее всего она будет бездействовать, т.к. отсутствуют всякие мотивы на действия, если вы всё же захардкодите мотиваторы, то получите reinforcement learning систему (что-то вроде Q-Learning) со всеми вытекающими проблемами.
Сила интеллекта в том, что при отсутствии опыта он умеет абстрагировать, комбинировать, предсказывать и оценивать. В вашей модели я этого не вижу, хоть и понимаю, что реализовать это можно, но достаточно трудоемко.
То, что вы описываете, это опять же носитель интеллекта, я верю, то что ваша архитектура поддерживает исполнение любой программы, в том числе и программы интеллекта. Возможно я неправильно выразился, но вопрос в том, как эти связи образовываются.
В случае с сенсорными системами ситуация ясна: здесь достаточно затычки — системы, которая просто связывает новое неизвестное состояние со старым. Однако даже здесь есть к чему придраться, как вы написали, имеет место переиспользование. Но кто решает, что один набор сенсорных данных схож с другим? Ну ок, скажем что схожесть — это расстояние хэмминга/жаккара. Опять окей, как система найдёт схожую карточку? Перебором миллионов? Окей, приходит место геометрического хеширования. Далее, допустим что система ошиблась, т.к. она совершает миллионы таких операций, то откуда она узнает в каком месте она ошиблась, объединяя два понятия? Можно насобирать логов активации и найти корреляцию этой ошибки и активации карточки. Видите сколько затычек? Оочень сложно ещё будет эти затычки реализовать на языке карточек, т.к. если хардкодить, то не будет ответа на следующий вопрос.
Алгоритм допустил ошибку, у нас есть система, которая её исправила, как теперь починить алгоритм, как отточить его гиперпараметры? Писать некий алгоритм сверху?
Насчёт поиска кратчайшего пути — это тоже затычка, при этом ИРЛ работать не сможет, ресурсов мозга попросту не хватит чтобы построить маршрут длинной в 5 км, потому что поиск в ширину с радиусом 5 км — это слишком много данных. Мозг не просто ищет путь из точки А в точку Б, он делает это направленно и эвристически, это больше похоже на A* с промежуточными узлами(интересно кто их определяет), т.е.мозг лениво строит цепочку маршрута, а вот как добраться из одного узла цепи в другой — решает направленный алгоритм.
Где механизмы оценки и предсказания (без них ваша система будет работать хуже(из-за производительности) генетического алгоритма? Да, если подать на вход карточкам текущее состояние, то они предскажут будущее волнообразно, но вопрос в том, кто эти данные туда подставит, кто считает результат, кто его переложит в механизм оценки ситуации, кто считает данные результата оценивания. И как мозг определит, что этот волнообразный процесс на самом деле воображули системы, а не реально происходящая ситуация, конечно, можно поставить ещё одну переменную сигнализирующую о том, что это воображение, а не реальный мир. Но всё это костыли.
Самое главное, где механизмы интенции? Кто дирижёр системы, кто управляет всеми этими подсистемами? Это самый сложный алгоритм, человеку его мало представляется возможным качественно реализовать вручную.
Повторюсь, ваша статья описывает носитель(компьютер), но современный вопрос стоит не в носителе (подойдёт любая полная по Тьюрингу система), а в том как устроена программа, которая на нём исполняется. Вы частично ответили на простые вопросы: как можно построить модель мира, как искать в ней кратчайшие пути (в действительности мозг не ищет кратчайший), как описывать движения, но с этим прекрасно справляются и существующие, более эффективные алгоритмы.
Здесь ещё проблема в том, что ваша система описанная здесь как есть не сможет воспринимать сложные действия: допустим взять спички, достать одну, зажечь, пустить газ, поднести к комфорке, потушить, поставить чайник, налить воды и т.д. Это слишком сложные действия и цепочка слишком длинна. Мозг попросту собъется на каком-то промежуточном этапе. Допустим спичка погасла, огонь не горит, газ идёт, система должна принять правильно действие: быстро зажечь ещё одну спичку или выключить газ. Но откуда она будет знать об этом, если опыта у неё такого нет? Чтобы этого не происходило нужны опорные точки, оценка ситуаций, генераторы возможных действий. Тот список действий, что я описал и есть — последовательность опорных точек, но как их вычленить из набора сенсорных данных?
Ваша система пока может ответь на вопрос "что будет, если", но это всего лишь вспомогательная система ответа на вопрос "что надо, чтобы", на который вы пока не отвечаете, вместо этого придумываете затычки, вроде поиска в ширину. Не спорю, что быть может ИИ и будет частично построен на таких системах, но для такого низкого уровня, который описали вы, этих вручную написанных алгоритмов будет слишком много, и при этом они будут захардкожены и не смогут адаптироваться к новому характеру данных, с которым дети встречаются по нескольку раз в день в процессе познания мира.
Если вы не ставили себе цели ответить на вопросы, что я написал — то извините, в таком случае вы попросту привели ещё один способ(из бесконечного числа) представить данные и связать их.
В целом, я сам наблюдая за собой понимаю, что мозг оперирует бинарными сущностями, даже когда занимается математическими операциями: 1257+5*8 членит операции, вспоминает правильные ответы (5*8=40), делит числа на разряды, вспоминает результаты сложения 1257+40=12(5+4)|(7+0)=1297, это всё прекрасно описывается карточками. И когда дети изучают таблицу умножения — они эти карточки изучают. Так, что теория мне нравится, а вот как на неё накручивают механизмы — нет.
Ваше описание решения проблемы даёт информацию о том, как организовать данные и манипулировать ими. Но ключевая проблема ИИ на сегодняшний день — это знания и опыт: где их взять. Ключевым фактором накопления релевантного опыта являются алгоритмы оценки состояний (внутренней системы и окружающей среды), алгоритмы внимания, абстракции. С помощью описанных вами механизмов их можно воплотить, но здесь стоит вопрос не с помощью чего, а как? В этом и загвоздка.
Стандартный пайплайн интеллектуального агента: сбор информации об окружающей среде и состоянии системы агента(в физическом и ментальном плане), предсказание будущих состояний среды и системы, генерация возможных действий, оценка результатов их применения, выбор действия (основная роль сознания), применение действия.
Даже такое простое описание системы даст агенту проэволюционировать до любого уровня сложности, лишь бы среда предоставляла новые данные и не было существенных ограничений мощности.
Самый тайный секрет, который хранит природа (в т.ч. наш генетический код) — это реализация этих алгоритмов, как они так хитро устроены, что мозг находит нужные взаимосвязи, как они абстрагируются (в случае вашего подхода, абстракция — это пересечение множеств карточек), как оцениваются состояния, как эти оценки применяются к опыту, как конструируются новые решения при отсутствии опыта ранее (наверное, самый острый вопрос).
Если стремиться к сильному ИИ, то надо понимать, что от него не требуется ничего кроме решения поставленной задачи, а всё вокруг — это беготня вспомогательных систем. Почти все системы человека заточены на поиск еды и полового партнёра, то что мы умеем решать невероятно сложные задачи и строить сложнейшие механизмы — всего лишь побочный эффект, автоматизацию которого и мечтает человечество положить на плечи ИИ. Это к тому, что все низкоуровневые описания работы интеллекта, возможно, не нужны, т.к. от AGI требуется только добывать информацию, строить предположения, выбирать лучшие. И человечество сейчас застряло как раз на добыче информации (автоматическое построение ассоциативных карт), но даже если эта проблема решится, то всё ещё непонятно как выполнить вторую часть, как и какие сложить пазлы знаний так, чтобы получить нечто новое.
На простых системах, к примеру, клеточных автоматах, аркадных играх, сегодняшние наработки работают достаточно хорошо, но эти алгоритмы не переносятся в реальный мир: почти везде возникает комбинаторный взрыв, и даже если строить оценки сложности необходимой мощности, то запросто можно прийти к тому, что задача нерешаема: невозможно построить столько мощностей.
Следовательно надо искать лучшие алгоритмы — которые знают, где и что искать, как оптимизировать.
Учёные мечтают о сильном ИИ, не имеющим человеческих пороков и проблем, но как раз эти пороки и проблемы привели к тому, что появилось сознание: не было бы стимулов (удовольствия, страдания) — не было бы систем оценки, и как следствие, развитием бы управляла эволюция только на основе пассивного опыта — сделал что-то выжил, не сделал чего-то — выжил, сделал — плохо умер, т.е. нет второго шанса (у нас его даёт воображение и различные предикторы). Если бы животные не умели сопереживать, то не было бы переноса опыта, обучения. Если бы не было эмоций, то субъекты не могли бы качественно считывать состояния и желания друг друга. Не было бы лени — не было бы желания оптимизации процессов и ресурсов.
Все эти механизмы помогли решить проблему пропитания, защиты и размножения, а также послужили ступенями, которые привели низжих существ на вершину — к Homo Sapiens. Но когда человек начал ставить себе новые цели — решать сложные задачи, они оказались ни к чему, зачастую даже мешают, быть может, ИИ стоит провести также по этим ступеням, получить алгоритмы обработки информации (стать сильным ИИ), и затем уже отсечь бесполезные — выживальческие механизмы.
Данный тип задач идеально подходит для алгоритмов RL, могу посоветовать этот курс, в нём есть ответы на все ваши вопросы и даже больше.
Как было упомянуто в статье, вы используете свой метод обучения — ручной, вы показываете нейронной сети как правильно, но несмотря на то, что примеры представленные человеком очень эффективны, их количество очень мало и сильно на поведении нейронной сети не отражается. С этим можно справиться путём аугментации данных, она добавит тренировочных семплов и сделает их более разнообразными (за счёт, например, гаусового шума). В данном случае — шум можно интерпретировать как любопытность модели, чем он больше, тем модель совершает больше ошибок, но в то же время, учится быстрее.
Чтобы научить систему управлять авто почти без столкновений, необходимы релевантные данные, без них модель может научиться только методом проб и ошибок, рекомендую попросту не обучать модель на тех семплах, где она совершила дтп, это пассивный способ обучения, мы просто не показываем ей как нельзя, а показывает только как можно.
Касательно того как выходить из аварийных ситуаций — здесь всё сложнее, у данной модели нету памяти. Пример: машина в метре от стены, она по какой-то причине едет вперёд, останавливается вплотную к стене чтобы не врезаться, отъезжает назад и снова попадает в ситуацию, что и в начале этого предложения, т.е. в данном случае она попросту будет совершаться возвратно-поступательные движения, т.к. у неё нет памяти, она не помнит, что она пыталась избежать столкновения.
Решить эту проблему можно добавлением в модель «глобального» состояния, чтобы она понимала что в принципе она делает. На каждом шаге это состояние должно предсказываться для следующего хода и подаваться на следующей итерации к нему на вход.
Но чтобы обучить такую модель, всё же, понадобится огромное количество примеров, при этом, модель должна иметь большую любопытность, чтобы быстро придумать способ обхода. Для более быстрого обучения желательно построить микрополигон, где обучение будет проходить конкретно на таких ситуациях.
В целом, я здесь описал стандартные подходы решения таких задач в RL, очень рекомендую на него посмотреть.
А разве дело в картинах? Там есть фотографии, есть комментарии к ним, аля: "Восхитительные бровки!", "Тону в этих глазах" и пр. Следовательно можно произвести все те же операции. Особенно удобно это с инстой, подружки любят друг друга нахваливать...