Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 19
ИИ скоро будет сам в инете находить карту с уровнями игрового задания, правила игры анализировать поиском там же, ну и только со спидраннерами будет сражение.
Статья интересная, но какие же тормознутые видосы.
«Проблема шумного телевизора» для человеков тоже актульна.
«Любопытство» неплохая эвристика, но всё ещё недостаточно обобщена. Если немножко подумать, то любопытство — это генерация внутреннего сигнала нкйросети, соответствующего некоемогу конкретному состоянию самого вычислителя (например, состоянию «счётчик переборов вариантов слишком большой»). Теперь эту эвристику можно дообобщить до «сенсор внутренних состояний», и отдать управление ей тому же алгоритму подбора, которым обучается и остальная нейросеть (основной критерий — сенсор должен увеличивать точность предсказаний нейросети на модельных задачах). А теперь ещё вынесите эти параметры в рантайм-модель, чтобы прямо во время предсказаний сеть могла бы управлять своим поведением посредством этих сенсоров. И вот вы реализовали в своей системе внимание, фокус, рефлексию, проактивность («активный взгляд») и кучу других феноменов человеческой когнитивной деятельности. Сама идея не самая оригинальная (я бы даже сказал очевидная), я её ещё в студенчестве ковырял, а так же видел кучу статей на аналогичные темы, хоть и, порою, совершенно в другой терминологии описанных (https://arxiv.org/abs/1410.5401, например, а в общем это просто различные гибриды тьюринговых исполнителей с состояниями и перцептронов, обучающихся на обучающей выборке переключать своё состояние наиболее эффективно для решения модельной задачи).
При должной симуляции условий существования кибернетического агента с этими «нейросенсорами собственного состояния» у вас получится аналог биологического существа с гормональной системой, управляющей его «режимами поведения».
При должной симуляции условий существования кибернетического агента с этими «нейросенсорами собственного состояния» у вас получится аналог биологического существа с гормональной системой, управляющей его «режимами поведения».
Любопытство наконец добавили.
Осталось добавить лень и надоедание от повторений, и кожаные мешки будут больше не нужны.
Осталось добавить лень и надоедание от повторений, и кожаные мешки будут больше не нужны.
А они же как раз и стали в качестве метрики «любопытства» использовать «надоедание от повторения».
До этого они считали «любобытными» те действия, результат которых отличался от ожиданий предсказателя. Но шумный телевизор ставит такую метрику в тупик.
В этом же подходе, «любобытными» считаются те действия, которые приводят в «редкое» состояние. Для этого генерируется неизвестная для предсказателя функция от состояния. Чем лучше он ее предсказывает, тем чаще он был в этом состоянии, тем менее интересно. В качестве неизвестной функции используется такая же сетка, как и предсказатель, но с рандомными весами.
До этого они считали «любобытными» те действия, результат которых отличался от ожиданий предсказателя. Но шумный телевизор ставит такую метрику в тупик.
В этом же подходе, «любобытными» считаются те действия, которые приводят в «редкое» состояние. Для этого генерируется неизвестная для предсказателя функция от состояния. Чем лучше он ее предсказывает, тем чаще он был в этом состоянии, тем менее интересно. В качестве неизвестной функции используется такая же сетка, как и предсказатель, но с рандомными весами.
Мне тоже кажется, что люди развивающие ИИ не учли один момент — самые эффективные когнитивные процессы являются одновременно и источником человеческих недостатков.
Лень с одной стороны позволяет оптимизировать процессы достижения результатов, но с другой стороны мешает их выполнению когда оптимизировать нечего.
Любопытство с одной стороны подталкивает изучать что-то новое, но при этом увеличивая риск неудачи или ухудшения оптимизации процесса.
Если ИИ наделить всеми качествами человека, то он не будет ходить за вас выносить мусор. Он скажет «Вынеси сам/сама» (попытка оптимизации — достигнуть результата не потратив своих ресурсов).
А нафига мне робот, который будет за меня смотреть футбол и пить пиво?
«Так вы и есть за меня будете? — Ага.» ©
Лень с одной стороны позволяет оптимизировать процессы достижения результатов, но с другой стороны мешает их выполнению когда оптимизировать нечего.
Любопытство с одной стороны подталкивает изучать что-то новое, но при этом увеличивая риск неудачи или ухудшения оптимизации процесса.
Если ИИ наделить всеми качествами человека, то он не будет ходить за вас выносить мусор. Он скажет «Вынеси сам/сама» (попытка оптимизации — достигнуть результата не потратив своих ресурсов).
А нафига мне робот, который будет за меня смотреть футбол и пить пиво?
«Так вы и есть за меня будете? — Ага.» ©
Но вы ведь ходите выносить мусор, почему ИИ, обладающий такими же качествами, не будет?
В том то и дело, что не такими же. Может с точки зрения КПД я ещё долго буду эффективней, но в части масштабируемости я уже позади (ну не могу я прикрутить ещё одну голову, чтобы увеличить память и скорость мышления).
Он будет умнее меня и сможет придумать большеотмазок аргументов, чтобы не выносить мусор.
А если серьёзно, то попробуйте представить, что ваша девушка, жена ну или просто близкий человек с которым вы живёте вдруг станет намного умнее (поиск информации, память, логика и т.п.).
В моём случае мне представляется следующий вариант:
Можно наверно попробовать запрограммировать ИИ на самопожертвование, но что-то это какая-то ненадёжная грань, ибо «От жизни собачей собака бывает кусачей».
Он будет умнее меня и сможет придумать больше
А если серьёзно, то попробуйте представить, что ваша девушка, жена ну или просто близкий человек с которым вы живёте вдруг станет намного умнее (поиск информации, память, логика и т.п.).
В моём случае мне представляется следующий вариант:
- Сначала я буду рад, т.к. можно переложить часть проблем на партнёра.
«Но чем же он думает, ведь у него же нет мозгов? — Раз своих нет, то пользуется чужими.» (Волшебник изумрудного города) - Потом начнёт страдать моё самолюбие. С её же стороны я буду казаться обузой.
- Далее как с неудобным сапогом: сначала неудобно, потом трёт, потом прихрамываешь, потом начинаешь искать какое-то решение. Применительно к нашей ситуации, это скорее всего будет обиды, ссоры и разрыв отношений.
- Результат — мусор выносить мне, т.к. больше некому.
Можно наверно попробовать запрограммировать ИИ на самопожертвование, но что-то это какая-то ненадёжная грань, ибо «От жизни собачей собака бывает кусачей».
Люди тоже могут придумать кучу отмазок, но ведь мусор выносят, и понимают почему надо выносить. Почему вдруг ИИ должен не понимать?
Сначала я буду рад, т.к. можно переложить часть проблем на партнёра.
Это как? Ты самый умный значит иди мусор выноси?)
Не сомневаюсь, что ИИ поймёт необходимость выноса мусора. Я хотел сказать, что ИИ будет достаточно умён (или, если хотите, хитёр), чтобы для достижения цели не тратить свои ресурсы (электроэнергию например), а переложить эту задачу на человека как результат оптимизации. Типа я (ИИ) буду тут думать, т.к. я лучше думаю, а ты (человек) иди выноси мусор, т.к. КПД мышечной массы больше чем у сервоприводов робота.
В человеческом обществе точно также: умные(точнее хитрые, но я считаю хитрость тоже мерилом интеллекта) руководят, а самые глупые (кто не смог отмазаться) машут лопатами. И поскольку ИИ теоретически может превзойти естественный интеллект, то угадайте кто будет махать лопатами? Отсюда у меня и возник вопрос: а стоит ли делать ИИ по образу и подобию человека?
С точностью наоборот — я работаю мозгами, а ты работай ногами). А вообще я здесь имел ввиду переложить решение проблем, требующих применение интеллекта (как работать меньше, а получать больше; как и что выгодней купить/продать; когда и где лучше взять кредит; и т.п.)
В человеческом обществе точно также: умные(точнее хитрые, но я считаю хитрость тоже мерилом интеллекта) руководят, а самые глупые (кто не смог отмазаться) машут лопатами. И поскольку ИИ теоретически может превзойти естественный интеллект, то угадайте кто будет махать лопатами? Отсюда у меня и возник вопрос: а стоит ли делать ИИ по образу и подобию человека?
Это как? Ты самый умный значит иди мусор выноси?)
С точностью наоборот — я работаю мозгами, а ты работай ногами). А вообще я здесь имел ввиду переложить решение проблем, требующих применение интеллекта (как работать меньше, а получать больше; как и что выгодней купить/продать; когда и где лучше взять кредит; и т.п.)
Наконец-то! Это именно то чего не хватало!
Интересно, а анализ лабиринта на проходимость решается нейронкой? Может нейронка взглянуть на лабиринт и сразу определить — проходим он или нет?
Если не накладывать ограничений на размер нейросети (или, например, на способы её обучения), то, конечно, в такой постановке задачи — может.
Если представить, что лабиринт составлен из клеточек и каждая клеточка может быть либо закрашена, либо пустой, а переходы возможны по соседним пустым клеточками, то простейший лабиринт 10х10 имеет 2^100 вариантов лабиринтов.
Я как-то пробовал генерировать картинку лабиринта и пытался с помощью простой feed forward сети распознать проходимость. Пока не получилось.
Я как-то пробовал генерировать картинку лабиринта и пытался с помощью простой feed forward сети распознать проходимость. Пока не получилось.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Новая реализация любопытства у ИИ. Обучение с вознаграждением, которое зависит от сложности предсказать результат выдачи