Если вы говорите о карточной игре, то какие-то вспомогательные компоненты можно будет переиспользовать. Но специфическое придётся разрабатывать заново. Важно разобраться, можно ли перенести сам "подход".
Если задачи рандомные, то полученный навык от решения предыдущей задачи, в новой задаче агент применить не сможет. То есть агент может действовать лишь перебором.
Однако, всё же есть кое-что неизменное в меняющихся рандомно задачах) Это физическое пространство, внутри которого действует агент. Пространство со своими законами, которые как раз и может выявить агент, чобы более эффективно осуществлять перебор при решении следующей задачи.
То, что дерево правил (==задача) меняется рандомно после того, как агент научится решать это дерево, не является ли проявлением иррациональности среды? Что, вроде как, должно сделать невозможным процесс познания среды агентом.
Или что-то остаётся неизменным в рандомно меняющихся задачах? Что должен суметь обобщить агент на этом датасете?
А ещё в момент перехода из одного состояния в другое можно собирать различные описатели (категориальные и числовые) и потом, после создания ML-модели, использовать их для прогнозирования вероятности перехода. Использование перечислимого множества имён (enum) для переходов, фичей, дескрипторов, с зашитым внутрь enum-константы поведением, очень сильно снижает вероятность ошибок, позволяет декларативно описать всё в одном-единственном месте. Длинно иногда получается, но не сильно страшно) Делал и использую подобный подход, кому интересно, смотрите тут (github, Java)
Не читал всю статью, но глаза случайно зацепились за график со скользящей средней
Выше в статье
Скользящая средняя может выглядеть так, как у вас на графике только если у вас есть "заглядывание в будущее" окном усреднения. Что, очевидно, грубейшая ошибка.
Видите, как оранжевая линия (скользящая средняя), как бы, "обгоняет" синию? Так и должно быть, если всё правильно сделано.
Хм, по ощущениям, именно мозг вы и моделируете, у вас в статье через слово "мозг".
Я понял, хорошо. Противоречия с биологией в части реализации локальных правил обучения нейронов и других проблем с RL, вы разрешаете тем, что не моделируете мозг.
Если что-то пришло по нерву от уха, это был спайк. Не "Спайк звука" и не "Спайк, который пришел по каналу от уха". А просто Спайк.
По нервам звуки не ходят. Информация о виде физического воздействия по нервам тоже не ходит. Вы ж это прекрасно понимаете, мне странно, что мы это вообще обсуждаем! Звуки остались до уха. В мозге нейрон, получивший спайк, не может никоим образом знать, что это был спайк с уха. Просто Спайк.
Возьмите любой нейрон в мозге, любой его синапс, по которому прошел Спайк - какой это был спайк, наказания, удовольствия, звука?
С преобразованием рецептором (палочки/колбочки, терморецепторы..) физического воздействия в нервный импульс (спайк), информация о виде воздействия стирается.
Информация о виде воздействия - это и есть "ярлыки". Вот они-то в мозг и не заходят, остаются до рецепторов. Это же очевидно, разве нет?
Стандартный - в смысле, если б мы хотели представить нейрон автоматом, это был бы наш порядок действий. Вообще - клеточные автоматы же, масса исследований, но не знаю, насколько клеточно-автоматные модели близки к реальным нейронам, да и вообще, ставилась ли кем-то такая задача.
Т.е. на нервном волокне у нас есть метки - слух, зрение, боль, удовольствие? А, хотя боль с удовольствием вы вообще отдельно интерпретируете, вычеркиваем)
Как иначе - я уже говорил: сигналы в мозг заходят и выходят без ярлыков, полная абстракция от "смысла" (кстати, как удачно вы его сюда ввернули).
Как представить нейрон конечным автоматом есть стандартный подход. Задать множество состояний для связей, множество состояний для нейрона, правила перехода между всеми этими состояниями.
в непрерывном времени... он непрерывный... нет никаких различимых дискретных состояний...
Интересно. А какие недискретные состояния у нейрона есть? У нейрона импульсной нейронной сети, в смысле. И "непрерывный нейрон" - это вообще как?) Про вашу модель нейрона или про реальный нейрон?
Спайки одинаковые, не сомневаюсь. Ярлыки, подозреваю, вы вешаете на каналы.
Мы по специальным каналам получаем боль и (с некоторой натяжкой) удовольствие
Отсылаете к нейрофизиологам... А вы к ним, получается, не ходили, не консультировались, перед тем как аналогии между мозгом и вашими разработками проводить?) Вопрос важный, еще раз прошу вас пояснить, как по-вашему устроен процесс RL в мозгу? Какие отделы мозга задействованы? Какие "каналы", с какими ярлыками на них? Как у мозга получается адресоваться к конкретной группе нейронов, которую надо обучить?
Хорошо. Такт - это уже я про конкретную реализацию. У вас асинхронная модель, тут про такты неуместно говорить. Но могут быть и "тактируемые" модели, с единым дискретным временем у узлов (нейронов) и мозга (сети).
Как мне кажется, точно, есть еще один недооценённый подход. Когда нейрон представляется конечным автоматом. Тут ни символьных вычислений нет, ни чисел, ни противоречий с природой.
Если вы говорите о карточной игре, то какие-то вспомогательные компоненты можно будет переиспользовать. Но специфическое придётся разрабатывать заново. Важно разобраться, можно ли перенести сам "подход".
Скажите, что за игра, попробую ответить.
Пытаться сделать бота для покера - это всё равно, что охотиться за килькой, находясь в желудке у акулы. Кильку ты будешь ловить весьма успешно...
для чего? - поднять бабло)
как успехи? - пока никаких. Разве что, полученная экспертиза - она довольно ценна.
какой шанс? - ненулевой, но близко к нулю. Один не справишься. Крайне сложный проект.
+ Spark mllib
Если задачи рандомные, то полученный навык от решения предыдущей задачи, в новой задаче агент применить не сможет. То есть агент может действовать лишь перебором.
Однако, всё же есть кое-что неизменное в меняющихся рандомно задачах) Это физическое пространство, внутри которого действует агент. Пространство со своими законами, которые как раз и может выявить агент, чобы более эффективно осуществлять перебор при решении следующей задачи.
Что думаете?
То, что дерево правил (==задача) меняется рандомно после того, как агент научится решать это дерево, не является ли проявлением иррациональности среды? Что, вроде как, должно сделать невозможным процесс познания среды агентом.
Или что-то остаётся неизменным в рандомно меняющихся задачах? Что должен суметь обобщить агент на этом датасете?
Отличный подход!
А ещё в момент перехода из одного состояния в другое можно собирать различные описатели (категориальные и числовые) и потом, после создания ML-модели, использовать их для прогнозирования вероятности перехода. Использование перечислимого множества имён (enum) для переходов, фичей, дескрипторов, с зашитым внутрь enum-константы поведением, очень сильно снижает вероятность ошибок, позволяет декларативно описать всё в одном-единственном месте. Длинно иногда получается, но не сильно страшно) Делал и использую подобный подход, кому интересно, смотрите тут (github, Java)
Не читал всю статью, но глаза случайно зацепились за график со скользящей средней
Выше в статье
Скользящая средняя может выглядеть так, как у вас на графике только если у вас есть "заглядывание в будущее" окном усреднения. Что, очевидно, грубейшая ошибка.
Видите, как оранжевая линия (скользящая средняя), как бы, "обгоняет" синию? Так и должно быть, если всё правильно сделано.
Что же это за дерево решений такое? И что оно решает?
То есть вы делаете спорное утверждение, а обосновывать его должны другие люди. Удобная переговорная позиция). Особенно когда рядом экспертов нет.
Ладно, спасибо за статью и ответы) удачи вам!
Хм, по ощущениям, именно мозг вы и моделируете, у вас в статье через слово "мозг".
Я понял, хорошо. Противоречия с биологией в части реализации локальных правил обучения нейронов и других проблем с RL, вы разрешаете тем, что не моделируете мозг.
О каких нейронных структурах речь? И чем различаются в них нейроны? (Только не шлите к нейрофизиологам пжл в этот раз)
Расскажите пжл, чем отличаются спайки от уха от спайков от глаза по способу воздействия на процессы обработки информации в мозге?
Используете ли вы эту "особенность" в своих разработках нейроморфных сетей?
Если что-то пришло по нерву от уха, это был спайк. Не "Спайк звука" и не "Спайк, который пришел по каналу от уха". А просто Спайк.
По нервам звуки не ходят. Информация о виде физического воздействия по нервам тоже не ходит. Вы ж это прекрасно понимаете, мне странно, что мы это вообще обсуждаем! Звуки остались до уха. В мозге нейрон, получивший спайк, не может никоим образом знать, что это был спайк с уха. Просто Спайк.
Возьмите любой нейрон в мозге, любой его синапс, по которому прошел Спайк - какой это был спайк, наказания, удовольствия, звука?
С преобразованием рецептором (палочки/колбочки, терморецепторы..) физического воздействия в нервный импульс (спайк), информация о виде воздействия стирается.
Информация о виде воздействия - это и есть "ярлыки". Вот они-то в мозг и не заходят, остаются до рецепторов. Это же очевидно, разве нет?
Стандартный - в смысле, если б мы хотели представить нейрон автоматом, это был бы наш порядок действий. Вообще - клеточные автоматы же, масса исследований, но не знаю, насколько клеточно-автоматные модели близки к реальным нейронам, да и вообще, ставилась ли кем-то такая задача.
Т.е. на нервном волокне у нас есть метки - слух, зрение, боль, удовольствие? А, хотя боль с удовольствием вы вообще отдельно интерпретируете, вычеркиваем)
Как иначе - я уже говорил: сигналы в мозг заходят и выходят без ярлыков, полная абстракция от "смысла" (кстати, как удачно вы его сюда ввернули).
Как представить нейрон конечным автоматом есть стандартный подход. Задать множество состояний для связей, множество состояний для нейрона, правила перехода между всеми этими состояниями.
Интересно. А какие недискретные состояния у нейрона есть? У нейрона импульсной нейронной сети, в смысле. И "непрерывный нейрон" - это вообще как?) Про вашу модель нейрона или про реальный нейрон?
Спайки одинаковые, не сомневаюсь. Ярлыки, подозреваю, вы вешаете на каналы.
Отсылаете к нейрофизиологам... А вы к ним, получается, не ходили, не консультировались, перед тем как аналогии между мозгом и вашими разработками проводить?) Вопрос важный, еще раз прошу вас пояснить, как по-вашему устроен процесс RL в мозгу? Какие отделы мозга задействованы? Какие "каналы", с какими ярлыками на них? Как у мозга получается адресоваться к конкретной группе нейронов, которую надо обучить?
Хорошо. Такт - это уже я про конкретную реализацию. У вас асинхронная модель, тут про такты неуместно говорить. Но могут быть и "тактируемые" модели, с единым дискретным временем у узлов (нейронов) и мозга (сети).
Ну да, чисел, на самом деле, и в компьютере нет)
Как мне кажется, точно, есть еще один недооценённый подход. Когда нейрон представляется конечным автоматом. Тут ни символьных вычислений нет, ни чисел, ни противоречий с природой.