Как я нейронку в «динозаврика» играть учил

[@VereVa]

а где-нибудь код посмотреть можно?

[@loony_dev]

Поддерживаю, было бы интересно посмотреть и самому поиграться.

[@deepblack]

Болтовня ничего не стоит. Покажите мне код. © Линус Торвальдс

[@MrNereof]

Спасибо за интерес! Вряд ли в одном комментарии можно описать весь код, как по мне, лучше написать 2 часть статьи. Если будет свободное время и если это кому-то будет интересно, то я постараюсь написать более подробно.

[@gasizdat]

ГА никаким боком к нейроалгоритмам не относятся.

[@usdglander]

Это один из методов настройки весов.

[@tchspprt]

Тем не менее это не нейроалгоритм. Максимум — один из алгоритмов для машинного обучения. Без критики к самому методу ГА, он очень крутой (либо я обыватель, что более вероятно).

[@usdglander]

Ну если так рассуждать, то тогда "нейроалгоритм" — это матричное умножение.

[@barkalov]

Как по мне, «нейроалгоритм» это, как минимум, backpropagation (в том или ином виде).

Иначе и random-guess-on-each-epoch можно за способ настройки весов принять…

[@kuza2000]

Как по мне, «нейроалгоритм» это, как минимум, backpropagation (в том или ином виде).

Backpropagation это лишь метод быстрого получения частных производных от функции ошибки по весам нейронной сети. Далее полученные производные используются для корректировки весов другими алгоритмами, например стохастическим градиентным спуском. Но, на самом деле, не только им, этих методов очень много…

Кстати, градиентный спуск — это он тогда «нейроалгоритм»? :))

[@gasizdat]

Если так рассуждать, то конечно. Но тогда к НА относятся языки, на которых они реализуются, ЦП, на которых выполняются, прослойки между клавиатурой и креслом и т.п. вещи. Автор банально не разбирается в матчасти, заявляя, что «внутри у ней нейронка», не понимая, что кросинговер, мутации и отбор по фитнесс-функции — это имитация «генетики» и «естественного отбора», а не обучения с подкреплением и нейропластичности.

[@stalker1984]

Y==Z?

[@MrNereof]

Нет, Z, как показано, отражает дистанцию (красная линия), а X — это высота (зелёная линия).

[@j8kin]

А что под капотом? Как управляли? webDriver ом?
Я тоже думал об этом во время отсутствия интернета)))), но мне виделось, что это можно реализовать без стратегии просто анализом того, что есть на экране.

[@old_bear]

Я, конечно, сильно извиняюсь, но статья получилась вида: «нарисовать сову очень просто — сначала рисуем два кружочка, а потом дорисовываем остальную сову».
А, я понял. Это банальная попытка раскрутки своего канала на youtube. Картинка из одной статьи с Вики, ссылка на другую статью, минимальный набор пустого текста, и в конце ссылка на свой канал. Бяка, в общем.
Плохо, что такие пустышки стали на Хабр пролезать. Надеюсь, что вас отправят в хабро-яму за использование сайта в рекламных целях.

[@loony_dev]

Из-за новой политики Хабра в отношение статьей и контента, качество контента, как по мне, сильно пострадало. Может я просто раньше не столько времени сидел на хабре, но сейчас в тред попадают откровенное «пустые» или даже «рекламные» статьи.

[@Exosphere]

Добрый день! Сообщите, пожалуйста, что именно в статье вам кажется рекламой?

[@old_bear]

Добрый.
Мне показалось, что я достаточно подробно изложил свою точку зрения в своём предыдущем комментарии. Фактически, единственным уникальным содержанием статьи является ссылка на канал youtube. Ну и ещё пара кадров, предположительно из единственного видео на этом канале.

[@MrNereof]

Спасибо за ваше мнение! Статью я не старался сделать рекламной, но видно вам кажется иначе. В следующие разы постараюсь писать более насыщенный текст.

[@QtRoS]

А я подумал, что интернет включили и на этом все оборвалось…
А ведь вкладка провисела несколько дней в очереди на чтение в надежде увидеть что-то интересное.

[@vyo]

Показалось, что где-то видел, полез искать. Нашлось это (за авторством code bullet):

видео

[@Pochemuk]

Показалось, что где-то видел, полез искать. Нашлось это ...

А тут симпатичнее:

[@vyo]

Забавно, только это не динозаврик :-)

[@MrNereof]

Спасибо, я это видео видел. Но меня вдохновила другая работа.

[@MrNereof]

Здорово! Спасибо за наводку.

[@MrNereof]

:)

[@Alex_ME]

В чем преимущества использование ГА в этой задаче перед специальными методами для Deep Reinforcement Leqrning? Q-learning, Policy Gradients и еще over9000 появляющихся постоянно хитрых методов, которые я не знаю? Хотя здесь, думаю, хватило бы и Q-Learning.

[@MrNereof]

С этим трудно поспорить, да и незачем… Ведь в этом вы правы. Просто на момент создания я был заинтересован в создании ГА. А так Q-Learning подойдёт лучше.

[@kuza2000]

Принцип работы нашей программы (как мы уже говорили) основаны на машинном «обучение с подкреплением». Описать принцип работы я постараюсь в нескольких словах:

В каждом поколении выбираются несколько лучших представителей. На их основе создаётся новое. На основе различного «веса» нейронных связей и входной информации (дистанция до преграды, и её высота) принимается решение о действие конкретного представителя вида.

Да уж… :))) Посмеялся :) срочно уберите в черновики ЭТО, пока живы :)))

[@MrNereof]

Можете подробней описать, что вам не понравилось в данном куске текста? Заранее спасибо за помощь в улучшение моей первой статьи!

[@kuza2000]

Хорошо. Напишу :)
Во первых, это не просто «кусок текста», а отрывок Вашей стати. Про свою статью я не напишу «кусок текста». Все же надо писать не «куски текста», а делиться чем-то, что может быть интересно и другим.

Насчет этого отрывка. Если честно, я с ходу влепил минус статье и в карму минус тоже. Вообще, думал, что заминусуют жестко и сразу, но Вы, похоже, подкупаете всех какой-то наивностью что ли :)
По этому отрывку. Что бы писать слова «основаны на машинном <обучение с подкреплением>», стоит хотя бы немного ознакомится с темой, что значат эти слова. На самом деле, это невероятно крутая вещь, с которой довольно много кто играется, но результаты довольно противоречивы. Если начнете вникать в тему, поймете о чем я. Для начала рекомендую прочесть азы, это «Саттон Ричард С., Барто Эндрю Г. Обучение с подкреплением».

В общем и целом, обучение с подкреплением не связано с нейронными сетями, с генетическими алгоритмами тоже. В классическом виде оно строится на таблице. Но нейронную сеть «прикрутить» можно, что несколько лет назад доказали ребята, достигнув очень много удивительных результатов. Оказалось, что можно прикрутить сверточные сети, подав изображения с экрана аркадной игры (atari), и алгоритм учится, и начинает играть очень неплохо. Проводились хакатоны, даже в Физтехе (https://habr.com/ru/post/264871/). Конечно, в «контуре обучения» с подкреплением были не только сверточные сети, на эту тему было написано немало научных публикаций.
Сам я тоже экспериментировал и с табличным Q-лернингом, и с использованием нейросетей, и со многим другим тоже.

По статье. Тут, на хабре, народ, которому нужна конкретика. Это по телевизору можно рассказать про летающих дракончиков. А тут нужен реальный программный код, что бы каждый мог взять и запустить дракончика сам. Посмотреть, как летает, (поговорить с ним :), изменить код и улучшить результаты :)

Минус в карму сменил на плюс, к сожалению, ноль сайт не позволяет сделать. Надеюсь, следующая статья будет лучше :)

Кстати, генетические алгоритмы мне очень нравятся, возможно, я скоро о них напишу статью)