Как создать свою собственную нейронную сеть с нуля на Python

[Revertis]

А есть то же самое, но для Раста?

[Keirichs]

Я вообще проходимец, но как заметил это реализация формулы автора тупо на питоне,
чтобы реализовать такое на расте, полагаю, надо уметь пользоваться математическими функциями в этом языке.

[tenzink]

Немного странно использовать квадратичную функцию потерь в связке с sigmoid активацией на выходном слое. Тут уж либо мы решаем задачу классификации, либо регрессии

• задача классификации: sigmoid activation + cross-entropy loss

• или задача регрессии: linear (no) activation + quadratic loss

[ShashkovS]

У меня вот есть такая интерактивная иллюстрация работы ма-а-а-аленькой сеточки, которая играет в змейку: https://shashkovs.ru/ai/

ReLU + чем толще линия — тем больше слагаемое

[user18383]

Очень интересно что такое казалось бы сложное задание, нейросеть может выполнить на таком маленьком количестве нейронов.

[Hvorovk]

Ну игры даже сегодняшние развивают мозг, различные механики к которым нужно найти подход, различные логические задачи в играх все так же встреачаются опять же. Да условный cookie clicker мало что разовьет, как и змейка, но все же это уже лучше чем смотреть в стену)

[ShashkovS]

Там есть вариант, когда оно играет в змейку вообще без промежуточного слоя: 4 входных и 3 выходных, то есть всё управление — это 15 весов.

[ShashkovS]

Для змейки всегда есть положение «вперёд». Во входе «яблоко» угол от положения «вперёд» в радианах.

[ShashkovS]

А, ну и конкретно про 3.14. Для вычисления угла используется atan2, а для приближения справа Math.atan2(0, -1) = 3.1415...

[ShashkovS]

Не, асимметрия ненамеренная. Угол вычисляется через atan2, которая так работает... Но вообще действительно есть гипотеза, что это портит обучаемость. Нужно бы как-то это поправить и попробовать переобучить заново.

[gybson_63]

Порекомендую вот эту статью
Let’s code a Neural Network in plain NumPy | by Piotr Skalski | Towards Data Science

[Glomberg]

Покажите как используется ваш класс в итоге и что является результатом работы. Покажите код, который делает это "Давайте обучим нейронную сеть на 1500 итерации". Спасибо.

[matthew_shtyasek]

А почему именно сигмоид? Почему не relu, например?

Просто насколько мне известно, от сигмоида отказываются из-за того, что при обучении он любит уходить намертво в 1 или 0. Ну а если не уходит, то по сути мы получаем ± градиент как при relu

[Scott_Leopold]

Думаю, автор просто прочитал только первую главу учебника по ML, а там было написано про перцептрон с активацией на сигмоиде. Ну и вот

[EX_Amadeus]

С удовольствием прочитал бы ваши статьи и пообсуждал их, но увы их 0)

[EX_Amadeus]

Круто
Но код на гите был бы не лишним)