Автоматический подбор синаптических весов. Самое начало. Циклический перебор

О боже, зачем это?

Может стоил начать с градиентного спуска, и объяснить его на пальцах с картинками? (для начала можно даже считать его численно)

Спасибо. А если обучать на заведомо не верных данных? Точность будет выше? Т.е. брать примеры картинок, которые не являются цифрами?