Когда обучение не идет. Loss is NaN. Причины и решения

[rsashka]

Но что, если заданный вектор x равен нулю, тогда и его норма.

Поэтому нам нужно нарушить уравнение (*).

Мы рассмотрели несколько случаев, когда функция потерь становится NaN. В вашем пайплайне обучения вы можете проверять выход NN, градиенты и значение функции потерь, являются ли они NaN. Это позволит вашему алгоритму прервать цикл обучения и исправить ошибку.

Это LLM пишет про LLM?