Всем привет. В этой статье мы рассмотрим идею, которая даст возможность нейросетям строить не только эмбеддинги токенов, но и «смысловые» эмбеддинги.

В статье я рассказываю о LTanh — функции активации, которая сохраняет форму Tanh, но решает проблему затухающего градиента. Показываю, как пришёл к формуле, вывожу производную и сравниваю её с Tanh в точках 0–5. В хвостах LTanh даёт в 150–850 000 раз больший градиент, оставаясь ограниченной и гладкой.