Как я случайно открыл функцию активации с багом, побеждающую Swish

[domix32]

А искать работы с этой формулой пробовали?

[Mixaer2]

Не, не пробовал. Но спасибо за идею, в свободное время могу поискать.