Как я случайно открыл функцию активации с багом, побеждающую Swish

Не, не пробовал. Но спасибо за идею, в свободное время могу поискать.