Продвинутые RL алгоритмы: NPG, TRPO, PPO

Годная статья наконец-то) Побольше бы таких с формулами. Есть опечатки в них, но легко понять как должно быть, так как весь вывод показан. В принципе, есть и объяснение для чего каждая особенность PPO была введена)