Комментарии 6
Статья очень качественная как всегда, но хотелось бы видеть ещё про Lion от Google Brain который использует генетические алгоритмы, ибо по их исследованию он значительно лучше чем Adam(W).
Спасибо :). Честно говоря, изначально я планировал рассказать про большее количество алгоритмов (в том числе и про не градиентные методы, а также про самые последние оптимизаторы) с их реализацией с нуля на питоне, но в последний момент решил этого не делать. Дело в том, что очень часто бывает так, что на бумаге алгоритм работает хорошо, а через год-два появляются контрпримеры, на которых ломаются его доказательства. Обычно проходит несколько лет, чтобы оптимизатор хорошо зарекомендовал себя на практике.
Такое явление даже можно встретить в учебных пособиях от более опытных авторов, когда в более поздних изданиях они просят забыть про то, что говорили ранее, поэтому я решил обойтись наиболее важными концепциями, чтобы потом случайно никого не ввести в заблуждение. Возможно, в будущем выпущу ещё одну статью на эту тему, но это не точно :)
Спасибо за статью! Бриллиант среди работ тут. Согласен с комментатором выше, хотелось бы услышать про современные подходы по оптимизации, например AdaBelief - за 4 года пока не видел статей с его недостатками)
Только SVD - это сингулярное разложение, а не спектральное, но из него можно получить спектральное. В остальном очень интересно, спасибо
Всё верно, просто возникло недопонимание). По сути, SVD является обобщением спектрального разложения и одним из его популярных примеров. Проще говоря, в скобках SVD указан не как расшифровка, а как один из примеров. Этот момент я только что подправил в статье, чтобы не было недопониманий. Спасибо за хорошее замечание.
К слову, такого рода "странные" обозначения иногда встречаются в статьях по ML, например, как в предпоследней из дополнительных источников.
Методы оптимизации в машинном и глубоком обучении. От простого к сложному