Типо того, да. Ну правда, байес все таки аддитивный, а эта штука может играть роль маски, умножаться разными способами, конкатенироваться, складываться и т.д.
Блок без входа = тензор (или нейронная сеть) - которые содержат обучаемые параметры. Т.е. обратное распространение ошибки через них проходит, но нет входа.
Конечно. Но у архитектуры роль, в каком то смысле, больше. Это хорошо видно на примере трансформеров - после их появления сети на такой архитектуре начали аутперформить конкурентов не только в своей области NLP, но и в CV и других областях. И в принципе, вполне реально анализировать вклад именно архитектурной составляющей, фиксируя процедуру.
Не может, на самом деле так и есть =) Дистилляция моделей и lottery ticket hypothesis это прекрасно демонстрируют. Подавляющая часть работы решается очень маленькой подсетью огромной сети. Собственно, сейчас вроде почти любые модели стараются дистиллировать, ибо иначе они слишком огромные и требовательные.
Ко вниманию как таковому претензий нет - тут суть в том, что в трансформерах основной профит приходится не с механизма внимания, а с чего то другого.
Если вы хотите статью про yolo - вы читаете статью про yolo, если вы хотите статью про трансформеры - вы читаете статью про трансформеры =) А вообще, по "горячим" источникам - лучше читать, собственно, источники.
Все указанное тут - есть в статьях. Ссылки на них даны. Просто прям в какую то цельную кучку оно обычно не собрано. Обычно это статьи вроде "а сейчас мы опишем нейронки теорией игр", "а сейчас мы найдем в нейронках фазовые переходы", а вот между собой это обычно не связывается. И т.д. Ну и вообще, наезда не понял =)
Ну, в некоторых областях нейронок действительно "революция на каждый день". В особенности хорошо это было видно в 21 году, где то недалеко от нового года, когда друг за другом несколько версий Yolo вышло и SWIN, и все аутперформили остальные конкурентов. Но я ничего не пытаюсь строить. По описанному тут и так есть статьи =)
А кстати, с учетом того, что это псевдоевклидово пространство, оно формально, не может вкладываться в какое нибудь большей размерности, по аналогии с вложением компактных гладких в R^n?
Типо того, да. Ну правда, байес все таки аддитивный, а эта штука может играть роль маски, умножаться разными способами, конкатенироваться, складываться и т.д.
Блок без входа = тензор (или нейронная сеть) - которые содержат обучаемые параметры. Т.е. обратное распространение ошибки через них проходит, но нет входа.
Конечно. Но у архитектуры роль, в каком то смысле, больше. Это хорошо видно на примере трансформеров - после их появления сети на такой архитектуре начали аутперформить конкурентов не только в своей области NLP, но и в CV и других областях. И в принципе, вполне реально анализировать вклад именно архитектурной составляющей, фиксируя процедуру.
Да, почитаю, спасибо =)
Не может, на самом деле так и есть =) Дистилляция моделей и lottery ticket hypothesis это прекрасно демонстрируют. Подавляющая часть работы решается очень маленькой подсетью огромной сети. Собственно, сейчас вроде почти любые модели стараются дистиллировать, ибо иначе они слишком огромные и требовательные.
Ко вниманию как таковому претензий нет - тут суть в том, что в трансформерах основной профит приходится не с механизма внимания, а с чего то другого.
К сожалению, прям огромного числа статей про зависимости сходимости от топологии - я не наблюдал :( Недоисследованная область, имхо.
Узнать об альтернативных методах изучения нейронных сетей.
Если вы хотите статью про yolo - вы читаете статью про yolo, если вы хотите статью про трансформеры - вы читаете статью про трансформеры =)
А вообще, по "горячим" источникам - лучше читать, собственно, источники.
Но наверное структуру надо будет поправить.
Дисклеймер, который должен сподвигнуть более шарящих людей поправить меня в местах, где я мог ошибиться =)
Все указанное тут - есть в статьях. Ссылки на них даны. Просто прям в какую то цельную кучку оно обычно не собрано. Обычно это статьи вроде "а сейчас мы опишем нейронки теорией игр", "а сейчас мы найдем в нейронках фазовые переходы", а вот между собой это обычно не связывается. И т.д.
Ну и вообще, наезда не понял =)
Ну, в некоторых областях нейронок действительно "революция на каждый день". В особенности хорошо это было видно в 21 году, где то недалеко от нового года, когда друг за другом несколько версий Yolo вышло и SWIN, и все аутперформили остальные конкурентов.
Но я ничего не пытаюсь строить. По описанному тут и так есть статьи =)