Часть 2: Vision Transformer (ViT) — Когда трансформеры научились видеть

[S_A]

спасибо! доступно.

но задача классификации сейчас не самая полезная в CV. есть ли трансформеры для сегментации? ещё бы желательно претренированные

[fartoviy109]

Да, такие существуют. В ближайших планах будет статья с обзором архитектур для сегментации и детекции

[S_A]

да уже нашёл, segformer, жалко что не instance segmentation

[Flokis_guy]

Vision Transformer (ViT) доказал: для понимания картинок не обязательны свёртки!

Я больше скажу, не нужны ни свертки, ни трансформеры. Можно вернуться к истокам используя MLP и получить отличные результаты.

[Rigidus]

Я не смог уловить, как именно мы "Каждый 12-мерный вектор патча сжимаем до 4-мерного эмбеддинга"?

[fartoviy109]

Происходит с помощью линейного слоя, который выполняет умножением вектора патча на матрицу весов W. Это обучаемый параметр размером 12×4 (из 12 измерений → в 4).