Комментарии 2
Здравствуйте, спасибо за цикл статей.
"Self-Supervised Learning (или unsupervised) "
Вы тоже (как, в общем-то и я в нестрогих разговорах), приравниваете SSL к Unsupervised learning? Старая добрая кластеризация k-means, например). Просто раньше \ в основном разделяют. Связано не со способом тренировки, а со способом использования результата. Здесь можно найти таксономию: (страница 5 https://arxiv.org/pdf/2002.08721.pdf )
Можно ли относить AE (VAE) к SSL как варианту Joint Embedding Methods ? Если после тренировки использовать енкодер, а генератор выбросить. Понятно, что результат не очень. Я лишь для уточнения терминологии.
Можно ли относить Unsupervised Domain Adaptation c предобучением на синтетических данных к SSL? Ведь мы не используем в ручную созданные метки на Target (downstream) task. А синтетику можно обозвать "алгоритмом".
Спасибо за ответы.
Тут в определении я писал исходя из мысли что Self-supervised можно встретить в литературе как unsupervised. Согласен, что из формулировки это явно не следует) А глобально я бы разделял Self-Sup и UnSup. По построению задачи Self-Supervised ближе к supervised (есть таргет и веса обновляются по обратному распространению). По использованию результатат они как будто все отличаются)
Да, где-то в статьях даже есть упоминание про это. Так же и GANы можно использовать, но там результат тоже не очень
Я бы не стал их объединять, хотя по некоторым аспектам можно найти аналогию. Мол, мы учим данные на знаниях об их внутренней структуре. Но в случае SSL мы изначально знаем достаточно мало, в то время как в синтетике мы знаем о сцене всё по построению. Условно в синтетике даже больше информации, чем в супервайзд задачах. Глобально домейн адаптейшен большая тема и заслуживает отдельного цикла статей, наверно)
Self-Supervised Learning. Проблематика и постановка задачи