Как стать автором
Обновить

«Туда и обратно» для нейронных сетей, или обзор применений автокодировщиков в анализе текстов

Время на прочтение 9 мин
Количество просмотров 19K
Всего голосов 21: ↑20 и ↓1 +19
Комментарии 4

Комментарии 4

Спасибо за статью!
Мне кажется, приведенное объяснение того, что автокодировщики дают размытое изображение, только половина правды. Я про «Объясняется это тем, что мы стараемся сохранить в скрытом представлении только наиболее важные признаки объекта, поэтому объект восстанавливается с потерями.». С потерями можно восстановить изображение и без размытия. Просто сам фреймворк автоэнкодеров подразумевает размытие из-за того, что они выдают некое «усредненное по всем возможным» изображение на выходе, вместо того, чтобы сгенерировать один из возможных примеров с четкими границами, пусть и не совсем идентичный оригиналу.
Мне кажется, Ваше предложение не противоречит моему — усреднение подразумевает под собой потери. Можно тут смотреть как раз в сторону VAE — моделирование среднего и дисперсии позволяет учесть вариации выборки и улучшает механизм порождения объекта. Отличный пример — вот эта статья arxiv.org/pdf/1502.04623.pdf. И, как я и писала в обзоре, тут хорошо показывают себя Generative Adversarial Networks — добавление adversarial loss также позволяет минимизировать размытие.
Спасибо за статью, было очень интересно.
Мне показалось, что немного не хватает структуры, я так и не понял, что применили вы и в какой степени, что считаете более перспективным, а что нежизнеспособным. Но сама математическая магия хороша. Вроде все это читал, но о таком применении никогда бы не подумал.
В статье про детектирование переводных заимствований про это упомянуто — архитектура encoder-decoder, где в качестве блоков кодирования и декодирования выступает GRU. Основная суть у нас в использовании чуть более хитрой функции ошибки (не просто ошибка реконструкции) и подборе правильных обучающих примеров. Тема, действительно, интересная — подробно про это будет рассказано в научной статье, ссылку на которую мы обязательно выложим сюда после публикации.
Зарегистрируйтесь на Хабре , чтобы оставить комментарий