Comments 3
Забавное совпадение. Вникаю в моделирование дискретного выбора, загуглил (надеюсь, слово "загуглил" в Яндексе не считается матерным) распределение Гумбеля. Вижу ссылку на статью на Хабре. "Ну какое-нибудь старье" - подумал я. А тут на тебе - 1 час с момента публикации.
Совпадение?.. Не думаю :)
Что лучше для дискретизации тензора - gumbel softmax или VQVAE?
Про решение проблемы вычисления градиентов: есть вот такая статья, где к распределению вероятностей, зашумленному Гумбелем, применяют SoftArgmax, т.е. Softmax + вычисление мат-ожидания.
Кажется довольно простым способом организовать честное(?) дифференцируемое сэмплирование.
Sign up to leave a comment.
Софтмакс Гумбеля: как устроен и для каких нейронных сетей полезен