Автоэнкодеры в Keras, Часть 2: Manifold learning и скрытые (latent) переменные

[barmaley_exe]

codes = encoder.predict(x_test)
sns.jointplot(codes[:,1], codes[:,3])```

Так вы рисуете гистограмму апостериорного p(Z|X), а не маргинального p(Z). Для получения последнего нужно взять мат. ожидание первого по x_test.

[iphysic]

Не могу согласиться. В гистограмме плотность вероятности p(Z) оценивается по количеству X отображенных в нужный интервал по Z. Проходясь по сэмплированной выборке мы и приближаем мат ожидание по p(X). А p(Z|X) в представлении энкодера — это вообще дельта функция.

[barmaley_exe]

И правда, я ошибся.

[AlexSerbul]

Спасибо за пост

[AlexSerbul]

Тут Andrey Ng поясняет, как делать back-propogation на скрытом слое «кода» с хитрым трюком, если в функции ошибки добавлен штраф на величину активаций скрытого слоя. Правда на примере KL-divergence, то все равно познавательно :-) https://web.stanford.edu/class/cs294a/sparseAutoencoder_2011new.pdf