Спасибо за разбор - редко встретишь настолько честные эксперименты, с прямым признанием, где метод проигрывает GAN по чистоте сэмплов.
Отдельно понравился вывод в "Одноточечном случае": по сути это ровно классическая k-NN оценка плотности (Лофтсгаарден -Квезнберри, 1965), только развёрнутая в обратную сторону. Там плотность оценивают по расстоянию до соседа в готовой выборке, а здесь наоборот параметры генератора настраивают так, чтобы это расстояние минимизировать. Красиво, что получилась MLE оценка без единого явного вычисления плотности.
По эксперименту с шахматкой: в разделе "Что осталось за кадром" вы упоминаете возможность заменить L2 на расстояние в пространстве эмбеддингов. Любопытно, помогло бы это с мостами между несвязными клетками, или дело не в метрике, а в том, что непрерывный генератор в принципе не может дать несвязный образ и любая метрика тут упрётся в топологию?
Спасибо за разбор - редко встретишь настолько честные эксперименты, с прямым признанием, где метод проигрывает GAN по чистоте сэмплов.
Отдельно понравился вывод в "Одноточечном случае": по сути это ровно классическая k-NN оценка плотности (Лофтсгаарден -Квезнберри, 1965), только развёрнутая в обратную сторону. Там плотность оценивают по расстоянию до соседа в готовой выборке, а здесь наоборот параметры генератора настраивают так, чтобы это расстояние минимизировать. Красиво, что получилась MLE оценка без единого явного вычисления плотности.
По эксперименту с шахматкой: в разделе "Что осталось за кадром" вы упоминаете возможность заменить L2 на расстояние в пространстве эмбеддингов. Любопытно, помогло бы это с мостами между несвязными клетками, или дело не в метрике, а в том, что непрерывный генератор в принципе не может дать несвязный образ и любая метрика тут упрётся в топологию?