Comments 7
Как-то не очень с классификациями. Подчеркивания, смешивание логических уровней и так далее. Связи между сущностями - ок, они всегда могут быть, а иерархию эту с иллюстрации лучше бы не рисовали.
Как-то неинформативно выглядит проекция пятимерного пространства на двумерное. Может быть попробовать использовать выделение цветом/формой/размером для передачи дополнительной информации? Ну и подписи на осях, без этого тоже непонятно о чем идет речь.
В целом тема интересная, но непонятно какая задача решается в статье.
Надеялся, что в статье напишут свой w2v по шагам
.
А по-моему идея прикольная. В обычном w2v семантическая близость векторов возникает благодаря лексическому окружению слова. Но она "зашумлена" полисемией. Вместо этого можно взять какую то иерархию (например WordNet) и получить более "чистую" векторизацию, которую уже тьюнить на конкретной задаче.
Не могли бы вы пояснить, чем обусловлен выбор loss-функции mean_squared_error вместе с activation="sigmoid" на последнем слое? Кроме того, почему бы просто не взять случайные эмбеддинги и минимизировать непосредственно ошибку евклидового/косинусного расстояния между ними относительно желаемого? Зачем вводить дополнительные fully connected слои?
Семантика и технология Word2Vec