radmirryan Oct 1 at 11:46

Смысловой Embedding, или как доставать смысл из слов

Easy

4 min

5.6K

Machine learning *

Comments 4

pureooplover Oct 1 at 17:50

Хорошая идея, но вот что я бы сказал по статье:

Зачем везде курсив и жирное вставлять!?!?!? Это некрасиво выглядит...
Слишком короткая - хотя бы плюсы и минусы бы добавили или более подробный (хотя бы теоретический) разбор вашей идеи.
Бенчмарки должны быть - не обязательно сравнения, хотя бы покажите что модель с вашими смысловыми эмбеддингами вообще работает, а не скатывается в loss 4 или наоборот, оверфиттинг, и всё такое.

Так же вам надо довести формулы до ума, там ваш модуль может только мешать, попробуйте без него.

И ещё - правильно было бы писать не как:

$\frac{1}{1 + e^{-|W_1|}}$

, как у вас, а вот так:

$\sigma(|W_1|)$

$\sigma$ - это сигмоида.

radmirryan Oct 1 at 17:54

Большое спасибо за обратную связь! Сейчас я обучаю модель с использованием этой идеи, так что бенчмарки будут. В ближайшее время отредактирую пост и исправлю все недочёты, которые вы отметили.
Насчёт сигмоиды я знаю, что она выражается в формулах так. Но в основном я делал ставку на то, что кто-то может не знать формулу сигмоиды.

pureooplover Oct 1 at 17:56

Вы лучше уже новый пишите, потому что старый уже мало кто заметит.

pureooplover yesterday at 05:41

Посмотрел отредактированную вашу статью - да, намного лучше. Но, чтобы было НАМНОГО удобнее читать - во первых sigmoid сам по себе модуля (|x|) в формуле не имеет (там просто 1 / (1 + exp(-x))), да и хотелось бы увидеть результат хотя бы простенькой сети с вашими смысловыми эмбеддингами и без.

Но, а так - интересненько, мне кажется, идея имеет смысл.