radmirryanвчера в 11:46

Смысловой Embedding, или как доставать смысл из слов

Простой

4 мин

Комментарии 3

Хорошая идея, но вот что я бы сказал по статье:

Зачем везде курсив и жирное вставлять!?!?!? Это некрасиво выглядит...
Слишком короткая - хотя бы плюсы и минусы бы добавили или более подробный (хотя бы теоретический) разбор вашей идеи.
Бенчмарки должны быть - не обязательно сравнения, хотя бы покажите что модель с вашими смысловыми эмбеддингами вообще работает, а не скатывается в loss 4 или наоборот, оверфиттинг, и всё такое.

Так же вам надо довести формулы до ума, там ваш модуль может только мешать, попробуйте без него.

И ещё - правильно было бы писать не как:

$\frac{1}{1 + e^{-|W_1|}}$

, как у вас, а вот так:

$\sigma(|W_1|)$

$\sigma$ - это сигмоида.

Большое спасибо за обратную связь! Сейчас я обучаю модель с использованием этой идеи, так что бенчмарки будут. В ближайшее время отредактирую пост и исправлю все недочёты, которые вы отметили.
Насчёт сигмоиды я знаю, что она выражается в формулах так. Но в основном я делал ставку на то, что кто-то может не знать формулу сигмоиды.

Вы лучше уже новый пишите, потому что старый уже мало кто заметит.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий