SNA Hackathon 2019: усложняем архитектуру — упрощаем признаки

[sannikovdmitry]

Грац статья!

[sergeyns]

Не понял что это за желтый квадратик «класс или его остутствие» которые появляется на первой картинке и наравне со сигмоидной от скалярного произведением лезет в min. Это «target» на обучении?

[anokhinn]

Да, это целевая переменная (y в уравнении). Я добавил ее на диаграммы, чтобы на них были представлены все компоненты, которые есть в уравнении.

[myrov_vlad]

Благодарю за решение!
Было интересно наблюдать как вы заняли почти на всех треках первое место.
Я сам не пробовал добавлять user_id как категориальную фичу (все-таки что-то около ~3800000 пользователей при ~16000000 постов), но пробовал добавлять пользователя как усредненный эмбеддинг постов которые он лайкнул, в результате сесть очень сильно переобучалась и вместо P(like | user, post) решал P(like | post), что, видимо, сыграло свою отрицательную роль (выше 0.64 не смог подняться).
В результате использовал классические RNN.
Сорцы решения: github.com/Vlad0922/mlboot_sna_text

[anokhinn]

Было интересно наблюдать как вы заняли почти на всех треках первое место.

Это не я, скорее всего вы имеете в виду Ивана Брагина.

Я сам не пробовал добавлять user_id как категориальную фичу

я сделал для топ-100к user_id собственные эмбединги, а все остальные были на одном oov-значении. При этом в моем случае добавление последовательности постов дало намного больше прирост качества, чем собственно user_id.

выше 0.64 не смог подняться

0.64 в топ-15 по этой задаче, следовательно вы прошли квалификацию на очную часть. Возможно, там увидимся.

[sergeyns]

А вы выложите код решения? (ну не щас, а после 1го апреля)

[anokhinn]

Пока не могу ответить — это зависит от нескольких факторов.