qwertyforce Mar 29 at 11:32

Мультимодальный трансформер для content-based рекомендаций

Medium

6 min

2.2K

Циан corporate blogMachine learning*

Case

+13

Comments 5

odmin227 Mar 29 at 17:37

А вот такой вопрос почему решили LongFormer использовать? Она как-то помогает representation сделать или что-то типо нормировать эмбеддинги в пространстве? Или это просто что бы сократить количество токенов?

qwertyforce Mar 29 at 17:55

LongFormer используется в оригинальной статье, т.к у него attention за O(seq_len*window_len), что быстрее чем дефолтный seq_len^2 у BERT. Можно попробовать и другие эффективные attention'ы, надо тестить

deethereal Mar 29 at 18:09

Прикольный подход! А тестили классические SASRec/BERT4Rec на айдишниках, как они перформят относительно content-based подхода?

qwertyforce Mar 29 at 19:02

На своих данных нет, тк все равно хотели отказаться от айдишников, но авторы статьи тестили https://arxiv.org/pdf/2305.13731.pdf (7 страница)

KarRis Apr 1 at 08:54

Авторы предлагают представлять товар как совокупность его атрибутов, а пользователя описывать как атрибуты товаров, с которыми он взаимодействовал

Вопросик такой, а разве это не ложится на какую графовую базу данных и погнали?