Не, я и так люблю авторов статьи про BPR за то, что они назвали свой алгоритм Bayesian из-за байесовского объяснения л2 регуляризации. Но то, что кто-то решил, что они придумали кросс-энтропию - это двойное уважение
Авторы пишут, что SASRec uses the BPR loss. Лол, это не так. В бпр сигмоида разницы предсказаний, а в сасреке обычная кросс-энтропия для каждого предсказания отдельно
Кстати а почему авторы A Case Study on Sampling Strategies for Evaluating Neural Sequential Item Recommendation Models не считают, что причина в лоссе? Разница между BERT4Rec и SASRec (кроме BERT > SA) только в лоссе. Причем интуитивно ожидаемо, что на сходимость/стабильность/ и т д бинарной кросс-энторпии из сасрека количество сэмплов плохо повлиять не может, на вот на софтмакс-лосс из BERT4Rec может. Возможно именно поэтому SASRec оказывается лучше берта при большем количестве сэмплов
Не, я и так люблю авторов статьи про BPR за то, что они назвали свой алгоритм Bayesian из-за байесовского объяснения л2 регуляризации. Но то, что кто-то решил, что они придумали кросс-энтропию - это двойное уважение
Статьи все больше разочаровывают((
Авторы пишут, что SASRec uses the BPR loss. Лол, это не так. В бпр сигмоида разницы предсказаний, а в сасреке обычная кросс-энтропия для каждого предсказания отдельно
Кстати а почему авторы A Case Study on Sampling Strategies for Evaluating Neural Sequential Item Recommendation Models не считают, что причина в лоссе?
Разница между BERT4Rec и SASRec (кроме BERT > SA) только в лоссе. Причем интуитивно ожидаемо, что на сходимость/стабильность/ и т д бинарной кросс-энторпии из сасрека количество сэмплов плохо повлиять не может, на вот на софтмакс-лосс из BERT4Rec может. Возможно именно поэтому SASRec оказывается лучше берта при большем количестве сэмплов