LSWM 2.0 is all you need

[pureooplover]

Если нашли какую-то ошибку, недочёт или что либо ещё - сообщайте пожалуйста.

[ToxaBes]

При прочтении вашей работы (этой и предыдущих частей) меня не покидает стойкое чувство дежавю. Как будто я уже читал как это кто-то делал или разбирал когда-то, но я не могу ни вспомнить, ни найти подтверждение этому.

Я ни в коем случае не имею ввиду, что ваша работа вторична или что-то такое, я о том что походу у меня когнитивное искажение в конкретно этой теме. Вы, пожалуйста, продолжайте, интересно что это даст дальше. Мне почему-то кажется, что residual connections даст больше эффект чем mLSTM.

[pureooplover]

Мне почему-то кажется, что residual connections даст больше эффект чем mLSTM

Я имел ввиду объединить их...

Ну типа:

1. LSWM

2. Residual connection (то есть то что пошло на вход мы прибавляем к результату слоя)

3. mLSTM.

4. Выход.

[ToxaBes]

Я в том смысле, что использование mLSTM скорее всего все ухудшит, а сам Residual connection для с вязи с чем-то другим - нет. Но могу ошибаться.

[pureooplover]

А-а-а, теперь понял!