476 000 новостей против нейронки: пять попыток заставить текст предсказывать цену

[kuza2000]

Вы используете нейронки? Какая архитектура сети - полносвязная, сверточная, RNN, трансформер?

[svtoroi]

рекуррентная, компактная GRU, сигнал снимается с последнего состояния
гонял прости нее attantion-пуллинг, трансформер и вариант с учетверенным контекстом - все проиграли по деньгам

[VsBirdEye]

Интересно будет почитать про вашу реализацию rolling re-overfit weekly, измеряли ли инерцию режима, на какие параметры завязали стоп-кран и т.д.

[svtoroi]

все перечисленное как раз будет в следующей статье, плюс недавно нашел дыру в стресс тесте и она заметно поменяла часть выводов - так что статья выйдет честнее
но сначала опубликую короткий разбор по этой находке

[tester37]

Такие темы надо начинать с основ тервера. Сто раз читал умнейшие разборы, где авторы даже не удосуживались подумать о том, что такое дисперсия и какой реально объем данных нужен, чтобы быть уверенным, что не она дала полученный результат

[svtoroi]

статья ровно об этом) Сидовый шум ±10 п.п. из первой части - это и есть прямое измерение дисперсии оценки
один прогон нейронки не значит ничего, поэтому все сравнивается ансамблями по 5 сидов и первый гейт - сдвиг среднего AUC, а не красивый эквити
в ней под похожим комментарием считал deflated Sharp с поправкой на число перебранных гипотез
если видите где подход дырявый статистически - ткните пальцем, посчитаю и вернусь с цифрами

[Dhwtj]

Видимо, в человеческих текстах, коде есть смысл, закономерности.

А в новостях их нет