вы пишите, что не используете время события как сигнал
Отдельно отметим, что мы не используем явное кодирование временных промежутков (time gaps) — задача формулируется как event-sequence, где порядок событий уже несёт основной сигнал.
но трансформерам недостает понимания "истории"
В отличие от трансформеров, которые обрабатывают последовательность более «плоско», RNN естественным образом формируют историческое состояние.
1/ может стоит передавать time gaps как фичу в трансформер? или ввести для него какой-то архитектурный аналог состояния? (зумеры вновь изобрели rnn после переизобретения трансформеров).
и еще на будущее
2/ как думаете, насколько вообще возможно из этих данных извлечь архитектурными изысками еще метрики? кажется, что возвращаемость кредита от природы хаотичный таргет, и идеально его предсказать не получится.
3/ на сколько суммарно в итоге получилось улучшить модель с 2023 по 2026 методами из статьи?
4/ какие эксперименты вы проводите по работе с источниками данных, определением сегментов и тп — видите ли в этом поле возможности для новых прорывов?
классные идеи в статье. действительно, multiagent reinforcement learning, вдохновленный природой, уже вовсю работает (например organic alignment от https://softmax.com/). → можно вдохновляться имунной системой и другими фичами безопасности систем в природе.
интересно, можно ли в таком случае обвешаться гардрейлами и прочими другими detect/response-утилитами поверх уже работающей системы, или безопасное поведение должно вшиваться в агентов уже на этапе обучения? хочется посмотреть, как на практике могут выглядеть ваши предложения — "верификация, мониторинг, робастность".
Small but pretty hack, спасибо за статью! У тебя получилось в итоге полностью избавиться в пайплайне от OCR и ручных фильтраций, или ты их как-то с gpt-4o сегментатором как-то комбинируешь?
классный текст и эксперименты, спасибо!
вы пишите, что не используете время события как сигнал
но трансформерам недостает понимания "истории"
1/ может стоит передавать time gaps как фичу в трансформер? или ввести для него какой-то архитектурный аналог состояния? (зумеры вновь изобрели rnn после переизобретения трансформеров).
и еще на будущее
2/ как думаете, насколько вообще возможно из этих данных извлечь архитектурными изысками еще метрики? кажется, что возвращаемость кредита от природы хаотичный таргет, и идеально его предсказать не получится.
3/ на сколько суммарно в итоге получилось улучшить модель с 2023 по 2026 методами из статьи?
4/ какие эксперименты вы проводите по работе с источниками данных, определением сегментов и тп — видите ли в этом поле возможности для новых прорывов?
классные идеи в статье. действительно, multiagent reinforcement learning, вдохновленный природой, уже вовсю работает (например organic alignment от https://softmax.com/). → можно вдохновляться имунной системой и другими фичами безопасности систем в природе.
интересно, можно ли в таком случае обвешаться гардрейлами и прочими другими detect/response-утилитами поверх уже работающей системы, или безопасное поведение должно вшиваться в агентов уже на этапе обучения? хочется посмотреть, как на практике могут выглядеть ваши предложения — "верификация, мониторинг, робастность".
Small but pretty hack, спасибо за статью! У тебя получилось в итоге полностью избавиться в пайплайне от OCR и ручных фильтраций, или ты их как-то с gpt-4o сегментатором как-то комбинируешь?