Comments 1
Чтобы не вводить в заблуждение, это скорее расширение. Так как в основе также трансформеры ограниченные контекстным окном. То есть временной рад ограничен временным окном трансформера.
Таких кросс моделей сейчас делают много. Китайцы как дополнительные модальности пихают все в своих работах, от разных форматов документов до видео, картинок и так далее.
По сути, в данной работе временной ряд кодируют патчами, как видео. И вставляют токены "временного ряда" с токенами текста.
Точно так же делают когда объединяют модальности видео и текста, картинок и текста и другие.
Так что вещь ограниченная и очень специфичная при такой реализации
Sign up to leave a comment.
Встречайте OpenTSLM: семейство моделей языка временных рядов (TSLM), для анализа медицинских временных рядов