Создание торгового бота используя машинное обучение в анализе временных рядов

[@StasTukalo]

Спасибо за статью. Приятно видеть, что я не одинок в своих потугах.
Несколько вопросов:
1. используете бустинг вообще и катбуст в частности?
2. используете гпу?
3. про архитектуру сети можете рассказать?
4. курсы одного инструмента с разных бирж используете?
5. внебиржевую информацию пытаетесь как-то использовать в обучении?

Спасибо и успехов!

[@Docal]

Подскажите где нашли историю выставленных и отозванных ордеров?
Так же занимаюсь написанием торговых стратегий на Bitmex. Начинал с нейросетей но в результате использую другие методы. Правда прибыль в бектестере отличается от прибыли в режиме лайв.
Кстати насколько процентов или долей процентов Вам удалось побить рынок? Например используя метрику profit/turnover.
Испытываете ли проблемы с нестабильность api, это когда на рынке начинаются движения и биржа не даёт поставить /изменить ордер а бросает вместо этого ошибку что API overload?

[@Slav2]

Плоховасто торгует прямо скажем. Если вы действительно снимаете данные раз в 10 секунд, то зачем открывать короткие позиции когда цена еще не начала падать? Последние 2 красных треугольника явно не в тему.

Я бы вообще отказался от анализа данных с bitmex. Максимальные обьемы торгов на binance. Bitmex торгует деривативами цена на которые опирается в первую очередь на индекс цены на других биржах. И какие бы ни стояли стаканы заказов на bitmex цена пойдет в ту же сторону, что и на binance, еще и с задержкой. Ну и какой смысл скармливать эти данные алгоритму МО? Могу сэкономить вам пару месяцев и исторические данные с Binance предоставить.

[@fivehouse]

Не хотелось бы расстраивать автора, но надеюсь мой комментарий спасет ему и другим читателям этого комментария несколько (десятков) лет жизни. Никакой ML, никакой псевдо-Artificial Intelligence, никакая BigData, никакой Python c алгоритмами не поможет, если у исследователя нет хотябы 80% понимания структуры математического объекта с которым он работает. В данном случае идет речь о временных рядах. Временные ряды это очень сложные математические объекты из реальной природы самого разнообразного типа. Существующие практические методы исследования временных рядов дают минимальные сведения об этих объектах точного, но поверхностного характера. Все другие основательные попытки рассмотрения временных рядов при попытке отрыва от банальных статистик выливаются в монументальные математические исследования и во вполне самостоятельные разделы современной передовой математики. И в конечном итоге там и остаются, не приводя ни к чему. Это означает, что либо вы должны открыть фундаментально новые методы исследования временных рядов, либо вы просто развлекаетесь с «Python, Программирование, Алгоритмы, Машинное обучение, Искусственный интеллект» обманывая себя и других пустыми надеждами на какой либо результат.
Всё ML (абсолютно все) строится на предположении, что существуют «некотрые паттерны». Их просто надо найти, запомнить и вызвать из памяти когда придет время и когда нужно будет предсказать результат. Так вот, во временных рядах НЕТ никаких паттернов. Есть «похожие движения», их легко обнаружить в исторических данных. Но они никогда достоверно не повторяются в будущем.

[@Slav2]

Вот математикам точно не нужно прикасаться к созданию торговых ботов. Вы не с математическими объектами имеете дело, это всего лишь описание физического объекта в математической форме. А у физических объектов есть ограничения, которые сложно увидеть, но которые влияют на поведение системы. Пример 1. На Binance есть ограничение на количество заказов информацию о которых можно получить создав запрос по API. Ордербук может содержать максимум 2000 заказов, но это будет «дорогой» запрос. Высокочастотный торговый алгоритм ограничится информацией о 500 заказов. Вы думаете это никак не влияет на будущее движение цены? Пример 2. Тот кто торгует руками зачастую используют данные с агрегаторов, таких как tradingview. Времена открытия и закрытия свеч детерминированные. Я не вникал как формируются данные (либо биржа разбивает временной ряд данными своего тикера, либо сам tradingview), но вероятность наступления событий на бирже будет зависеть от того скоро ли произойдет закрытие свечи и на каком временном интервале. Если говорить про ML то важно на каких данных обучается нейросеть. Но автор статьи подробностей не привел, даже поучиться нечему.

[@fivehouse]

В начале комментария поднят отличный вопрос о сущности математики.

Вот математикам точно не нужно прикасаться к созданию торговых ботов.

Боты бывают самые разные и пытаются эксплуатировать самые разнообразные идеи формирования прибыли. Я совершенно уверен, что бот упомянутый здесь в статье, который пытается предсказывать поведение временного ряда на основе исторических данных, нуждается в фундаментальном математическом исследовании временного ряда, с которым он пытается работать. Пока этого не произошло, бот просто тыкает палкой в воду.

Вы не с математическими объектами имеете дело, это всего лишь описание физического объекта в математической форме.

Правльно. Но только исходя из математической модели достаточно точно описывающей реальный объект физической природы можно с некоторой точностью описать будущее поведение временного ряда. Все остальное это самообман.

А у физических объектов есть ограничения, которые сложно увидеть, но которые влияют на поведение системы.

Если вы не обнаружили эти ограничения, если вы не смогли адекватно отразить их в своей математической модели, это означает, что вы можете ошибиться в понимании происходящего в любой момент. И это значит, что любая система, котрая которая базируется на неадекватной модели может быстро спустить все деньги, вместо получения прибыли. Для построения адекватных моделей совсем не обязательно обладать тотальным знанием обо всем. Это все равно не поможет. Например, когда адекватно управляют автомобилем, экономикой или обучением очень часто это делают с существенным недостатком знания. Но адекватно это делают используя адекватные модели для каждого случая. Именно адекватные модели для временных рядов и разрабатывают математики.

[@Slav2]

Боты бывают самые разные и пытаются эксплуатировать самые разнообразные идеи формирования прибыли. Я совершенно уверен, что бот упомянутый здесь в статье, который пытается предсказывать поведение временного ряда на основе исторических данных, нуждается в фундаментальном математическом исследовании временного ряда, с которым он пытается работать. Пока этого не произошло, бот просто тыкает палкой в воду.

В чем математика сильна, так в ответе на вопрос тыкает бот палкой в воду или все таки есть какой то неслучайный результат. Есть статья на эту тему.

Если вы не обнаружили эти ограничения, если вы не смогли адекватно отразить их в своей математической модели, это означает, что вы можете ошибиться в понимании происходящего в любой момент.

Торговая система имеет не слишком то много параметров. Я допускаю что нейросеть может что то нанюхать даже без понимания что мы на самом деле должны проверять. Я бы так категорично не заявлял что ни у кого ничего не сможет получиться.

[@0pauc0]

Машинное обучение (Machine Learning; далее МО), так или иначе является составной частью отрасли Искусственного Интеллекта (Artificial Intelligence; далее ИИ), науки и технологии

Есть наука отрасли «искусственный интеллект»?

Академическая дисциплина ИИ изучает как машине, т.е. компьютеру, решать задачи, которые подвластны лишь человеческому разуму.

Когда это ИИ стал академической дисциплиной?

Несомненно, анализ временных рядов и их обработка алгоритмами МО — неотъемлемая часть бизнес процессов будущего

Обработка временных рядов алгоритмами «машинного обучения»? А какой алгоритм «машинного обучения» изменяет объекты снаружи себя? И когда это «машинное обучение» подменило собой «искусственный интеллект»?

Извиняюсь за надрывный пафос, но это же не перевод (ссылки на пруф нет), что хотя бы вызвало понимание вышеупомянутых ошибок в тексте.

Но кроме ошибок, полагаю есть и непонимание, как подобные технологии могут использоваться в реальной жизни, и какие есть ограничения на их использование.

Есть технологии, основанные на научно обоснованных принципах, с понятной и главное математически прогнозируемой надежностью (точностью, качеством и другими параметрами). Эти технологии составляют львиную долю технологической базы современных производств и не только.

Есть технологии, которые пока не обоснованы научно, но тем не менее опыт их применения позволяет эвристически или статистически прогнозировать результат их применения. Эти технологии сейчас модно называть креативными, инновационными и прочими красивыми названиями.

Максимум, куда проникли в реальную жизнь «технологии искусственного интеллекта», это распознавание номеров на автомобилях, и то это применение обусловлено таким количеством нормативных актов и требований, что только прочитать их займет целый день.

Результат всего лишь «безобидные» штрафы за нарушение ПДД.

А вы предлагаете непредсказуемые, без обоснования фундаментальными теориями, запускать в реальную жизнь? В финансовые системы стран (я не говорю про спекулянтские биржи и прочие форексы), от которых зависит денежное обеспечение населения, или системы управления ядерными реакторами?

Ничего не имею против «искусственного интеллекта», «машинного обучения» и другим направлениям исследований, но призываю более ответственно подходить к результатам их возможного применения, в том числе при их описании или восхвалении говорить истинное положение дел с их надежностью и математической прогнозируемостью.