Как стать автором
Обновить

Комментарии 85

Давно собираюсь написать статью «О профессиональной деградации математиков занимающихся системами искусственного интеллекта и data science» да все как-то руки не доходят. И в этой статье центральное место займет биржевая роботорговля с помощью ИИ.

Основной тезис изложен уже вот тут habr.com/ru/company/ods/blog/416817/#comment_18897779

извиняюсь за цитату самого себя )

Не надо извиняться. Сам себя не похвалишь, никто не похвалит.

Кстати, прочитал вашу ссылочку — это полный бред, видно, что вы этим никогда не занимались. Для сведения, получение ответа от модели занимает примерно 1/2 секунды, у меня оценка 10 моделей на каждой свече занимает около 5 секунд. Такая задежка нично при прогнозе даже на 5 минут неговоря уже о больших тф. Прочие рассуждения про мгновенную смену поведения рынков вообще без комментариев.

Друг мой evgdc, я был директором инвестиционной компании и хорошо и удачно торговал, в т.ч., на бирже )) И пост мой — чистая математика и ничего кроме математики ))

Жаль, что непонятно, куда уж доступней.

Это безсмысленный набор слов: "За то время, пока AI получает и обрабатывает ложные ( убыточные сделки) данные и вычисляет новые веса, правила и информация на рынке меняются. Они меняются постоянно и случайным образом."
Готовая модель не вычисляет новые веса она их просто применяет, повникайте чуток в основы. Остальные тезисы такого же уровня.

Ой спасибо за минусы. Минус в карму за критику этой статьи, это же как плюс по жизни!

Воспользовался советом автора и заглянул в основы — я бы написал «бессмысленный». «Матан — бессмысленный и беспощадный». В природе нет тензоров, матриц и я не видел ни одного живого вектора. Эту бессмыслицу придумали яйцеголовые. Но всё таки он беспощадный, увы.

Теперь очевидно, что вопрос актуален, статью нужно писать.

Ну и немного очень простой и очевидной конкретики:

Вот крупный фонд начал покупать акции крупного банка, образовался тренд, его видят все аналитики и все свечи и фонарики светят о тренде. Но светят для всех одинаково и все про этот тренд поняли, что пару миллисекунд назад он был — но никто не может утверждать, что он останется еще на пару миллисекунд. Это знает тот, который дал отмашку на покупку. Но есть нюанс, если вдруг этот кто-то решит поделится информацией о том, что же он решил делать дальше с этим трендом, то такой поступок прописан в УК РФ и аналогичных документах всех стран. Увы.

Также бессмысленно предсказание спроса на более простом и локальном рынке:

Например на районе есть большой овощной ларек и искусственный интеллект талантливого датасаентиста этого ларька, обработав датасеты с учетом магии и алхимии, выдал формулу — завтра спрос на пиво вот этой марки, если его поставить вот на эту полку, вырастет вдвое. Ура, закупки, доставка, полка, скидка — ждем.

И искусственный интеллект не менее талантливого датасаентиста соседнего, такого же овощного ларька, применив тонкое понимание запутанности и спутанности выдал такую же гениальную идею — что другой сорт пива на нужной полке также даст завтра бешеный прирост. Закупки, доставка, полка, скидка — ждем.

Вот если они обмениваются информацией и координируют закупки — «их посодют», а если нет — но оба промажут своими гениальными предсказаниями, т.к. на районе будет избыток пива и еще и со скидками. И если на местном заводе, не зная о крутых предсказаниях местных искусственных интеллектов, задержали выплату бонусов — то консолидированный пивной бюджет района очевидно продемонстрирует спад.

Так что основы говорят — «неисповедимы флуктуации случайности и не дано нам предугадать их» если конечно чтить уголовный кодекс.

Вы агрессивно начали поэтому и случился минус в карму, добрее надо быть.

странную логику иногда демонстрируют авторы на компьютерном(! алгоритмы и логика) форуме.

Поясню:

1. Если статья написана для проверки своего алгоритма собственной торговли — то тут нужно радоваться любой критике. До того момента, как автор не вложил много денег в свой алгоритм, любая критика это экономия его денег. Если баг найдут тут, на форуме, а не на бирже, то автор ничего не потеряет на бирже.

2. Если статья написана для проверки алгоритма подготовленного на продажу — так еще больше нужно радоваться критике. Если все будут хвалить, а потом алгоритм принесет заказчику убытки — заказчик вряд ли будет считать плюсы к этой статье и может строго спросить и предложить отработать убытки. Тут критика не только экономия денег автора, но, возможно, и здоровья.

3. Если статья написана в качестве тезисов некоей идеи/религии и должна повести за собой заблудшие души — любая критика только добавит последователей и адептов. Все, кстати, места идолов тут заняты и они не принимают так вот просто в свой клуб новичков.

Так что я добр, исключительно добр.
НЛО прилетело и опубликовало эту надпись здесь
Уже понятно к чему веду? Я лично знаю нескольких трейдеров которые пользуясь только техническим анализом, годами успешно торгуют на бирже и даже стабильно зарабатывают себе на хлеб.

Я правильно понимаю, что эти очень примечательные люди живут в клетке, не читают новостей, и вообще общаются с окружающим миром (за исключением трейдинга) так же, как если б находились на Плутоне?

Просто потому, что в противном случае я не вижу способов проверить достоверность тезиса в части «пользуясь только техническим анализом». Это они вам сами сказали? Андекдот про «ну и вы тоже говорите» знаете?

Успешные трейдеры как таксисты бизнесмены. Их вроде полно, они сверх успешны, но им все приходится работать:)

Конечно они читают новости и наверняка эти новости влияют на их торговые решения.
Вас смущает утверждение что в 2% случаев предыдущая история влият на ближайшее будущее? Да еще и с вероятностью всего 70%.

Покажите мне хотя бы один индикатор, дающий прогноз изменения цены с вероятностью более 50%? Не на истории :)

RSI дивер на М5 отрабатывает в 57%. На более высоких тф чаще. Это статистика.

Тогда почему вы ещё не миллиардер?

Потому, что 57% недостаточно чтобы компенсировать спред.
А что касается нейросетей, то сегодняшние результаты тоже пока проигрывают в борьбе со спредом.
Я не ставлю историческую цель заработать миллионы, мне интересна тема.

Пока тема выглядит так, что стабильно выигрывают только биржи, брокеры и т.д., т.е. те, кто берёт себе стабильную комиссию с процессов, а не игроки, которые все вместе в среднем болтаются в районе нулевой суммы выигрыша.
«все вместе в среднем болтаются в районе» ниже нуля (ноль минус комиссии всех посредников)

Так то они болтаются около среднего показателя роста индекса биржи (за вычетом комиссий). И обычно он больше нуля

Да, пока рынки в среднем растут можно воспринимать это цивильной разновидностью МММ — те, кто купил раньше, потом могут продать тем, кто пришёл позже и выйти в плюс. )
Индекс тут совершенно не важен — его повышение оплачено вводом дополнительных средств игроками, а биржа как была так и остается "игрой с нулевой суммой" и суммарный результат всех игроков всегда будет ниже нуля на сумму комиссий.

Другой разговор, что кроме спекуляций биржа решает и реальные экономические задачи и для части «игроков» потери являются не проигрышем, а платой за спокойствие/прогнозируемость результатов собственной деятельности.
ну, люди рады обманываться) Что с этим можно поделать?
И мы все конечно тут экстрасенсы и сами догадаемся, на каком рынке, на какой паре и в каком году это было.

Проблема ведь не в том, что есть индикаторы хорошие а есть не очень. Проблема в том, что рынок, с точки зрения статистики — сильно нестационарная система, в которой на каждой паре меняются как среднее (EMA), так и дисперсия (грубо говоря, волатильность, чтобы не усложнять объяснение), а высшие статистические моменты — и подавно, причем для разных пар меняются по разному, да еще и одновременно в нескольких временнЫх масштабах. Более того, второй и более высокие статистические моменты могут быть принципиально бесконечными — процессы то далеко не гауссовские.
По вышеописанным причинам эффективность всех индикаторов техничского анализа меняется постоянно и непредсказуемо.
Кстати, по этим же причинам не работает подход «один раз обучил сеть, а потом только пользуйся». Со временем, по мере изменения статистических характеристик рыночной пары, модель, которую построила сеть, утратит актуальность. Поэтому сеть время от времени надо обучать повторно, уже на новых данных. Кстати, поэтому выше кто-то и писал, что временами даже мощностей FPGA недостаточно.

Простите за матан, на днях обчитался книг по статистическому анализу временнЫх рядов.
Я могу вам даже код написать. Гарантия, что на долгой дистанции на малых таймфреймах количество правильных ответов для задачи «вверх или вниз» будет стремиться к 50% с точностью 100% каждый. Держите. Только это секрет, никому никому:

function getPriceDirection(){
    return "up";
}

Можете протестировать даже.
А мне он зачем, если требуется больше 50%?
Просто там гиперпараметры не подкручены.

Добавьте if (rand() > 0.6). Если будете проигрывать, поменяйте на < 0.4

если вы проводите аналогию с моим утвержденим, то оно должно звучать так:
"в 100% случаев выдает правильный ответ с вероятностью 50%"

По-моему в трейдинге давно уже используют симуляции торгового процесса, потому что тупо «предсказывать цену» там нет никакого смысла. Надо именно симулировать весь процесс с учётом возможных задержек, «проскальзываний», биржевых комиссий и т.д. На бирже недостаточно просто предсказать ход цены просто с вероятностью >50%, надо предсказать такой ход цены, который можно успеть выгодно обыграть с учётом всех издержек и который при усреднении статистики за много операций даст таки выход в плюс в суммарно по счёту. И вот с учётом этого всего, да ещё и когда там уже сидят тучи роботов, пытающихся за микросекунды «отыграть» малейшие движения рынка — задача сразу перестаёт быть простой и понятной. Только ты увидел благоприятный ход цены и захотел на нём сыграть — глядь, а там уже роботы наиграли всякого, пока ты думал и заявку выставлял и уже опять надо заново все расчёты делать.

Не надо самого себя кошмарить. Задача простая — предскажи движение цены с учётом комиссии брокера, вот и заработал. А материала для анализа или обучения нейросети море — вся история трейдинга у тебя в терминале.

По-моему в трейдинге давно уже используют симуляции торгового процесса, потому что тупо «предсказывать цену» там нет никакого смысла.
спасибо за еще одно объяснение для новичка про то, как с большими деньгами можно получить преимущество без инсайда: надо «всего лишь» создать тренд самому и сыграть против него согласованно. Теперь буду всех спрашивать, какой процент рынка для таких манипуляций нужно иметь под своим контролем.
Эээ, вы не можете покупать и продавать сразу много и моментально, даже если бы вы были один на рынке. Как только вы начинаете много покупать — цена растёт, да, но вы покупаете не мгновенно, а постепенно, по мере того, как на рынке вообще есть продавцы и их цена вас всё ещё устраивает. Ну, ок, вы «создали тренд», подвинули цену вверх и хотите на этом навариться. Вы начинаете продавать от этой высокой цены. И тут — сюрприз! — вы тоже не можете это сделать моментально, вы продаёте постепенно, по цене рынка (а кто это у нас тут готов покупать по вашей задранной верх цене неограниченные объёмы акций? что значит — дураков нет, кроме отдельных роботов и паникёров?!), и равновесная рыночная цена постепенно падает в процессе ваших продаж. И вот вы пришли обратно к той цене, откуда всё началось, с тем же самым капиталом что вначале и тем же портфелем акций, только вы ещё заплатили комиссию бирже и брокеру за то, что продавали и покупали. Ну и, в чём профит от ваших «манипуляций рынком» в итоге?
в чём профит от ваших «манипуляций рынком» в итоге?
например, все чуть сложнее: использование инсайда запрещено, но не запрещены слухи и вбросы, и на них попадется не тот, кто слухи распускает, а те, кто попробует использовать фальшивый инсайд. За счет этого может быть и можно выйти в плюс? Это мой вопрос новичка.
Я понимаю, что такое не может быть системой, но для начального рывка все средства хороши, если риски минимальны. И это — мой второй вопрос.
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Что-то я не понял, что вы опровергли. Если большинство исследователей, подходя к обучению нейросетей с известными им методами (работающими на кошках), не получают результата — это и значит, в общем-то, что нейросети на таких задачах не работают.

Не работают в том смысле, что нет широко известных методов, дающих хороший результат. А те, что есть — либо на них зарабатывают деньги, и не раскрывают суть, либо они описаны, но результата не дают.

Я опроверг категоричное утверждение. А насчет "делают и не показывают" вы абсолютно правы.

Категоричное в смысле «не работают и не могут»?

Да

Вы его, перед тем, как опровергнуть, придумали. В статье нигде не сказано, что нейросети не годятся для торговли. Речь идет лишь о предсказании цен, причем на средне-долгосрок. И подробно объяснено, почему это не будет работать.

Более того, в статье отдельный есть раздел, где говорится, что торговля вполне может работать. И тоже сказано, почему. И она работает, алгоритмическая торговля давно и успешно используется на биржах. И что между алгоритмической торговлей и алгоритмическим прорицательством есть разница.
Спасибо за статью.
В итоге, первые результаты я получил после 100500 подборов входных параметров плюс правильный анализ того, что выдает сеть.
Сколько времени уже прошло, пока Вы «остаетесь в плюсе»?
Уже понятно к чему веду? Я лично знаю нескольких трейдеров которые пользуясь только техническим анализом, годами успешно торгуют на бирже и даже стабильно зарабатывают себе на хлеб.
и Вы уверены, что они не пользуются инсайдом? Разве не только про себя Вы можете быть уверены в этом?

Я не в плюсе и не в минусе. Сейчас нейросеть на реальном рынке определяет цвет будущей свечи, собираю статистику. Истерической цели срочно заработать нет, интересны сама тема.

А я верю, что есть те, кто всё время или довольно долгое время «в плюсе». Только вот надо не забывать, что это может быть чистой случайностью, а не закономерностью.
это может быть чистой случайностью
да, везение и судьбу отменить пока не получается, но приманить — вот наша задача! (с) Мичурин на бирже.
Графики цен — это на 98% шум. Технический анализ- это способ вычислить закономерности в хаосе. Нейросеть надо обучать определённой стратегии, тогда всё получится.

В этом главный прикол, надо добиваться того, чтобы она сама вырабатывала стратегию. Делать подсказки это костыли.

Сама нейросеть не может выработать стратегию, она обрабатывает статистику. А это в лучшем случае будет результат 50/50
Может, обучение с подкреплением придумано довольно давно.
Что она может? Выбрать из статистики самый частый удачный вариант. Но для этого не нужна нейросеть, достаточно подобрать параметры простейшего индикатора. И также как с индикатором, нужно будет постоянно подстраивать коэффициенты под изменение рынка.

Прочитайте пару книг по нейросетям, начните с "Глубокое обучение" Я. Гудфеллоу

Она может в экстраполяцию событий на основе опыта, рассматривая несколько вариантов исхода с учетом возможных ветвлений. На основе чего уже принимается решение.


А то, о чем говорите вы — задача классификации. Она, как и индикаторы, работает постфактум.

Вы, похоже, вообще не в курсе, а пишите статьи на эту тему. Задачи классификации ни чем не отличаются от задач регрессии, кроме того, что при регрессии нейросеть предсказывает значение, а при классификации одну из категорий, НО предсказание тоже выражено в числовом значении (в степени ее уверенности).

Вот потому я и говорю, что терминология, согласно которой результат работы нейросети назван "предсказанием", сбивает людей с толку.

Вариантов исходов и возможных ветвлений много. А указать входить или выходить может пара простых индикаторов. И эффективность индикаторов и нейросети тут будет схожая. Для повышения эффективности необходима стратегия, нужно описать правила игры.

В этом и суть обучения с подкреплением. Агент, то бишь нейросеть, в данном случае, исследует разные варианты, при этом каждое следующее решение влияет на вес предыдущих.


При этом выбор идет не за счет перебора. Никаких циклов и ветвлений как таковых. Только привлекательность конкретного действия в конкретный момент времени, сформированное прошлым опытом.


В конечном счете у агента формируется и понимание правил игры и стратегия, приводящая к максимальному количеству поощрений.


Почитайте про обучение с подкреплением подробнее, это очень интересное направление.

Я изучал отработку индикаторов, она очнь низкая, в районе 55%. Группа индикаторов на разных тф конечно отрабатывает лучше, но цена — редкость этого события. Можно нагородить индикаторов и ждать неделю, отработка будет процентов 80.
Нейросеть дает 65-70% на М5 до 15 сигналов день, с индикаторами такого не получишь.

Для работы с нейросетью, как и с индикаторами нужна определённая стратегия. Нужно обучать нейросеть работать по этой стратегии, а не ждать, что она сама найдёт какую-то прибыльную стратегию.

В этом и смысл, что нет никакой стратегии. Какая стратегия в отличии кошки от собаки? Мы ж не подсказываем нейросети — "обрати внимание на уши", "хвост тоже разный", "смотри на форму глаз". Она сама вырабатывает эти правила!

Может и зря не подсказываем, не пришлось бы показывать сети 10000 фото кошек :)

Если вы можете обучить нейросеть какой-то определенной стратегии, которая будет стабильно вас выносить в плюс, то, вероятно, вам не нужна нейросеть и вы прекрасный трейдер от природы.

Нейросеть тут нужна для поиска большего количества прибыльных комбинаций исходных данных. Ну и позволит сократить основной код в разы.

Собственно, вот у вас и накопилось достаточно материала и личных обоснований для запуска собственного исследования.

планирую написать статью про то как все это запустить "на коленке" ))

Остается понять как выловить эти заветные 2% и только на них обучать сеть и только по ним потом принимать торговые решения.

Откуда вообще есть уверенность, что эти 2% отличимы от остальных 98%?

Это не я придумал, это ответ нейросети. Нейросеть оценивает каждую свечу возвращая уверенность выраженную в процентах. Только в 2х ответах из 100 она уверена на 70% и более. И эти 70 ровно так и отрабатывают.

Я — автор той статьи, на которую сделан этот ответ. Давайте подискутируем:
1)
здесь я просто попытался логическими рассуждениями поспорить с утверждением, что нейросети и трейдинг несовместимы

Обманывать — плохо. Держать читателя за человека, не способного проверять факты — плохо вдвойне. В статье нет речи о непригодности нейросетей к торговле. Не говоря уж об утверждениях. Выкладки касаются лишь романтичных попыток получить сеть, рисующую графики на часы дни и месяцы вперед. Про торговлю же там сказано в самом конце отдельно и в позитивном ключе.

2) 2% успешных предсказаний конкретно в вашем случае, на задаче со средним мат.ожиданием исходов в 1/2, это очень плохой результат, к сожалению. Вероятно, следует поменять методику обучения. Случайно действующий или вовсе статичный агент будут выдавать примерно 50% верных ответов со 100% вероятностью для такой задачи на долгой дистанции.

3) Сломанные стрелочные часы показывают идеально точное время два раза в сутки. Значит ли это, что они работают, просто надо правильно использовать эти два раза?

Кажется я не туда написал ответ, ответ ниже...

Там внизу и вверху написано имя автора.

Ну давайте подискутируем:
1) Возможно я не все увидел в вашей статье, уловил только основную мысль.
2) Это не плохой и не хороший результат, это хоть какой то результат говорящий о том, что нейросеть обучается. И там, кстати, не 1/2 а 70% — это на 2 угаданных 1 неугаданный. Работа идет дальше, в новой ревсии уже до 74% доходит.
3) без комментария.


P.S.
Уважаю любое мнение. Моя статья просто часть диалога, надеюсь не обидел.

1 убыточная против 2-х прибыльных это — полный фейл, к сожалению. Так как в цепочке 3 убыточных, а потом 6 прибыльных (1 к 2 сделки) с единым процентом дохода и убытка дадут гарантированный убыток. В случае если этот «единый процент» равен 1%, это будет убыток в 0.03%. В данном случае метод монтекарло с увеличение ставки при каждом убытке имеет больше шансов заработать, чем алгоритм.


Я 7 лет на бирже и 5 из них торгую роботами, которых сам себе и пишу (правда в основном это индексный арбитраж и риски в нем минимальны сами по себе). И стратегия торговли это не только условия покупки, продажи и stoploss с takeprofit. Все на бэктестах и имитации сделок забывают, что вы управляете двумя параметрами: условия сделок и на какую долю от портфеля вы будете входить (первичный уровень риска фактически). Если Ваша стратегия даёт успех меньше 80-85% на сделках, монтекарло и случайный осциллятор будут прямым конкурентом Вашим стратегиям, к сожалению. Так как в монтекарло хотябы первичный риск управляем и прозрачен. Копайте в эту сторону. Если у вас есть 70% правильного угадывания, сделайте стратегию доходной докручивая параметры управления портфелем. Это та переменная, о которой многие ньюбы забывают, торгуя и тестируя «на всю котлету», и отваливаются на этапе тестирования гипотез.

Я понял почему у трейдинга такой негативный шлейф. Потому, что в него идут все подряд. Кладут на счет $10, узнают несколько новых слов и после этого называют себя трейдерами с опытом. Начинают долго и нудно рассуждать используя эти новые слова (правда иногда путая "мартингеил" и "монтекарло").

О! Спасибо. Это действительно моя ошибка.

Ну вот основная мысль как раз вовсе не про то, с чем вы спорите.
Обидеть не обидели, но я был крайне удивлен, когда мне в тележке скинули ссылку на материал, где мне приписывают утверждения, которые я не утверждал, да еще и «опровергают» их. Не надо так.
ну ладно, тут мы всё поняли! а ставки, ставки на спорт то можно???
Можно, конечно. Есть биржи ставок (прям так и гуглить), там есть тоже API, в течение игры коэффициент ставки меняется — можно, условно, поставить на выигрыш одной стороны по одному коэффициенту, а через минуту — на выигрыш противоположной по более выгодному. Далее просто ждем окончания матча и получаем гарантированную прибыль. Ну это если угадали с направлением движения коэффициента. Если не угадали — то закрываемся с убытком.
Т.е. там полный аналог трейдинга, но волатильность бешеная и ликвидность ограничена. Побаловаться можно. Интересно было бы попробовать анализировать не только график коэффициента, но и скажем видео/звуковой ряд трансляции, на каких-то периодичных играх типа тенниса возможно сеть смогла бы выловить какие-то характерные вещи, влияющие на шансы соперников.

Я сейчас на binary_com тестирую свою сеть. У них отличный API + демосчет. Ответ нейросети про цвет следующей свечи идеально подходит под бинарные опционы. Демосчет растет ))
Правда есть сомнения, что на реальном они выплатят заработанное, репутация у них хреновая.

В моей картине мира, тех.анализ работает, но только в идеальном мире, т.е. к примеру вы
легко можете рассчитать траекторию объекта, брошенного под углом к горизонту, зная скорость и угол наклона, это задачка из за 7-8 класс по физике.
Но что если при этом будет другой человек который захочет поймать или отбить этот объект обратно, что будет в этом случае установить не возможно. Так и рынок, на нем есть люди у которых есть ресурсы двинуть цену в любой момент и проблема не в графиках, нейронках и т.д.
Проблема в намерениях людей и объемах из-за объемов следующая свеча зачастую зависит от предыдущей.

Спасибо за внятный комментарий.
Все правильно кроме одного — этот человек который меняет траекторию не один, а их десятки тысяч. Вместе они превращаются в систему которая тоже начинает жить по правилам. Эти правила не такие предсказуемые как в физике за 8 класс, но достаточно предсказуемые что бы работал технический анализ.

Как же прекрасно, что существует такое огромное количество трейдеров, верящих в предсказания по теханализу! Благодаря вам живут безбедно те самые 3% успешных игроков

Странно, вполне адекватный пост — и слили. При этом посты форекс-кухонь процветают.
Хабр, ты уверен в своей компетентности по данному вопросу?

Есть стойкий негатив ко всему, что связано с трейдингом. Наверно это последстви хайпа вокруг крипты когда многие потеряли деньги или знают тех кто потерял.

Просто нужно рекомендовать хотя бы прочитать книгу — Скотт Паттерсон «Кванты», может ситуация и исправится.
Алгоритмическая торговля если она:
— исключает «человеческий фактор»
— увеличивает количество торговых инструментов
— повышает скорость и количество трейдов
— затачивалась с алгоритмом самоконтроля и отключения, и его максимально отрабатывает
работает, в т.ч. на нейросетях, гораздо лучше ручной торговли.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации