Мне сложно с вами беседовать сразу в двух ветках :)
Я выше отписался о процессе перехода дороги. А теперь представьте, что решения, описанные в ответе, принимаются с лагом в несколько секунд. Насколько успевает измениться за это время ситуация/система? Это вот и есть падение качества принятия решений. Одна и та же система, то есть вы, человек, с одним и тем же опытом и багажом знаний о переходах и машинах на дороге, будет выдавать совершенно разные по уровню полезности решения на разных временных интервалах!
Или как пример, игры типа slither.io — когда сеть тупит и вы начинаете бороться с лагами, в итоге, помирая, хотя, в иных условиях, могли бы без проблем выйти победителем из ситуации. Агент, то бишь вы, не менялись. Среда не менялась. Поменялся временной отрезок, на котором агент отслеживает изменения среды. Вот он низкий — и вы на коне. Вот он вырос всего до 1-2 секунд и ваши решения, наблюдения и экстраполяция состояния среды не стоят ничего. Ну, в первые 2-3 секунды, может чего-то и стоят, но потом ошибка прогнозирования накапливается такая, что вы в принципе перестаете понимать, что происходит.
Ключевой фактор в том, что прогнозирование прогнозированию рознь. На мелких интервалах не стоит задача прогнозирования цены. Стоит задача анализа общего движения рынка и «настроения» игроков здесь и сейчас. Так как игроки работают на интервале выше М1, он может считаться достаточно «реалтаймовым» для данного случая.
Экстраполяция событий, лежащих во времени близко к текущему моменту не проблема. Ваш мозг занимается этим в реальном времени каждый день, постоянно. Когда вы стоите на дорожном переходе и думаете, перейти прямо сейчас или не перейти, вы думаете, у вас в мозгу IF срабатывает? Нет. Вы оцениваете кучу локальных факторов, количество машин, их примерную скорость, состояние дорожного покрытия, освещенность. При этом многие данные выделяете для себя, исходя из своего опыта и опираясь лишь на точность калибровки той же зрительной коры, которая пытается вычислить изменение скорости транспорта.
Вы используете знания как набор основных параметров и экстраполируете ситуацию, опираясь на личный опыт. И, анализируя варианты развития событий в текущий момент времени, принимаете решение, выбирая самый оптимальный сценарий с вашей точки зрения. Решение сложное. Включающее в себя не идти/стоять, а ускорения, замедления, вот эта машина точно тормозит, а та не факт — лучше чуть подождать, потом идти, и тд. Это возможно за счет того, что в каждый момент времени вы обновляете свое представление о ситуации, у вас меняется оценка оптимальности для ранее выбранных решений.
Это то, как работает система, обученная с подкреплением.
Вы же мне толкуете о том, что «невозможно, сидя дома на диване, предсказать, сколько машин пересекут пешеходный переход по такому-то адресу через неделю». Разумеется невозможно. Но оно и не нужно. Не смешивайте масштабы.
Я снова повторюсь — на разных масштабах одна и та же система показывает разный уровень прогнозируемости. Но на том масштабе, где уровень прогнозируемости пригоден для работы, человек работать не может. А там, где человек работать может, уровень прогнозируемости драматически падает.
И еще раз — прогнозирование цен по графику, суть пустая затея. Прогнозирование поведения рынка на малом интервале — задача выполнимая. И цена тут не ключевой фактор, а вторичный. И не единственный параметр, а один из пары десятков.
Уравнение Беллмана само по себе ничего такого не гарантирует.
Оно решает проблему правильного накопления опыта системой. А опыт черпается в процессе обучения.
Пока, вроде, нет. К предыдущему вашему комментарию я уже ответил, что вы путаетесь в масштабах событий, которым в статье было уделено отдельное внимание. Это невероятно важный момент. Краеугольнейший. Вы говорите о каких-то глобальных движениях, кризисах, которые нужно уметь предугадывать, хотя, на малых масштабах, ничто это не имеет значения. На малых масштабах ситуация всегда относительно стабильна и однородна.
Ну то есть конечно получится — на уже произошедших. Но это никак не застрахует вас от того что случится в будущем.
На уровне низком, сиюминутном, все эти коллапсы выглядят одинаково. Достаточно, чтобы система научилась с ними ладить.
Как вы натренируете пугливость когда у вас нет коллапса в близких к текущим данных?
Ну… касательно крипторынка, коллапсов было несколько, от относительно мягких, до таких, что классическим биржам и не снилось. Материала, на текущий момент, очень много. Хорошего, разного. Тут можно не переживать.
Суть в том, что опыта будущего кризиса ни у кого нет и, следовательно, к нему намного труднее подготовиться.
На низком уровне нет никаких кризисов и буллранов. Есть движение вверх или вниз, у движения есть скорость. На низком уровне система имеет самую настоящую инерцию, это тоже может быть использовано.
Отвлеченный пример — какая разница, с какой скоростью к нашей галактике летит Андромеда, если это никак не влияет на мой распорядок дня? Вы говорите о глобальном масштабе, а я — о локальном. В тексте статьи это было освещено отдельно — на разных уровнях одна и та же система может из стохастической превратиться в детерминистическую.
Это ведь то же самое прогнозирование на самом деле.
Прогнозирование прогнозированию рознь. В статье идет речь и прогнозировании цены. А то, о чем спрашиваете вы — уже оценка правильности действия. Система с достаточным опытом, грубо говоря, оценивает, какова вероятность того, что, при таких-то объемах покупки, при таком-то отклонении цены, при такой-то средневзвешенной цене и тд, бездействие до следующего малого шага выгоднее, чем открытие/закрытие сделки с учетом состояния самого агента — баланса, среднезакупочной цены, пропорций инструментов.
Это не прогнозирование цены, это система принятия решений, имеющая за плечами некий опыт и отслеживающая ситуацию во времени, а не только на момент принятия решения.
Уравнение Беллмана не позволяет предсказать будущее. Но оно позволяет сформировать у агента опыт, учитывающий, что сиюминутное решение не всегда самое выгодное в таких-то условиях. Справедливости ради, для Q-Learning и нейросети-то не нужны. Но, в случае с торговлей, пространство решений будет слишком большое, чтобы описывать его Q-таблицей. Нейросеть здесь используется просто как хранилище-интерполятор, более подходящее для представления такой структуры.
При этом, если на следующем шаге окажется, что система ошиблась, цена этой ошибки будет не так высока и система отреагирует соответствующе.
Одна из методик обучения RL-систем, «e-greedy policy», связана как раз с тем, чтобы заставлять ее, поначалу, действовать хаотично, совершая ошибки и непоследовательные действия, чтобы как следует «прогреть» ее пространство решений, постепенно понижая процент случайных действий.
Прогнозирование временного ряда возможно, если временной ряд предоставляет достаточно полное описание системы. Достаточно полное — то, из которого можно аппроксимировать логику ее поведения и изменений.
Статистика цен на бирже к таковым рядам не относится. А вот динамика изменения погоды — вполне.
Даже совсем глупый разработчик не будет предсказывать хаотическую систему на основе предыдущих состояний.
Вы будете удивлены. Интереса ради кликнул сразу на десятую страницу выдачи — и там все то же самое. Как сказал Паниковский: «Пилите, Шура, пилите! Они золотые!».
Качаем с бирж историю, объединяем, усредняем. Качаем твиты с хештегами, связанными с криптой. Сводим время твита и истории. Создаем модель, которая пережевывает предыдущие цены с твитами и выдает предсказание.
Да, многократно подход. Но с ним, увы, все не так радужно. Подводных камней много.
Одна из причин, почему реально работающие высокочастотные системы и просто хорошие торговые боты не выложены публично, а хранятся за семью печатями в компаниях, которые используют их и/или предоставляют as service для клиентов.
А то, что выложено публично, либо не работает, либо proof-of-concept, работающий, но в теории и с кучей условностей, либо откровенный скам.
Математика тут простая — если между сделками отклонение цены превышает размер комиссии, сделка имеет смысл. Суть предложения не в том, что система делает, потенциально, тысячи сделок в секунду. Суть в том, что система обозревает состояние среды, потенциально, тысячи раз в секунду. При этом сделка может быть совершена как 10 раз в секунду, если ситуация позволяет, так и один раз в 10 минут, грубо говоря. Суть не в количестве, а в скорости реакции на изменения среды.
Не думаю. На тех же криптобиржах, даже мелких, ботов пруд-пруди, но все работает без перекосов. Думаю, тут играет роль некая форма «естественного отбора» — у дурных ботов-паникеров биржа естественным образом отбирает деньги, выбивая их(и их владельцев), с рынка.
Плюс арбитраж помогает — если где-то перекос, арбитражники сразу начинают лить в котлован крипту/фиат, выравнивая ситуацию с профитом себе в карман.
Что же до классических бирж, то там объемы такие, что bank run-ы из-за ботов маловеротны. Хотя Вики говорит, что высокочастотные торговые системы подозревались в манипулятивном влиянии на рынок. Однако, под запрет не попали.
Но, как утверждает Алиса: «Выход всегда есть — в окно».
Терпеть не могу Алису на каком-то вот субъективно-подсознательном уровне.
И по-честному должно читаться как «чем меньше задач возложено на нейронку, тем ПРОГРАММА прозрачнее и открытее (читай предсказуемее)».
Не совсем. В моем случае это лишь вспомогательное ПО для обучения сети. RL — штука специфичная. Но вообще, разумеется, в общем случае речь идет о программном комплексе. И я не вижу в этом ничего плохого.
Каждая часть комплекса должна решать свою часть проблемы. Нейронка должна решать ту часть проблемы, решение которой с помощью других методов обходится дороже. Не более того.
То, что начинающие исследователи пытаются нейронками золотые гвозди забивать — это отдельный случай непонимания границ применимости инструментария.
Они просто по-разному отрабатывают нештатные ситуации.
В том и состоит задача RL — позволить системе научиться отрабатывать различные сценарии максимально эффективно.
Чудес вот почти точно не существует. Методы без инсайда, думаю, существуют. Почему нет? Вряд ли бы рынок тогда существовал. Но скажу сразу — я не проф.трейдер, не сижу сутками в обнимку с графиками и тройным кофе, не зависаю в трейдерских сообществах и тд, а по ночам я так вовсе… сплю. По этому мне сложно отвечать на вопросы, связанные с миром, которому я не принадлежу. Слишком уж мала моя осведомленность.
Насчет очредей на подключение супер каналов к биржам — я тоже не уверен. Из моего окна их не видно, но так и окна мои выходят не на лондонский Сити. Может и есть очереди. Гугление показывает, что скорее есть, чем нет. Но с этим тоже не ко мне.
У меня есть область и объект для исследований и свой фан в получении удовольствия от процесса и улучшения результатов. И крайне умеренные амбиции, не включающие в себя удвоение суммы депо за 3 дня, покупку на идеальном дне и слив на идеальном верхе и прочие утопические мечты.
Вот про ИИ и, в частности, нейросети, я готов говорить часами.
Насчет черного ящика это сильное преувеличение. Она черный ящик, когда первый раз собираешь MNIST-решалку по гайдам. Когда сам делаешь что-то сложное, попутно разрабатываешь методики тестирования, чтобы анализировать работу, выявлять проблемы, аномалии. Плюс, в хорошей системе бОльшая часть логики вынесена с уровня нейронки на уровень вспомогательного «классического» ПО. Чем меньше задач возложено на саму нейронку, тем она прозрачнее и открытее. Главное, понимать, что происходит. И уметь понимать саму сеть, которую пилишь.
В совокупности это делает сеть вполне себе если не белым, то «серым ящиком». Без сюрпризов.
Вокруг них слишком много спекуляций как в позитивную, так и в негативные стороны. А истина посередине.
По остальным пунктам — ну опять же, тестирование, нормальное железо, в идеале сервер. Сети очень дорого обучать, но вот чтобы просто получить ответ на входящие данные уже на обученной сети — тут много ресурсов не нужно.
Зловредный участник рынка — ну это дело такое, он всегда может случиться. Ну и, опять же, это на Эксме ботов видно за километр. А на том же Бинансе уже не все так очевидно. И, в любом случае, тут уж ни робот, ни человек не застрахованы.
Оооо, этих роботов в интернете пруд пруди. Рандомные агенты, к слову, торгуют, в среднем, может даже получше среднестатистического трейдера-любителя, особенно если тренд хороший. Полная иллюзия всамделишного интеллекта. А GPU занять для солидности — дык все давно придумано. Бесплатные боты со скрытыми майнерами на борту — обычное дело.
Вчера только натыкался на сайт, где со 100% результатом 100% гарантированно гарантируют 100% гарантий результативных результатов, ты, главное, поставь себе их бота, предложение ограничено, осталось 20 мест, и вообще, это жест доброй воли, потому что основатель — филантроп и ему не жалко, а завтра видос удалят, ссылки закроют и сайт уберут, потому что это только для избранных счастливчиков, не упусти шанс! Такие забавные.
Ну… списка успешных брокеров-одиночек у меня нет. Однако, в том же финансовом квартале Нью Йорка в даунтауне работает огромное количество этих самых брокеров. И, покуда они там все еще работают, а аренда офисов в даунтауне стоит дорого, они, вероятно, работают в плюс.
И вряд ли там все поголовно инсайдеры. Регуляторы бдят.
Как это зачем нам робот? А кто же будет торговать, когда мы будем спать?!!!
Ну а еще исследование и проектирование таких штук — это весело. Специфичное такое, но, тем не менее, веселье.
Я выше отписался о процессе перехода дороги. А теперь представьте, что решения, описанные в ответе, принимаются с лагом в несколько секунд. Насколько успевает измениться за это время ситуация/система? Это вот и есть падение качества принятия решений. Одна и та же система, то есть вы, человек, с одним и тем же опытом и багажом знаний о переходах и машинах на дороге, будет выдавать совершенно разные по уровню полезности решения на разных временных интервалах!
Или как пример, игры типа slither.io — когда сеть тупит и вы начинаете бороться с лагами, в итоге, помирая, хотя, в иных условиях, могли бы без проблем выйти победителем из ситуации. Агент, то бишь вы, не менялись. Среда не менялась. Поменялся временной отрезок, на котором агент отслеживает изменения среды. Вот он низкий — и вы на коне. Вот он вырос всего до 1-2 секунд и ваши решения, наблюдения и экстраполяция состояния среды не стоят ничего. Ну, в первые 2-3 секунды, может чего-то и стоят, но потом ошибка прогнозирования накапливается такая, что вы в принципе перестаете понимать, что происходит.
Ключевой фактор в том, что прогнозирование прогнозированию рознь. На мелких интервалах не стоит задача прогнозирования цены. Стоит задача анализа общего движения рынка и «настроения» игроков здесь и сейчас. Так как игроки работают на интервале выше М1, он может считаться достаточно «реалтаймовым» для данного случая.
Вы используете знания как набор основных параметров и экстраполируете ситуацию, опираясь на личный опыт. И, анализируя варианты развития событий в текущий момент времени, принимаете решение, выбирая самый оптимальный сценарий с вашей точки зрения. Решение сложное. Включающее в себя не идти/стоять, а ускорения, замедления, вот эта машина точно тормозит, а та не факт — лучше чуть подождать, потом идти, и тд. Это возможно за счет того, что в каждый момент времени вы обновляете свое представление о ситуации, у вас меняется оценка оптимальности для ранее выбранных решений.
Это то, как работает система, обученная с подкреплением.
Вы же мне толкуете о том, что «невозможно, сидя дома на диване, предсказать, сколько машин пересекут пешеходный переход по такому-то адресу через неделю». Разумеется невозможно. Но оно и не нужно. Не смешивайте масштабы.
Я снова повторюсь — на разных масштабах одна и та же система показывает разный уровень прогнозируемости. Но на том масштабе, где уровень прогнозируемости пригоден для работы, человек работать не может. А там, где человек работать может, уровень прогнозируемости драматически падает.
И еще раз — прогнозирование цен по графику, суть пустая затея. Прогнозирование поведения рынка на малом интервале — задача выполнимая. И цена тут не ключевой фактор, а вторичный. И не единственный параметр, а один из пары десятков.
Оно решает проблему правильного накопления опыта системой. А опыт черпается в процессе обучения.
Это разные вещи.
На уровне низком, сиюминутном, все эти коллапсы выглядят одинаково. Достаточно, чтобы система научилась с ними ладить.
Ну… касательно крипторынка, коллапсов было несколько, от относительно мягких, до таких, что классическим биржам и не снилось. Материала, на текущий момент, очень много. Хорошего, разного. Тут можно не переживать.
На низком уровне нет никаких кризисов и буллранов. Есть движение вверх или вниз, у движения есть скорость. На низком уровне система имеет самую настоящую инерцию, это тоже может быть использовано.
Отвлеченный пример — какая разница, с какой скоростью к нашей галактике летит Андромеда, если это никак не влияет на мой распорядок дня? Вы говорите о глобальном масштабе, а я — о локальном. В тексте статьи это было освещено отдельно — на разных уровнях одна и та же система может из стохастической превратиться в детерминистическую.
Прогнозирование прогнозированию рознь. В статье идет речь и прогнозировании цены. А то, о чем спрашиваете вы — уже оценка правильности действия. Система с достаточным опытом, грубо говоря, оценивает, какова вероятность того, что, при таких-то объемах покупки, при таком-то отклонении цены, при такой-то средневзвешенной цене и тд, бездействие до следующего малого шага выгоднее, чем открытие/закрытие сделки с учетом состояния самого агента — баланса, среднезакупочной цены, пропорций инструментов.
Это не прогнозирование цены, это система принятия решений, имеющая за плечами некий опыт и отслеживающая ситуацию во времени, а не только на момент принятия решения.
Уравнение Беллмана не позволяет предсказать будущее. Но оно позволяет сформировать у агента опыт, учитывающий, что сиюминутное решение не всегда самое выгодное в таких-то условиях. Справедливости ради, для Q-Learning и нейросети-то не нужны. Но, в случае с торговлей, пространство решений будет слишком большое, чтобы описывать его Q-таблицей. Нейросеть здесь используется просто как хранилище-интерполятор, более подходящее для представления такой структуры.
При этом, если на следующем шаге окажется, что система ошиблась, цена этой ошибки будет не так высока и система отреагирует соответствующе.
Одна из методик обучения RL-систем, «e-greedy policy», связана как раз с тем, чтобы заставлять ее, поначалу, действовать хаотично, совершая ошибки и непоследовательные действия, чтобы как следует «прогреть» ее пространство решений, постепенно понижая процент случайных действий.
Статистика цен на бирже к таковым рядам не относится. А вот динамика изменения погоды — вполне.
Вы будете удивлены. Интереса ради кликнул сразу на десятую страницу выдачи — и там все то же самое. Как сказал Паниковский: «Пилите, Шура, пилите! Они золотые!».
Да, многократно подход. Но с ним, увы, все не так радужно. Подводных камней много.
А то, что выложено публично, либо не работает, либо proof-of-concept, работающий, но в теории и с кучей условностей, либо откровенный скам.
Плюс арбитраж помогает — если где-то перекос, арбитражники сразу начинают лить в котлован крипту/фиат, выравнивая ситуацию с профитом себе в карман.
Что же до классических бирж, то там объемы такие, что bank run-ы из-за ботов маловеротны. Хотя Вики говорит, что высокочастотные торговые системы подозревались в манипулятивном влиянии на рынок. Однако, под запрет не попали.
Терпеть не могу Алису на каком-то вот субъективно-подсознательном уровне.
Не совсем. В моем случае это лишь вспомогательное ПО для обучения сети. RL — штука специфичная. Но вообще, разумеется, в общем случае речь идет о программном комплексе. И я не вижу в этом ничего плохого.
Каждая часть комплекса должна решать свою часть проблемы. Нейронка должна решать ту часть проблемы, решение которой с помощью других методов обходится дороже. Не более того.
То, что начинающие исследователи пытаются нейронками золотые гвозди забивать — это отдельный случай непонимания границ применимости инструментария.
В том и состоит задача RL — позволить системе научиться отрабатывать различные сценарии максимально эффективно.
Насчет очредей на подключение супер каналов к биржам — я тоже не уверен. Из моего окна их не видно, но так и окна мои выходят не на лондонский Сити. Может и есть очереди. Гугление показывает, что скорее есть, чем нет. Но с этим тоже не ко мне.
У меня есть область и объект для исследований и свой фан в получении удовольствия от процесса и улучшения результатов. И крайне умеренные амбиции, не включающие в себя удвоение суммы депо за 3 дня, покупку на идеальном дне и слив на идеальном верхе и прочие утопические мечты.
Вот про ИИ и, в частности, нейросети, я готов говорить часами.
В совокупности это делает сеть вполне себе если не белым, то «серым ящиком». Без сюрпризов.
Вокруг них слишком много спекуляций как в позитивную, так и в негативные стороны. А истина посередине.
По остальным пунктам — ну опять же, тестирование, нормальное железо, в идеале сервер. Сети очень дорого обучать, но вот чтобы просто получить ответ на входящие данные уже на обученной сети — тут много ресурсов не нужно.
Зловредный участник рынка — ну это дело такое, он всегда может случиться. Ну и, опять же, это на Эксме ботов видно за километр. А на том же Бинансе уже не все так очевидно. И, в любом случае, тут уж ни робот, ни человек не застрахованы.
Вчера только натыкался на сайт, где со 100% результатом 100% гарантированно гарантируют 100% гарантий результативных результатов, ты, главное, поставь себе их бота, предложение ограничено, осталось 20 мест, и вообще, это жест доброй воли, потому что основатель — филантроп и ему не жалко, а завтра видос удалят, ссылки закроют и сайт уберут, потому что это только для избранных счастливчиков, не упусти шанс! Такие забавные.
И вряд ли там все поголовно инсайдеры. Регуляторы бдят.
Что, собственно, освещено в статье. Требуемый масштаб моделирования физически не достижим. По крайней мере сейчас.
Ну а еще исследование и проектирование таких штук — это весело. Специфичное такое, но, тем не менее, веселье.