Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 10
Три анонимных минуса за «Низкий технический уровень материала», кто их поставил могли бы здесь пояснить что не так с техническим уровнем. Если надо, могу дать дополнительные объяснения.
Молодцы, ребята! Низкий поклон, за то, что делитесь информацией по такой щепетильной теме. Сам варюсь в ней и наблюдаю жёсткий информационный вакуум. И ваши две статьи меня очень и очень радуют- судя по вашим результатам, я двигаюсь в правильном направлении.
А теперь- несколько вопросов, если позволите:
1. Вы грузите данные за очень долгий срок и обучаетесь на них- имеет ли это смысл, особенно на криптовалютах? Ведь то, как вела себя пара 5 лет назад сейчас может быть уже не актуальным (причины и скрытые силы поменялись качественно или количественно). Пробовали учиться на данных только за последние 3-6-9 месяцев? Если да- то каковы результаты?
2. У вас работает 20-30 моделей, обученных на разных входных данных — тут два вопроса- а) топология нейросетей у них у всех одинаковая? и б) на каких разных данных вы их обучаете? речь идет о разных периодах одной пары из одного источника, об одной паре, но из разных источников данных (разные криптобиржи и тд) или даже о разных валютных парах (ну например, как максимум, можно грузить историю эфира, битка, фиатных пар, золота, нефти, sp500 и прочие индексы, и всё это в нескольких экземплярах, взятых с разных бирж :))
3. Вопрос о аппаратно-программной части: Вы упоминали о 200-300 тысяч отсчетов в обучающей выборке: а) какова утилизация памяти ГПУ при обучении? б) Какие видеокарты работают? что-то суровое вида тесла v100 или из бытового сегмента? в) распараллеливание по ГПУ делает сам TF? оно работает хорошо (в смысле скорость обучения хорошо зависит от количества ГПУ)? Если нужно использовать несколько ферм с ГПУ — то как это делается?
4. Думали ли вы о том, чтобы отказаться от свечей в пользу постоянных периодических отсчетов цены? Я например работаю с 10-секундными отсчетами. По идее — мы получаем больше информации, если не сворачиваем 60 точек цены (30 бидов и 30 асков) в одну пятиминутную свечу, характеризуемую 4-мя числами.
Про учёт объемов я молчу- ибо где-же сейчас можно не-нарисованные объемы получить- я не знаю. А подавать в нейросеть нарисованные- наверное, глупость.
5. >>Решения качественно улучшающие прогноз уже есть, но о них в следующей статье — Очень сильно жду.
Успехов вам!
А теперь- несколько вопросов, если позволите:
1. Вы грузите данные за очень долгий срок и обучаетесь на них- имеет ли это смысл, особенно на криптовалютах? Ведь то, как вела себя пара 5 лет назад сейчас может быть уже не актуальным (причины и скрытые силы поменялись качественно или количественно). Пробовали учиться на данных только за последние 3-6-9 месяцев? Если да- то каковы результаты?
2. У вас работает 20-30 моделей, обученных на разных входных данных — тут два вопроса- а) топология нейросетей у них у всех одинаковая? и б) на каких разных данных вы их обучаете? речь идет о разных периодах одной пары из одного источника, об одной паре, но из разных источников данных (разные криптобиржи и тд) или даже о разных валютных парах (ну например, как максимум, можно грузить историю эфира, битка, фиатных пар, золота, нефти, sp500 и прочие индексы, и всё это в нескольких экземплярах, взятых с разных бирж :))
3. Вопрос о аппаратно-программной части: Вы упоминали о 200-300 тысяч отсчетов в обучающей выборке: а) какова утилизация памяти ГПУ при обучении? б) Какие видеокарты работают? что-то суровое вида тесла v100 или из бытового сегмента? в) распараллеливание по ГПУ делает сам TF? оно работает хорошо (в смысле скорость обучения хорошо зависит от количества ГПУ)? Если нужно использовать несколько ферм с ГПУ — то как это делается?
4. Думали ли вы о том, чтобы отказаться от свечей в пользу постоянных периодических отсчетов цены? Я например работаю с 10-секундными отсчетами. По идее — мы получаем больше информации, если не сворачиваем 60 точек цены (30 бидов и 30 асков) в одну пятиминутную свечу, характеризуемую 4-мя числами.
Про учёт объемов я молчу- ибо где-же сейчас можно не-нарисованные объемы получить- я не знаю. А подавать в нейросеть нарисованные- наверное, глупость.
5. >>Решения качественно улучшающие прогноз уже есть, но о них в следующей статье — Очень сильно жду.
Успехов вам!
Спасибо за поддержку.
Отвечаю по пунктам:
1) Нужно много данных для обучения, минимум по 2000 примеров на 1 предиктор иначе не обучится. Поэтому приходится так далеко в историю лезть. Но это не проблема т.к. правил описывающих движение цены очень много (как, например, много разных индикаторов). Какие то правила отмирают быстро, а какие то живут годами. Вот эти долгоиграюшие правила и находит сеть.
2) а) параметры сети разные, что приводит к выработке разных правил, б) разные способы сбора данных, например, могут учитываться или не учитывать некоторые индикаторы; заниматься разными парами не имеет смысла, обученная на одной паре нейросеть плохо работает на другой.
3) дорогое железо — оно дорогое)) а проект пока некоммерческий, поэтому хватает майнинг фермы на 6 видеокат или платной версии GoogleColab (у них реально быстрое железо). Потребности в супер мощностях пока нет.
4) тики могут быть перспективной темой и формирование свечей на базе не временных периодов а на объемах, но это пока в планах…
5) да, это уже есть.
Отвечаю по пунктам:
1) Нужно много данных для обучения, минимум по 2000 примеров на 1 предиктор иначе не обучится. Поэтому приходится так далеко в историю лезть. Но это не проблема т.к. правил описывающих движение цены очень много (как, например, много разных индикаторов). Какие то правила отмирают быстро, а какие то живут годами. Вот эти долгоиграюшие правила и находит сеть.
2) а) параметры сети разные, что приводит к выработке разных правил, б) разные способы сбора данных, например, могут учитываться или не учитывать некоторые индикаторы; заниматься разными парами не имеет смысла, обученная на одной паре нейросеть плохо работает на другой.
3) дорогое железо — оно дорогое)) а проект пока некоммерческий, поэтому хватает майнинг фермы на 6 видеокат или платной версии GoogleColab (у них реально быстрое железо). Потребности в супер мощностях пока нет.
4) тики могут быть перспективной темой и формирование свечей на базе не временных периодов а на объемах, но это пока в планах…
5) да, это уже есть.
Можно попросить Вас картинки перезалить?
Спасибо за статью! К сожалению, ссылка на Colab не работает. Нет доступа.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Нейросети и трейдинг. Часть 2: набор «сделай сам»