Комментарии 30
Это всё интересно, серьёзно.
Но, как и у всех подобных исследований, фактически это поиск математических закономерностей в графике, который обусловлен не математикой, а реальностью.
К примеру: завтра изобретут батарею, которая может хранить сотни мегаватт, а послезавтра откроют сверхэффективный источник энергии, который сможет эти батареи наполнять. И всё, тут же цена на нефть полетит в тартарары, а математический прогноз останется лишь прогнозом. Я намеренно утрировал пример, чтобы была понятна мысль. Да вы ведь и сами в последнем абзаце соглашаетесь, что в данном конкретном случае математика плохой помощник.
Но, как и у всех подобных исследований, фактически это поиск математических закономерностей в графике, который обусловлен не математикой, а реальностью.
К примеру: завтра изобретут батарею, которая может хранить сотни мегаватт, а послезавтра откроют сверхэффективный источник энергии, который сможет эти батареи наполнять. И всё, тут же цена на нефть полетит в тартарары, а математический прогноз останется лишь прогнозом. Я намеренно утрировал пример, чтобы была понятна мысль. Да вы ведь и сами в последнем абзаце соглашаетесь, что в данном конкретном случае математика плохой помощник.
Где я сейчас могу купить такую батарею? График выглядит так как буд-то она появилась, а мы все знаем что она не появилась. Отсюда и вывод автора в конце.
недавно была ссылка на ycombinator на гравитационную «батарею», что-то типа такого, большая мощность, быстрый отклик, долгий срок эксплуатации без деградации
к примеру выше — недавно Гейм заявил, что смог использовать графен для выделения водорода, потребление топлива в США падает, появляются более эффективные солнечные батареи и так далее
т.е. оно не так, конечно — «завтра изобретут батарею», но в целом технологии развиваются, и это всё не считая сланцевых технологий
а по сабжу — можно в R анализировать, а можно посмотреть, когда сбили Боинг над Украиной и посмотреть, куда пошли цены на нефть после этого события, думаю станет более очевидно что почему и откуда
к примеру выше — недавно Гейм заявил, что смог использовать графен для выделения водорода, потребление топлива в США падает, появляются более эффективные солнечные батареи и так далее
т.е. оно не так, конечно — «завтра изобретут батарею», но в целом технологии развиваются, и это всё не считая сланцевых технологий
а по сабжу — можно в R анализировать, а можно посмотреть, когда сбили Боинг над Украиной и посмотреть, куда пошли цены на нефть после этого события, думаю станет более очевидно что почему и откуда
Такую «гравитационную» батарейку давным давно используют рядом с большими электростанциями. Где вода перекачивается из нижнего водоема в верхний когда генерация больше потребления. И используется для генерации электроэнергии потом.
солнечная энергетика до сих пор дороже угольной. Для выделения водорода можно много чего использовать. Чтобы его выделить таки нужно потратить энергию.
Развивается и эффективное использование нефти :) и эффективное использование бензина и много чего еще. Потребности человечества растут каждый день. И все эти улучшения эффективности этот рост не компенсирует но удешевляет в пересчете на еденицу.
Конечно давным давно ясно что эти события инницированны одним и тем же соединенным государством. Само соединенное государство насчет второго уже и не скрывается в своих политических заявлениях.
солнечная энергетика до сих пор дороже угольной. Для выделения водорода можно много чего использовать. Чтобы его выделить таки нужно потратить энергию.
Развивается и эффективное использование нефти :) и эффективное использование бензина и много чего еще. Потребности человечества растут каждый день. И все эти улучшения эффективности этот рост не компенсирует но удешевляет в пересчете на еденицу.
Конечно давным давно ясно что эти события инницированны одним и тем же соединенным государством. Само соединенное государство насчет второго уже и не скрывается в своих политических заявлениях.
На днях была статья на GeekTimes об автомобилях Toyota на водороде. Там даже прямо цитировалось, что эра нефти подходит к концу.
Может мы не все знаем и батареях?! )
В примере хорошо показано что технологический аспект «изобретение батареи» влияет на социальный — «падение цен». Связь между ними лежит в плоскости психологии коллективного бессознательного.
Т.е. «батареей» могут являться не технологии, а политические процессы, или же психологические процессы в коллективном бесознательном. А скорее всего синергетический эффект от всех факторов и является той самой «батареей»
В примере хорошо показано что технологический аспект «изобретение батареи» влияет на социальный — «падение цен». Связь между ними лежит в плоскости психологии коллективного бессознательного.
Т.е. «батареей» могут являться не технологии, а политические процессы, или же психологические процессы в коллективном бесознательном. А скорее всего синергетический эффект от всех факторов и является той самой «батареей»
Автор же написал — завтра. И завтра тоже — завтра. ;)
Реквестирую аналогичную статью по курсу валют.
Это мне напоминает прогноз погоды. На пару дней (неделю) системы диффуров могут что-то предсказать по локальным данным и моделям, а что дальше — только богу известно. Правда есть одно отличие, экономика — результат действия людей. По идее, должно быть возможным всё просчитать, только без нейронных сетей, конечно.
Почему бы не создать такие же супер-компы, как для прогноза погоды? Фик с ним с долгосрочными прогнозами, но на месяц-то можно сделать расчёт, используя локальные данные по странам. Даже если управление ручное, всё равно, думаю, можно рассчитать введение ручного управления. Ведь тот, кто управляет вручную, делает это с определённой целью, значит есть план, последовательность действий, и их можно увидеть.
Я слышал, что вроде бы есть какая-то модель глобальной экономики и есть программа, которая пытается что-то там симулировать. Хотелось бы лучше про это узнать.
Кстати, нейронные сети используются при прогнозе погоды? Там же вроде бы всё периодическое :) Насколько я слышал и видел, там используются решатели систем диффуров, как, в общем, и много где (симулировании электроники).
Почему бы не создать такие же супер-компы, как для прогноза погоды? Фик с ним с долгосрочными прогнозами, но на месяц-то можно сделать расчёт, используя локальные данные по странам. Даже если управление ручное, всё равно, думаю, можно рассчитать введение ручного управления. Ведь тот, кто управляет вручную, делает это с определённой целью, значит есть план, последовательность действий, и их можно увидеть.
Я слышал, что вроде бы есть какая-то модель глобальной экономики и есть программа, которая пытается что-то там симулировать. Хотелось бы лучше про это узнать.
Кстати, нейронные сети используются при прогнозе погоды? Там же вроде бы всё периодическое :) Насколько я слышал и видел, там используются решатели систем диффуров, как, в общем, и много где (симулировании электроники).
От того, что вы делаете прогноз погоды, погода не изменится. От того, что какой-то (более-менее) доступный крупным участникам рынка инструмент выдает некоторый прогноз, меняется поведение участников рынка.
Кого пугают обратные связи в вычислительном смысле? Информацию из «будущего» можно подать на вход в настоящем (рекурсивные цифровые фильтры). Проблема в адекватном описании локального во времени поведения системы. Для прогноза погоды, насколько я видел, поверхность планеты делят на локальные участки и для каждого решают систему диффуров, которая описывает упрощённую модель поведения атмосферы. Берут реальные локальные данные и получают расчетный результат на небольшое время вперёд. Периодически решение корректируется, сравнивая результат с текущим состоянием.
Не обязательно иметь формулу всего. Можно разбить мировую экономику на локальные участки, задать простые правила (начать с правил Кирхгофа для потоков, ведь для электроники, труб и транспорта они работают), взять начальные условия и выполнять расчёт на небольшой период времени вперёд, потом корректировать результат по текущим данным. Постепенно модели уточнять. По-моему это должно выглядеть так, а не использование каких-то мифических нейронных сетей на выборке из суммарных трендов.
Не обязательно иметь формулу всего. Можно разбить мировую экономику на локальные участки, задать простые правила (начать с правил Кирхгофа для потоков, ведь для электроники, труб и транспорта они работают), взять начальные условия и выполнять расчёт на небольшой период времени вперёд, потом корректировать результат по текущим данным. Постепенно модели уточнять. По-моему это должно выглядеть так, а не использование каких-то мифических нейронных сетей на выборке из суммарных трендов.
Пример. Я спрашиваю у алгоритма — что завтра на рынке будет дороже, яблоки или груши? Загружаю данные об урожае, сезоне, спросе и фазе луны. Получаю прогноз — яблоки. Затариваюсь яблоками и… Бах! Я — крупный, но не монопольный игрок. Таких игроков еще с десяток и все с таким же алгоритмом. На рынке избыток предложения яблок, цена падает. Что бы не предсказал алгоритм, мы своими действиями рушим его предсказание, даже если заведем свои решения в этот алгоритм. Инсайд, известный всем крупным игрокам, это уже не инсайд.
Если вам хочется в терминах теории систем, то может возникнуть, условно говоря, алгебраическая петля, не имеющая разрешения. Есть реализуемый (proper) объект «алгоритм», есть реализуемый объект «я, крупный игрок». А замкнутая система из двух объектов оказывается уже not proper, физически не реализуемой. Так бывает.
Если вам хочется в терминах теории систем, то может возникнуть, условно говоря, алгебраическая петля, не имеющая разрешения. Есть реализуемый (proper) объект «алгоритм», есть реализуемый объект «я, крупный игрок». А замкнутая система из двух объектов оказывается уже not proper, физически не реализуемой. Так бывает.
Мне хочется в терминах ЧЯ (черного ящика). Если поведение системы повторяемо и я могу анализировать состояние на входе и выходе, то я могу построить модель системы в своих терминах, не обязательно точно соответствующую реальной.
Если система нелинейная, то её разбивают на линейные куски, которые аппроксимируют нелинейную зависимость.
Бах, то есть большая невязка, может быть из-за неадекватного отражения реального явления в модели. Если он получился, то уточняйте модель до тех пор, пока результаты не будут адекватными.
Мы говорим о потоках денег или о чем? Они могут мгновенно где-то появляться или мгновенно неизвестно куда исчезать? Яблоки могут производиться в бесконечном количестве или же есть какие-то законы природы? Потребители кушают их в определенном количестве или могут мгновенно уничтожить весь урожай сразу? Никто не знает про продавцов яблок в соседнем киоске в нашей деревне? Количество народа в деревне неограниченно? Средняя зарплата известна?
В общем, есть достаточное количество здравых ограничений для источников, приемников и транспорта ресурсов/денег. Они могут быть очень грубыми для начала, но я думаю, что это лучше, чем нейронные сети. Наверняка и в макроэкономике ничего мгновенно не происходит. То, что я слышу по телевизору от экономистов, напоминает мне гадания астрологов: если сегодня у вас такое настроение, то рынок качнет в одну сторону, если завтра другое — то в другую. А че к чему даже сами астрологи не понимают, так как их работа — делать никому не нужные ничем не подкрепленные прогнозы.
Если система нелинейная, то её разбивают на линейные куски, которые аппроксимируют нелинейную зависимость.
Бах, то есть большая невязка, может быть из-за неадекватного отражения реального явления в модели. Если он получился, то уточняйте модель до тех пор, пока результаты не будут адекватными.
Мы говорим о потоках денег или о чем? Они могут мгновенно где-то появляться или мгновенно неизвестно куда исчезать? Яблоки могут производиться в бесконечном количестве или же есть какие-то законы природы? Потребители кушают их в определенном количестве или могут мгновенно уничтожить весь урожай сразу? Никто не знает про продавцов яблок в соседнем киоске в нашей деревне? Количество народа в деревне неограниченно? Средняя зарплата известна?
В общем, есть достаточное количество здравых ограничений для источников, приемников и транспорта ресурсов/денег. Они могут быть очень грубыми для начала, но я думаю, что это лучше, чем нейронные сети. Наверняка и в макроэкономике ничего мгновенно не происходит. То, что я слышу по телевизору от экономистов, напоминает мне гадания астрологов: если сегодня у вас такое настроение, то рынок качнет в одну сторону, если завтра другое — то в другую. А че к чему даже сами астрологи не понимают, так как их работа — делать никому не нужные ничем не подкрепленные прогнозы.
Сам по себе такой черный ящик, конечно, теоретически возможен.
Нюансы могут начаться, когда прогноз этого ящика кто-то начнет использовать в своих целях. Когда совокупность этих кого-то, имеющих доступ к ящику, превысит некоторый порог, их действия начнут менять входные данные для ящика, т.е. система замкнется. В замкнутой системе, если она вообще реализуема, черный ящик, возможно, уже не будет давать хороших прогнозов.
Т.е. наличие в системе черного ящика, показания которого используются для существенного воздействия на систему, приводит к смене модели всей системы. А для описания новой модели потребуется новый черный ящик, который, опять, хорошо прогнозирует только пока не замкнут по своим прогнозам.
Почему вы считаете, что существует такой черный ящик, который может описать систему с учетом наличия себя самого в этой системе?
Нюансы могут начаться, когда прогноз этого ящика кто-то начнет использовать в своих целях. Когда совокупность этих кого-то, имеющих доступ к ящику, превысит некоторый порог, их действия начнут менять входные данные для ящика, т.е. система замкнется. В замкнутой системе, если она вообще реализуема, черный ящик, возможно, уже не будет давать хороших прогнозов.
Т.е. наличие в системе черного ящика, показания которого используются для существенного воздействия на систему, приводит к смене модели всей системы. А для описания новой модели потребуется новый черный ящик, который, опять, хорошо прогнозирует только пока не замкнут по своим прогнозам.
Почему вы считаете, что существует такой черный ящик, который может описать систему с учетом наличия себя самого в этой системе?
Нет здравых ограничений, потому что есть фьючерсы. Биржевые котировки это не отражения рынка товаров, а отражение рынка ожиданий стоимости этих товаров в будущем. Ожидания практически не завязаны на физические параметры и зачастую больше зависят от информационного фона, а не от количества произведенных яблок.
Чтобы это понять достаточно посмотреть на любое резкое движение цены. Например резкое падение нефти после заявления ОПЕК по поводу несокращения добычи нефти. Ничего не произошло, ни одного дополнительного барелля не было произведено или продано, зато цены обвалились на несколько долларов буквально за полдня.
Чтобы это понять достаточно посмотреть на любое резкое движение цены. Например резкое падение нефти после заявления ОПЕК по поводу несокращения добычи нефти. Ничего не произошло, ни одного дополнительного барелля не было произведено или продано, зато цены обвалились на несколько долларов буквально за полдня.
Пусть так, это ведь не означает, что вся система «брыкается» и ведёт себя как угодно в любое время. Сейчас можно моделировать аналоговые и дискретные электрические схемы совместно, тогда как раньше это было трудно сделать из-за того, что численные решатели диффуров не справлялись с жесткими системами. Если мы в аналоговой системе вставим где-то ключ, который можно замыкать и размыкать в любое время, то Proteus проглотит такую схему и спокойно её промоделирует.
Поэтому можно предусмотреть такие же «ключи» для ручного включения или отключения дополнительных вычислительных модулей или данных. Да, текущая ситуация в данном случае будет отличаться от расчетной, но дальше то тоже нужно думать что делать. Мы корректируем модель (данные) и опять делаем расчёт.
Также ведь никто не мешает моделировать коридор для текущего результата расчёта. Если кто занимался теорией надежности на практике, то в лабораторных (у радиотехников) были задания по анализу устойчивости выходных параметров схемы при варьировании величин её частей. Это нужно для предъявления допусков для деталей, т.к. схема может быть рассчитана для одних номиналов, а по факту есть другие.
Таким же образом делаем вероятные предположения для «ожиданий», включаем их в разные части модели и рассчитываем наихудшие и наилучшие варианты расчетов «ожиданий». Делаем заготовки что делать при худшем или лучшем расчете. В радиотехнике есть анализ методом Монте-Карло, когда величины элементов варьируются случайным образом, после чего смотрят на разброс параметров системы. Точно так же можно и его использовать и найти самый худший вариант.
Вообще, математических методов анализа параметров систем придумано много и меня удивляет, что народ зациклен на нейронных сетях. В той же статистике есть методы, которые позволяют вычислить параметры аддитивных составляющих (не обязательно гармонических). Ты задаёшь модели для каждой составляющей и прогоняешь алгоритм через известную выборку. На выходе получаются коэффициенты для каждой модели. В Mathcad это делает функция genfit(), если память не изменяет.
Если экономика не может быть промоделирована, т.е. нельзя использовать какие-то экономические правила для расчетов, причем, как для малого, так и для великого, то это не наука в таком случае, а просто меняющийся набор ручных рычагов. Я надеюсь, что это не так.
Поэтому можно предусмотреть такие же «ключи» для ручного включения или отключения дополнительных вычислительных модулей или данных. Да, текущая ситуация в данном случае будет отличаться от расчетной, но дальше то тоже нужно думать что делать. Мы корректируем модель (данные) и опять делаем расчёт.
Также ведь никто не мешает моделировать коридор для текущего результата расчёта. Если кто занимался теорией надежности на практике, то в лабораторных (у радиотехников) были задания по анализу устойчивости выходных параметров схемы при варьировании величин её частей. Это нужно для предъявления допусков для деталей, т.к. схема может быть рассчитана для одних номиналов, а по факту есть другие.
Таким же образом делаем вероятные предположения для «ожиданий», включаем их в разные части модели и рассчитываем наихудшие и наилучшие варианты расчетов «ожиданий». Делаем заготовки что делать при худшем или лучшем расчете. В радиотехнике есть анализ методом Монте-Карло, когда величины элементов варьируются случайным образом, после чего смотрят на разброс параметров системы. Точно так же можно и его использовать и найти самый худший вариант.
Вообще, математических методов анализа параметров систем придумано много и меня удивляет, что народ зациклен на нейронных сетях. В той же статистике есть методы, которые позволяют вычислить параметры аддитивных составляющих (не обязательно гармонических). Ты задаёшь модели для каждой составляющей и прогоняешь алгоритм через известную выборку. На выходе получаются коэффициенты для каждой модели. В Mathcad это делает функция genfit(), если память не изменяет.
Если экономика не может быть промоделирована, т.е. нельзя использовать какие-то экономические правила для расчетов, причем, как для малого, так и для великого, то это не наука в таком случае, а просто меняющийся набор ручных рычагов. Я надеюсь, что это не так.
Поведение рынка не описывается фиксированным набором дискретных или непрерывных величин. Основная проблема в том, что большая часть поведения рынка определяется психологией, которая слабо формализуема. Поэтому любая закономерность, полученная на прошлых результатах, совершенно необязательно будет проявляться в будущем.
Ограничение набора предположений — и есть тот самый фундаментальный анализ, который редко рассматривает прошлые цены.
Ограничение набора предположений — и есть тот самый фундаментальный анализ, который редко рассматривает прошлые цены.
Не превратится ли такой прогноз в Самоисполняющееся пророчество?
Это будет не прогноз, а расчет, котрый делается не один раз, а периодически повторяется с учетом вновь поступивших данных. Я больше практик, чем теоретик и в такого рода вопросах про курицу и яйцо я сторонник подхода: покажите мне конкретное яйцо с курицей и я скажу кто был первым.
Если расчет делать периодически, то он мог бы учесть действия участников рынка при получении предыдущих данных. У меня есть уверенность, что существующих вычислительных мощностей хватило бы для подобного рода расчетов, учитывая, что сейчас таким образом рассчитывается погода по всей планете.
Если расчет делать периодически, то он мог бы учесть действия участников рынка при получении предыдущих данных. У меня есть уверенность, что существующих вычислительных мощностей хватило бы для подобного рода расчетов, учитывая, что сейчас таким образом рассчитывается погода по всей планете.
Проблема кроетася в задаче трех тел. Смысл в том, что выходные данные модели сильно зависят от точности входных. И зависимость эта нелинейна. Т.е. с ростом времени на которое делается прогноз, требование к точности входных параметров очень быстро устремляется к бесконечности.
Очень любопытно посмотреть на вашу экстраполяцию, но с отступом в прошлое, например на год, а потом сравнить экстраполяцию и реальные показатели цены за этот год. Это позволит оценить на сколько точно прогноз строится и сейчас.
А есть способы работы с несколькими связанными временными рядами? Например, исследовать динамику цен на нефть вместе с климатом.
Возникает чувство что все модели предсказывают одинаково плохо (а точнее вообще никак не предсказывают), просто для одной из моделей результаты случайно оказались более близки к реальности. Tbats, на мой взгляд, кстати в целом показывает картину лучше ARIMA, так как Tbats предсказывает падение, а ARIMA стабильность цены и цена на 6 день очень близка с реальностью (важен не столько график скачков, сколько тенденция прогноза). Увы, сложность экстрополяции на коротких промежутках в том что даже просто генерируя абсолютно случайные графики рано или поздно можно найти похожий на реальность, но это ничего не говорит о качестве модели, модель можно будет считать проверенной если она будет близка к реальности хотя в 2-3 разных временных промежутков.
Спасибо автору за иллюстрирование возможностей R — для меня лично очень полезно.
Однако по поводу
не намекает — поверьте на слово. Технический анализ не может лежать в основе долгосрочных прогнозов. Когда мой научный руководитель в 2004 при ценах около 45$ за Brent говорил о выходе цен на новый уровень не ниже 100$ — верилось с трудом. Однако ближе к 2008 его прогноз, основанный на данных фундаментального анализа, всплыл в памяти. Не уверен, что в 2004 кто-либо из классических «технарей» мог такое предвидеть)
Посмотрите где сейчас сосредоточен весь цвет технического анализа. Правильно — краткосрочное прогнозирование в высокочастотном трейдинге, что как бы намекает.
Однако по поводу
Это как бы намекает
не намекает — поверьте на слово. Технический анализ не может лежать в основе долгосрочных прогнозов. Когда мой научный руководитель в 2004 при ценах около 45$ за Brent говорил о выходе цен на новый уровень не ниже 100$ — верилось с трудом. Однако ближе к 2008 его прогноз, основанный на данных фундаментального анализа, всплыл в памяти. Не уверен, что в 2004 кто-либо из классических «технарей» мог такое предвидеть)
Посмотрите где сейчас сосредоточен весь цвет технического анализа. Правильно — краткосрочное прогнозирование в высокочастотном трейдинге, что как бы намекает.
Неблагодарное это дело, предсказывать следствия основываясь на других следствиях, и игнорируя причины.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Нефтяные ряды в R