Alexander_Shulzhenko 20 янв в 14:22

Финансовые данные: об измерении автокорреляции, тяжелых хвостах и других статистиках (Vol 1)

Средний

4 мин

2.6K

Математика*Статистика в ITФинансы в IT

Кейс

Комментарии 22

inetstar 20 янв в 16:03

Чтобы вникать в тяжёлую математику нужно знать что это даст. Для чего эти знания применимы.

Например, если с помощью этой математики можно спрогнозировать направление движения цены или заработать на опционах, то в этом смысл есть.

Если всё это было написано для того, чтобы изучить свойства распределений с тяжёлыми хвостами, но не имеет практической ценности, то мотивация будет только у математиков. И то не факт.

Поэтому хотелось бы, чтобы статья начиналась с того для чего и кому эти знания могут понадобиться.

Aquahawk 20 янв в 16:21

Я вам скажу, как человек изучающий эту тему сейчас.

Спрогнозировать направление движения при помощи этого нельзя.

Это нужно чтобы не утратить портфель в 0 во время кризиса, что по сути равно заработать на кризисе. Проблема в том, что иногда случаются "невозможные" с точки зрения предсказания вещи, и традиционный подход, который под флагом центральной предельной теоремы натягивает на рыночное движение функцию нормального распределения работает в 99.9% случаев, но когда не работает, шахарет так, что куча народу банкротится. Тот же Талеб, в книге "статистические последствия жирных хвостов" прямо обвиняет всю современную экономическую школу в профнепригодности(параллельно с гигантскими заработками фонда, где он консультант).

Рынок предоставляет уйму возможностей взять неразумно много риска, не обеспеченного доходностью, моя задача, как инвестора, следить за тем чтобы риски были сообразны доходности.

inetstar 20 янв в 22:08

Я читал Талеба. Ну да, тяжёлые хвосты. Это же всё решается через опционы.
Есть стратегии при которых есть гарантированный заработок, при условии, если цена выйдет из диапазона. И такая сложная математика для этого не нужна.

Aquahawk 20 янв в 22:58

упрощенно говоря да, путы, но и с ними есть вопросы: на какие уровни, в каком объеме, на какие сроки, по каким базовым активам, в какой валюте, где? Причем только первые два вопроса математические, а остальные вопросы совсем не математические, а скорее политические и юридические, но, чтобы понимать какую долгосрочную стратегию реализовать нужно понимать и нижележащую математику и устройство финансового мира и политику. Я вот по образованию математик, и то, что говорил Талеб до книги про хвосты, я не воспринимал так живо, как понял по этой книге. Кстати немаловажным фактором является управление собственной уверенностью и психологическим спокойствием, когда из квартала в квартал путы будут гореть без реализации.

Alexander_Shulzhenko 20 янв в 17:55

Попробую поддержать и, возможно, развить ответ @Aquahawk. Устойчивая и эффективная оценка параметров крайне важна на практике. Например, предположим, Вы торгуете, используя некоторую стратегию, вычисляющую эффективность рынка на последних N временных промежутках. Тогда Вам будет важно дать "правильную" оценку эффективности (возможно, протестировать какую-то гипотезу, например, о равенстве корреляции 0) и, вычисляя просто соответсвующие корреляции, Вы можете получить некорректные результаты, что приведет к потерям. В данной части статьи, я постарался показать, что у классических подходов действительно есть проблемы при работе с тяжелохвостными данными, а в следующей части, следуя одной известной статье, я опишу альтернативный подход, который справляется с описанными трудностями.

inetstar 20 янв в 22:02

Вы торгуете, используя некоторую стратегию, вычисляющую эффективность рынка на последних N временных промежутках

Мне непонятна эта фраза. Можно объяснить попонятнее?

1 момент: что значит эффективность рынка? О чём конкретно вы говорите? Допустим, я вижу неэффективность в том, что доллар к рублю вырос, а золото нет. Но мне тогда не нужно смотреть другие временные промежутки. Я могу взять лонг по золоту и зашортить бакс.

Или стоит задача протестировать некую гипотезу и найти корреляции? Чтобы потом по ним торговать?

Alexander_Shulzhenko 20 янв в 22:37

Чтобы объяснить фразу попонятнее, нужно, наверное, предложить конкретную стратегию, которая использует неэффективность рынка :)
Насчет эффективности рынка, имелось в виду отсутствие автокорреляций $Corr(R_t, R_{t+h}) \approx 0$ . На самом деле тут Вы правы, обычно этот факт называют не самой гипотезой об эффективности рынка, а "support for the Efficient Market Hypothesis" (см., например, Cont 2000). Из данного "определения" вытекает стратегия, которая и использует эту корреляцию (она относится к классу стратегий статистического арбитража):

Предположим, Вы умеете каким-то образом робастно вычислять такую корреляцию для последних N свечей. Тогда, используя предположение о нулевой корреляции, стратегия будет пытаться снизить эту корреляцию для будущих изменений цены.

Для лучшего объяснения цитата Мандельброта: "arbitrage tends to whiten the spectrum of price changes".

inetstar 20 янв в 22:10

Кстати, что такое R^2 (вы используете без объяснения)?

Может быть, ваша идея в том, что если мы находим автокорреляции, то на этом можно заработать? А находить вы их предлагаете как-то по-особенному?

Abobcum 20 янв в 16:56

В этой части мы подробно обсудим с математической точки зрения

И тут понеслось: Предположим, чаще всего, Воспользуемся классическим определением, эмпирические свойства, скорее всего и дальше по тексту.

В каждом абзаце автор полагает, что мы тупые школьники и делаем необоснованные допущения. И затем легко и грациозно доказывает, что мы тупые и делаем необоснованные допущения. Нуу... от финансов это далеко, а от математики ещё дальше.

Например:

Воспользуемся классическим определением доходности актива в момент времени

Формула неправильная, потому, в том числе, что стоимость денег изменяется со временем. Так, если бы актив не менял свою стоимость год, то по вашей формуле доходность была бы 0, но в реальности -0,5. Зачем вообще использовать нестационарное определение для временного анализа? И зачем дальше использовать формулы для стационарного процесса?

Alexander_Shulzhenko 20 янв в 17:48

Вряд ли "тупые школьники" делали бы допущения о которых пишут известные ученые в недавних исследованиях. Посмотрите, например, работу Р. Ибрагимова о новых подходах в оценке эффективности рынка и т.д. Статья опубликована в Journal of Financial Econometrics, который входит в первый квартиль журналов, индоссируемых Scopus. Введение статьи говорит ровно о том, что такие допущения делаются, и авторы даже предоставляют ссылки на сопутствующие работы. Поэтому вряд ли Ваше замечание о примитивности предположений уместно.
Говоря об определении доходностей, которым я пользуюсь в статье, могу сослаться на определение Рама Конта из его знаменитой статьи о стилизованных фактах. Как Вы могли догадаться — определение такое же, так что его использование вполне уместно. Более подробные пояснения на этот счет Вы можете найти там же.
Наконец, если Вы хотите выразить Ваше мнение, что всегда, безусловно, приветствуется, постарайтесь в будущем делать это в более корректной форме.

Abobcum 20 янв в 20:32

Один из примеров использования апелляции к авторитету в науке относится к 1923 году, когда ведущий американский зоолог Теофилус Пейнтер заявил, основываясь на скудных данных и противоречивых наблюдениях, которые он сделал, что у человека 24 пары хромосом. С 1920-х по 1956 год ученые пропагандировали этот "факт", основываясь на авторитете Пейнтера, несмотря на то, что последующие подсчеты показали правильное число 23. Даже учебники с фотографиями, показывающими 23 пары, неправильно указывали число равным 24, основываясь на авторитете тогдашнего консенсуса в 24 пары.

Слишком много бездоказательных ссылок на знаменитые статьи в престижных журналах для математической точки зрения. Научный метод познания (на текущий момент) отвергает авторитеты, любая теория должна быть фальсифицируема.

Kergan88 21 янв в 09:46

>В каждом абзаце автор полагает, что мы тупые школьники и делаем необоснованные допущения

Вы сейчас записали в "тупые школьники" чуть менее чем всех современных финансистов. Потому что вся их работа по большей части основана на этих самых допущениях. О чем, собственно, автор и пишет.

Abobcum 21 янв в 11:21

Будь они хоть трижды профессорами экономики, но, пока они не станут неприлично богатыми на своих "новых" формулах, они ничтожества в мире финансов.

materiatura 20 янв в 21:40

Спасибо за статью, интересно посмотреть, что там происходит у "соседей".)) Я мимокрокодил, и вот какой вопрос повис и так и висит - а что такое "классический подход"? Судя по Вашим выводам он не работает. Но кто, этот "классический подход" я честно, так и не понял.

Alexander_Shulzhenko 20 янв в 22:11

Спасибо за вопрос! Я действительно не очень подробно описал, что за "классический" подход имеется в виду. Давайте разобьем его на две части:

Вычислить выборочную статистику: в нашем случае — выборочную автокорреляцию.
Используя "известное" распределение этой выборочной статистики построить, например, доверительный интервал (или протестировать гипотезу).

Так вот оказывается, что и в первом и втором пунктах есть трудности для распределений с тяжелыми хвостами. В первом пункте — просто вопрос существования, для тяжелохвостных распределений часто (в зависимости от $\zeta$ ) не определены корреляция самих и уж тем более их квадратов. Во втором пункте же используется то самое "известное" распределение, которое часто полагается нормальным, и используются квантили этого распределения для построения того же доверительного интервала. Однако в этой статье (надеюсь) показано, что распределение $\gamma_{n, R_t}$ уж очень вряд ли нормальное, и, более того, имеет бесконечную дисперсию, что сильно раздвигает границы доверительного интервала и вызывает трудности с проверкой гипотез и т.д.

materiatura 21 янв в 00:21

Спасибо за развернутый ответ. Из Вашего текста можно было предположить, что используют нормальное распределение для лимитированного отрезка времени, но мне показалось это уж очень наивным, вот я и спросил. А можно еще вопрос? Цена актива в определенный момент времени - это что за сущность? Из чего и как она формируется? Это результат некоторого количества сделок за промежуток времени?

inetstar 20 янв в 22:16

Тема очень интересное. Но хотелось бы более популярного изложения, менее наукообразного. Например, многие буквы в формулах вы дали без объяснения.

И "кластеризация волатильности" непонятная вещь (для меня). Напоминает "кластерные уровни", о которых говорит известный трейдер Роман Андреев в своих обзорах. УмнО звучит, но непонятно, что имеется ввиду.

Alexander_Shulzhenko 20 янв в 22:46

Спасибо за разделение интереса к тематике :) Под кластеризацией волатильности подразумевается следующее:

Различные "меры" волатильности демонстрируют положительную автокорреляцию в течение нескольких дней, что отражает тот факт, что события с высокой волатильностью имеют тенденцию группироваться во времени.

inetstar 20 янв в 22:20

"сходимости выборочных автокорреляций" - тоже вопросы.
Зачем нужны выборочные автокорреляции? Вы имеете ввиду отдельные? Например с предыдущим шагом или i-N?

И что значит сходимость корреляций? У любой корреляции есть конкретная цифра. Это же не ряд бесконечно малых, чтобы сходиться или нет.

-1

Alexander_Shulzhenko 20 янв в 22:40

Имеется в виду сходимость по распределению, то есть распределение выборочных корреляций при $n \to \infty$ сходится к некоторому $\alpha$ -устойчивому распределению.

inetstar 21 янв в 20:55

Что значит альфа-устойчивое распределение?
И почему выборочные корреляции должны к нему сходиться?
Ведь, если есть неэффективность рынка, то она может проявляться только на нескольких выборочных распределениях. А на всех остальных отсутствовать.

Например, при простреле (t-1), возможно, будет корреляция с откатами назад, а на всех остальных N будет полнейшая эффективность рынка.

Alexander_Shulzhenko 22 янв в 00:27

Про устойчивые распределения ( $\alpha$ — это просто его параметр, от которого зависит конечность моментов) можно прочитать, например, на Википедии (ссылка). Кратко говоря, это распределения, "инвариантные" к сложению случайных величин.

Насчет второго вопроса: говорится про распределение выборочных корреляций, а не про конкретные реализации:

Если есть стационарный набор с.в. и мы рассмотрим $\gamma_{n,X}(h)$ , то они сходятся к устойчивому распределению по распределению (тавтология, но, ладно), потому что есть какая-то теорема, в которой это доказывается (а именно, Davis and Mikosh теорема 3.5).

Чтобы более наглядно это представить, зафиксируйте, например, значение и , тогда получится такое $\gamma_{10} = 0.1(X_1 X_6 + X_2 X_7 + X_3 X_8 + X_4 X_9 + X_5 X_{10})$ . Все здесь случайные величины, а значит, $\gamma_{10}$ — тоже случайная величина. По такому же принципу строятся случайные величины $\gamma_{11}, \gamma_{12}, \dots, \gamma_n, \dots$ И вот оказывается, что эта последовательность случайных величин по распределению сходится к устойчивой случайной величине.

Об этом с практической точки зрения можно думать так: если Вы имеете "достаточно" большое (и тут на арену выходит скорость сходимости), и имеете выборку данных (цен закрытия) $x_1, \dots, x_{100}$ , например, то вы вычисляете (пусть опять же для ) величину $\gamma_{100}$ по формуле выше. Вы хотите сделать вывод о том, насколько большое (или маленькое) ваше значение $\gamma_{100}$ . Как вы это будете делать? Естественный ответ — посмотрите "где в распределении" лежит ваше $\gamma_{100}$ , но для этого нужно знать, из какого распределение ваше значение получено. Вот для этого и исследуют сходимости, потому что наш ответ — что распределение из которого получены $\gamma_{100}$ — просто некоторое устойчивое (и НЕ нормальное в общем случае).

Наконец, Вы говорите о том, что если есть неэффективность, то она может проявляться на некоторых выборочных значениях. Пока что я тут проблемы не вижу, и, более того, обычно так и есть, что неэффективность возникает, а потом исчезает через несколько секунд/минут/часов...

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Финансовые данные: об измерении автокорреляции, тяжелых хвостах и других статистиках (Vol 1)

Комментарии 22

Публикации

Истории