Спасибо!
Замечательное по стилю изложение. Звучит как песня.
По сути проблемы. У меня было несколько попыток решение данной задачи. Результаты были никакие и задача откладывалась на следующий раз. (Это как «гантели для мозгов», чтобы «извилины не закисли»). Но, что интересно, критически оценивая свою любительскую работу, я пришел к важному выводу:
1.Данную задачу и ряд других интересных задач, невозможно решить на основе стандартного математического подхода, т.е. на основе формулировки лемм, доказательства теорем и т.д.
2.Данную задачу с большой вероятностью удастся решить на основе алгоритмической математики, т.е. решение не будет представлено в виде формулы, а будет представлено в виде алгоритма вычисления конкретной позиции следующего простого числа в последовательном списке натуральных чисел. Некоторым аналогом такого подхода может служить динамический ряд, когда на основе предисстории значений производится прогноз следующего значения.
3.Хорошие алгоритмические решения дадут интервал (n_min, n_max) в котором должен находиться следующее простое число. Лучшим будет тот алгоритм, у которого значение
n_max — n_min будет минимальным.
Вначале хочу пожелать успехов всей команде в реализации и продвижении проекта.
1.Думаю, что идея «торгуй на бирже так же, как тот крутой парень» достаточно жизнеспособна и найдет поддержку среди определенной категории трейдеров. Во всяком случае, образ Уоррена Буфета и действия большого числа подражателей может служить тому подтверждением.
Если я правильно понимаю, то основная бизнес составляющая проекта – это предоставление услуги по демонстрации торговых действий некого успешного трейдера на выбранной вами бирже. Вы предполагаете, что успешный трейдер будет служить образом для подражания для ваших клиентов. В связи с этим есть несколько вопросов:
-образ какого количества успешных трейдеров (экспертов) вы можете предложить своим клиентам для подражания?
-на основе какой экспертной оценки вы подбираете этих успешных трейдеров?
— как быть в том случае, если клиента интересует некая валютная пара (ХХХ, USD), но ни один из демонстрируемых экспертов в данный момент этим не занимается?
-может ли быть такая ситуация, что действия экспертов будут быстрыми и клиенты не успеют копировать их действия?
-есть много бирж, а на этих биржах торгуют достаточное количество успешных трейдеров. Будет ли у клиентов возможность «заказать» конкретного трейдера из заданной биржи (в хорошем смысле этого слова)?
2.Тема, которой вы занимаетесь, мне интересна и близка. Только в той части, что касается прогноза цен произвольной валютной пары на один или более шагов вперед. (Возможно, это будет звучать не скромно, но нам удалось достичь очень высокой точности прогноза для различных валютных пар. Для каждой валютной пары проводился анализ поминутных суточных данных за три года. Это легко проверить). Сейчас все это находится на стадии разработки интернет проекта «prediction as a service».
Хочу предложить членам команды принять участие в данном проекте. Ваш проект и данный проект взаимно дополняют друг друга. Если конечная цель – заработать деньги, то еще не известно из какого проекта Вы больше заработаете.
3. Также, я хотел бы предложить совместно разработать эффективный алгоритм формирования торговой стратегии. Это интересная задача, и это именно то, что вы хотите предложить своим клиентам. (напишите мне (ericgrig@gmail.com). Уверен, что наше сотрудничество будет взаимно полезным).
Приятно сознавать, что в Хабро_Сообществе есть такие целеустремленные,
способные люди. Ценю то, как Вы «вцепились» в задачу и дошли до конца.
Желаю успехов!
От Вашей публикации у меня сформировалось странное ощущение.
Мне показалось, что вы что-то хотели сказать, но не успели. Как бы смешно это не звучало, может вы продолжите и доскажете, то что хотели?
p.s. По тексту – вы хорошо и легко владеете инструментом. И это здорово, что студентам читаете подобные курсы. Почти все задачи из класса NP «лбом упираются» в огромное пространство состояния. А там, без случайных перестановок, случайного разбиения и всего другого случайного, трудно получить эффективное решение.
Надеюсь, кто-нибудь донесет до сознания власть имущих, что «вырастить» хороших программистов – это очень важно, так как они стержневая основа будущего страны. Мне кажется, если человек 100-200 патриотов России – членов ХабраСообщества, отправят копию данной публикации различным депутатам государственной думы на их электронную почту, то может появиться шанс, что там «включат рубильник» и будут ответственно рассматривать этот вопрос.
По сути обработки результатов исследования у меня возникли вопросы.
1. Когда сравниваются результаты выборочных исследований случайных величин, то
— указывается, к какому типу относится гистограмма распределения данной случайной величины;
— и если это распределение можно считать близким к нормальному распределению, то следует сравнить выборочные средние на основе критерия Стьюдента и говорить о достоверности различия при заданном уровне значимости.
Почему то об этом не было речи, поэтому не удалось понять, речь идет о тенденции или о достоверном различии. Так же меня удивил подрисуночный текст:
Рис 1. Средние результаты теста, нормированные к стандартному отклонению…
Как известно, отношение стандартного отклонения к среднему значению называется коэффициентом вариации и характеризует только «разброс значений случайной величины». Как можно использовать обратную величину коэффициента вариации для формирования суждения «о достоверности различия чего то»?
2. Почему то американская выборка (6847 американцев) в 12.43 раза больше чем выборка, сформированная в России (551). Здесь может быть определенный подвох, мы не знаем какова доля «отличных», «хороших» и «средних» участников в сравниваемых выборках различных национальных «команд». Поэтому, было бы интересно выполнить следующее сравнение, сформировать из «большой» американской выборки случайные выборки по 300 человек (с одинаковой долей отличных, хороших и средних участников) и сравнить результаты с российской выборкой из 300 человек (также с одинаковой долей отличных, хороших и средних участников). Тогда, такое сравнение будет более корректным.
3. Согласно публикации тест «состоял из 66 вопросов с несколькими вариантами ответа в каждом». Мне кажется, не совсем корректным сравнить всех «оптом». Более полезную информацию могли бы получить, если бы сравнивали выборки по каждому вопросу отдельно, т.е. проводили бы 66 сравнений национальных «команд». Опять таки, на основе сформированных случайных выборок с одинаковой долей участников с разным уровнем компетенции. В этом случае, скорее всего будет получено, что на каком то количестве вопросов приоритет имела одна команда, на каком то – другая, а в остальных случаях различия были не достоверными.
4. И наконец, вопрос, который скорее всего относится к психологической стороне организации эксперимента. Интересно, были ли участники различных команд одинаково уведомлены о том, что по результатам их тестирования будут судить об уровне компетенции программистов всей страны? Т.е. насколько ответственно подходили участники в разных странах к данному «событию» тестирования?( а то, могли ведь отнестись и «пофигистски»).
Спасибо за публикацию!
Для трейдеров занимающихся виртуальной валютой, вы сделали большой объем работы. Думаю, посещая Ваш сайт, каждый найдет себе что-то интересное, хотя объем представленной там информации очень большой.
«На данный момент мы анализируем более 3 тысяч новостных источников, на английском, русском и китайском языках, в результате мы получаем около 3 тысяч новых материалов ежедневно»
Мне кажется, посетителю сайта будет не так просто извлекать ценные знания из 3000 новых материалов. Лента коротких блоков информации – это хорошо. Может, стоит подумать об обработке этих коротких блоков информации, с целью их обобщения по тем или иным направлениям для удобства пользователей?
В целом, молодцы. Сделан хороший первый шаг. Надеюсь, на этом не остановитесь. (Если сочтете интересным алгоритмическую поддержку с моей стороны – напишите: ericgrig@gmail.com)
Спасибо за побликацию!
Вы поработали честно и добросовестно.
Предлагаю Вам посмотреть на этот класс задач немного иначе:
-есть последовательность совокупных событий в прошлом.
-эти события содержат определенные знания о событии, которая наступит в будущем.
-нужно разработать алгоритм, который позволит извлечь знания из прошлых событий
для предсказания некого целевого показателя на шаг или более вперед.
Попробуйте выйти из колеи ARIMA.
ARIMA — это хорошо, но ARIMA — это не все.
Я с уважением отношусь к Андрею Станкевичу.
Талантливый учитель и отличный тренер. У него есть реальные заслуги перед отечеством.
И он заслуживает соответствующей государственной награды «За заслуги перед отечеством».
Замечательная публикация. Спасибо автору!
Мне кажется, Вам будет интересно перейти к рассмотрению другого класса лабиринтов, которые назовем «Не детерминированными лабиринтами». Изначально, все ячейки (все пути) в таком лабиринте размером nxn свободны. Но выбор любого шага для продвижения из зоны «начало» в зону «выход» приводит к закрытию каких-то отрезков пути в этом пространстве (на основе некоторого правила). Правила для закрытия тех или иных отрезков могут быть разными. Это чем-то напоминает гибрид задачи n-Queens и игру «Сапер», но очень отдаленно. На самом деле, это интересный класс задач, решение которых требует серьезных усилий.
В DeepMind работает достаточно сильная команда, поэтому удивляет, что их прогноз оказался не совсем удачным (судя по графику). Вообще, задача прогноза событий на несколько шагов вперед на основе совокупности динамических рядов является актуальной уже много лет. Для обычных климатических показателей (температура, влажность, …) работать проще, чем с ветром (направление, скорость, …). «Порывистый» характер ветра требует иного подхода в постановке задачи. Было бы интересно «потрогать» эти данные, если бы они были в публичном доступе.
Спасибо за статью!
Хочу отметить, что не стоит приводить значение функции f(x,y) с точностью до 15-го знака после запятой. Это слишком избыточно. На графиках и в тексте программы вы используете два знака после запятой, и для изложения материала этого достаточно. Вряд ли какие-либо изменения значений переменных на уровне 15-го знака повлияют на ваши суждения.
Алексей, спасибо за подробное изложение вашего подхода к распознаванию китайских иероглифов с помощью нейронных сетей. Я, когда-то интересовался этой задачей. Хочу спросить: «Есть ли возможность воспользоваться данными растровых изображений всех 10 000 иероглифов для целей обучения?». Хотелось бы восстановить алгоритм и пропустить через него. Может удастся чем-то помочь.
Замечательное по стилю изложение. Звучит как песня.
По сути проблемы. У меня было несколько попыток решение данной задачи. Результаты были никакие и задача откладывалась на следующий раз. (Это как «гантели для мозгов», чтобы «извилины не закисли»). Но, что интересно, критически оценивая свою любительскую работу, я пришел к важному выводу:
1.Данную задачу и ряд других интересных задач, невозможно решить на основе стандартного математического подхода, т.е. на основе формулировки лемм, доказательства теорем и т.д.
2.Данную задачу с большой вероятностью удастся решить на основе алгоритмической математики, т.е. решение не будет представлено в виде формулы, а будет представлено в виде алгоритма вычисления конкретной позиции следующего простого числа в последовательном списке натуральных чисел. Некоторым аналогом такого подхода может служить динамический ряд, когда на основе предисстории значений производится прогноз следующего значения.
3.Хорошие алгоритмические решения дадут интервал (n_min, n_max) в котором должен находиться следующее простое число. Лучшим будет тот алгоритм, у которого значение
n_max — n_min будет минимальным.
1.Думаю, что идея «торгуй на бирже так же, как тот крутой парень» достаточно жизнеспособна и найдет поддержку среди определенной категории трейдеров. Во всяком случае, образ Уоррена Буфета и действия большого числа подражателей может служить тому подтверждением.
Если я правильно понимаю, то основная бизнес составляющая проекта – это предоставление услуги по демонстрации торговых действий некого успешного трейдера на выбранной вами бирже. Вы предполагаете, что успешный трейдер будет служить образом для подражания для ваших клиентов. В связи с этим есть несколько вопросов:
-образ какого количества успешных трейдеров (экспертов) вы можете предложить своим клиентам для подражания?
-на основе какой экспертной оценки вы подбираете этих успешных трейдеров?
— как быть в том случае, если клиента интересует некая валютная пара (ХХХ, USD), но ни один из демонстрируемых экспертов в данный момент этим не занимается?
-может ли быть такая ситуация, что действия экспертов будут быстрыми и клиенты не успеют копировать их действия?
-есть много бирж, а на этих биржах торгуют достаточное количество успешных трейдеров. Будет ли у клиентов возможность «заказать» конкретного трейдера из заданной биржи (в хорошем смысле этого слова)?
2.Тема, которой вы занимаетесь, мне интересна и близка. Только в той части, что касается прогноза цен произвольной валютной пары на один или более шагов вперед. (Возможно, это будет звучать не скромно, но нам удалось достичь очень высокой точности прогноза для различных валютных пар. Для каждой валютной пары проводился анализ поминутных суточных данных за три года. Это легко проверить). Сейчас все это находится на стадии разработки интернет проекта «prediction as a service».
Хочу предложить членам команды принять участие в данном проекте. Ваш проект и данный проект взаимно дополняют друг друга. Если конечная цель – заработать деньги, то еще не известно из какого проекта Вы больше заработаете.
3. Также, я хотел бы предложить совместно разработать эффективный алгоритм формирования торговой стратегии. Это интересная задача, и это именно то, что вы хотите предложить своим клиентам. (напишите мне (ericgrig@gmail.com). Уверен, что наше сотрудничество будет взаимно полезным).
способные люди. Ценю то, как Вы «вцепились» в задачу и дошли до конца.
Желаю успехов!
Мне показалось, что вы что-то хотели сказать, но не успели. Как бы смешно это не звучало, может вы продолжите и доскажете, то что хотели?
p.s. По тексту – вы хорошо и легко владеете инструментом. И это здорово, что студентам читаете подобные курсы. Почти все задачи из класса NP «лбом упираются» в огромное пространство состояния. А там, без случайных перестановок, случайного разбиения и всего другого случайного, трудно получить эффективное решение.
Ценю Ваш талант — подробно и с юмором раскрывать интересную информацию.
Буду рад ознакомиться со следующими вашими публикациями.
Надеюсь, кто-нибудь донесет до сознания власть имущих, что «вырастить» хороших программистов – это очень важно, так как они стержневая основа будущего страны. Мне кажется, если человек 100-200 патриотов России – членов ХабраСообщества, отправят копию данной публикации различным депутатам государственной думы на их электронную почту, то может появиться шанс, что там «включат рубильник» и будут ответственно рассматривать этот вопрос.
По сути обработки результатов исследования у меня возникли вопросы.
1. Когда сравниваются результаты выборочных исследований случайных величин, то
— указывается, к какому типу относится гистограмма распределения данной случайной величины;
— и если это распределение можно считать близким к нормальному распределению, то следует сравнить выборочные средние на основе критерия Стьюдента и говорить о достоверности различия при заданном уровне значимости.
Почему то об этом не было речи, поэтому не удалось понять, речь идет о тенденции или о достоверном различии. Так же меня удивил подрисуночный текст:
Рис 1. Средние результаты теста, нормированные к стандартному отклонению…
Как известно, отношение стандартного отклонения к среднему значению называется коэффициентом вариации и характеризует только «разброс значений случайной величины». Как можно использовать обратную величину коэффициента вариации для формирования суждения «о достоверности различия чего то»?
2. Почему то американская выборка (6847 американцев) в 12.43 раза больше чем выборка, сформированная в России (551). Здесь может быть определенный подвох, мы не знаем какова доля «отличных», «хороших» и «средних» участников в сравниваемых выборках различных национальных «команд». Поэтому, было бы интересно выполнить следующее сравнение, сформировать из «большой» американской выборки случайные выборки по 300 человек (с одинаковой долей отличных, хороших и средних участников) и сравнить результаты с российской выборкой из 300 человек (также с одинаковой долей отличных, хороших и средних участников). Тогда, такое сравнение будет более корректным.
3. Согласно публикации тест «состоял из 66 вопросов с несколькими вариантами ответа в каждом». Мне кажется, не совсем корректным сравнить всех «оптом». Более полезную информацию могли бы получить, если бы сравнивали выборки по каждому вопросу отдельно, т.е. проводили бы 66 сравнений национальных «команд». Опять таки, на основе сформированных случайных выборок с одинаковой долей участников с разным уровнем компетенции. В этом случае, скорее всего будет получено, что на каком то количестве вопросов приоритет имела одна команда, на каком то – другая, а в остальных случаях различия были не достоверными.
4. И наконец, вопрос, который скорее всего относится к психологической стороне организации эксперимента. Интересно, были ли участники различных команд одинаково уведомлены о том, что по результатам их тестирования будут судить об уровне компетенции программистов всей страны? Т.е. насколько ответственно подходили участники в разных странах к данному «событию» тестирования?( а то, могли ведь отнестись и «пофигистски»).
Толково и грамотно.
Очень хорошо оформлена статья.
Ценю высокий профессиональный уровень.
Для трейдеров занимающихся виртуальной валютой, вы сделали большой объем работы. Думаю, посещая Ваш сайт, каждый найдет себе что-то интересное, хотя объем представленной там информации очень большой.
«На данный момент мы анализируем более 3 тысяч новостных источников, на английском, русском и китайском языках, в результате мы получаем около 3 тысяч новых материалов ежедневно»
Мне кажется, посетителю сайта будет не так просто извлекать ценные знания из 3000 новых материалов. Лента коротких блоков информации – это хорошо. Может, стоит подумать об обработке этих коротких блоков информации, с целью их обобщения по тем или иным направлениям для удобства пользователей?
В целом, молодцы. Сделан хороший первый шаг. Надеюсь, на этом не остановитесь. (Если сочтете интересным алгоритмическую поддержку с моей стороны – напишите: ericgrig@gmail.com)
Вы поработали честно и добросовестно.
Предлагаю Вам посмотреть на этот класс задач немного иначе:
-есть последовательность совокупных событий в прошлом.
-эти события содержат определенные знания о событии, которая наступит в будущем.
-нужно разработать алгоритм, который позволит извлечь знания из прошлых событий
для предсказания некого целевого показателя на шаг или более вперед.
Попробуйте выйти из колеи ARIMA.
ARIMA — это хорошо, но ARIMA — это не все.
Талантливый учитель и отличный тренер. У него есть реальные заслуги перед отечеством.
И он заслуживает соответствующей государственной награды «За заслуги перед отечеством».
Он другой. У него другая мотивация и осознанный источник созидательной силы.
И это хорошо!
Мне кажется, Вам будет интересно перейти к рассмотрению другого класса лабиринтов, которые назовем «Не детерминированными лабиринтами». Изначально, все ячейки (все пути) в таком лабиринте размером nxn свободны. Но выбор любого шага для продвижения из зоны «начало» в зону «выход» приводит к закрытию каких-то отрезков пути в этом пространстве (на основе некоторого правила). Правила для закрытия тех или иных отрезков могут быть разными. Это чем-то напоминает гибрид задачи n-Queens и игру «Сапер», но очень отдаленно. На самом деле, это интересный класс задач, решение которых требует серьезных усилий.
Вы собрали полезную информацию и поделились этим. Многим, особенно начинающим,
такие ссылки будут полезны.
Очень продуманно, красиво и наглядно преподнесли материал.
Замечательная статья. Приятно получать информацию «из под пера профессионала».
Желаю вам дальнейших успехов.
Хочу отметить, что не стоит приводить значение функции f(x,y) с точностью до 15-го знака после запятой. Это слишком избыточно. На графиках и в тексте программы вы используете два знака после запятой, и для изложения материала этого достаточно. Вряд ли какие-либо изменения значений переменных на уровне 15-го знака повлияют на ваши суждения.