«Способность» машинного обучения предсказывать будущее хаотических систем

[maslyaev]

Звучит как волшебная сказка. Хотелось бы понять, что использовалось в роли данных для обучения и что в роли данных для оценки качества прогнозирования. Если расчётные данные, то это немножко портит сказку.

[S_A]

А что, как-будто никто не пробовал бахнуть ML'ем погоду? ;) Думаю, дело не столько в «резервуарных вычислениях», сколько в Байесе…

[maslyaev]

Совсем не обязательно. Вообще тема погоды и ML выглядит весьма аппетитно. Только не надо особо рассчитывать на пробивку времени Ляпунова.

[WALKER898]

обосновать сможете? я пару лет назад видел документалку от discovery или national geographic. Там, правда речь была не про сетку, а про то, что на погоду очень влияют океаны моря, поэтому для улучшения прогнозов в них необходимо раскидать большое количество автономных буйков с датчиками и постоянным подключением к интернету для сброса данных, тогда это позволит быстрее обновлять модели. Спутниковых данных для этой цели им недостаточно. сейчас такие станции существуют, но в основном в индийском океане и в весьма малых количествах.

[halyavin]

Нет, на данный момент никто не пробовал бахнуть ML'eм погоду. По непонятной мне причине все, кто занимаются погодой, обходят эту идею стороной. Сейчас ML используют только для пре- и пост- процессинга, но не для самого рассчета. Я обсуждал это с настоящими метеорологами и меня полностью проигнорировали — для них прогноз погоды должен основываться на численных алгоритмах, математически выведенных из дифференциальных уравнений, и ничего другого они представить не могут. Все остальные боятся изменять алгоритм рассчета погоды, поэтому модификации делаются либо на входе и выходе из алгоритма, либо в некоторых хорошо изолированных и понятных функциях внутри. Плюс, не метеорологи хотят иметь как можно меньше дел с фортраном, на котором написаны все алгоритмы рассчета погоды.

[S_A]

Я не климатолог и я пробовал, и самое сложное в этом было достать датасет. Скажем так, результат для поставленных целей оказался приемлемым. Если бы не NDA, я бы рассказал, а так ограничусь только некоторыми примечаниями, больше относительно ML.

1. В погоне за точностью конкретных чисел часто теряется много информации, если преобразовывать величины (суммы, дельты, скользящие и прочее), в них часто появляются более моделируемые закономерности. Ну, это, собственно, одна из основных идей (S)ARIMA(X).
2. Стекинг бывает хорошо нивелирует ошибки «низлежащих» алгоритмов — или когда ошибка этих алгоритмов систематическая, или когда они не объясняют как раз ненужную для целевого признака дисперсию. Тут я тоже ничего нового не сказал.
3. Я там и Байеса не зря упомянул. Собственно, если прогнозируют по дифурам, то даже о максимуме правдоподобия речь не идет — отсюда и эффект бабочки (модель говорит одно после времени Ляпунова, факт пошел другой). Стандартный для ML максимум апостериори определяет те параметры, при которых прогноз наиболее реален (при сохранении поведения системы, а для многих величин в погоде это куда как больше времени Ляпунова).

[Arseny_Info]

Яндекс так делает habr.com/company/yandex/blog/317626

[vassabi]

с одной стороны хорошо — научились делать долгосрочные прогнозы (8 времен Ляпунова вместо одного), с другой стороны — не очень, потому что дифуры и аналитическое решение люди понять еще могли (хоть и не все), а вот нейронную сетку с миллион+ весов — точно никто понять не сможет (радуются успехам хотя бы визуализации её отдельных особозначимых особенностей).

[fivehouse]

Развивающееся решение этого уравнения ведет себя как фронт пламени, продвигающегося через горючую среду.

Эм… А при чем тут хаос для этой задачи? И при чем тут машинное обучение для этой задачи? Теплопроводность, диффузия и энергия выделяющая при реакции вполне достаточно для точного моделирования процесса. Реакторы в химии (а это бывает гораздо сложнее чем просто фронт пламени) моделируют давном давно и без всей этой трескотни.

[olwi]

Судя по всему, это перевод вот этой статьи: www.quantamagazine.org/machine-learnings-amazing-ability-to-predict-chaos-20180418 в которой есть ссылки на оригинальные публикации по теме, если кому интересно (в переводе бы они тоже смотрелись вполне уместно).