Comments 9
Товарищи ученые сравнивали точность, с одной стороны, и требуемые ресурсы, с другой, для АРСС (оно же ARIMA), SVM и нейросетей.
И пришли к неутешительному выводу что некое повышение точности предсказания покупается ценой несоразмерного увеличения требуемых вычислительных ресурсов.
Для сравнения использовались данные по финансовым рынкам, прогнозированию погоды, энергопотреблению, дорожному движению, медицинской статистике.
Насколько разработанные вами модели зависят от требуемых ресурсов? К примеру, повышение точности прогноза (скажем, по среднеквадратичному уклонению) на XX % требует в YY раз больше вычислительных ресурсов (CPU/GPU, времени расчета и т.п.).
Зависимость прироста в точности от объема использованных ресурсов мы не замеряли, хотя интересное направление для дальнейшего ресерча)
Конечно, для эффективного и быстрого обучения сеток без GPU не обойтись, в то время как для классических методов достаточно и CPU. Также, чтобы сетки были эффективны потребуется значительно больше данных. Поэтому используемые ресурсы возрастают кратно.
При этом гарантии, что мы получим прирост в метриках в 10-20% точно нет. Если у нас достаточно данных и даже небольшое увеличение точности будет для нас достаточным, сетки могут помочь.
Прекрасный туториал! Когда вы писали о рекуррентных сетях, у меня почему-то сразу в голове возникла мысль об использовании трансформеров. Вы пробовали их применить в вашей задаче или не исследовали эту тему?
В рамках текущего туториала мы их не рассматривали, но да, можно использовать и трансформеры для прогнозирования, в той же torch forecasting это есть: Demand forecasting with the Temporal Fusion Transformer — pytorch-forecasting documentation.
Мы пробовали эту архитектуру в наших задачах, но она у нас не выстрелила.
Машинное обучение является по существу разновидностью прикладной статистики, с акцентом на использование компьютеров для статистической оценки значений сложных функций, а не выводе доверительных интервалов для этих значений
(Machine learning is essentially a form of applied statistics with increased emphasis on the use of computers to statistically estimate complicated functions and a decreased emphasis on proving confidence intervals around these functions)
А вообще приведенный пример - идеальное описание 99 (а то и 99,9) % проектов по применению машинного обучения - красиво, элегантно, но какая либо практическая польза как минимум не доказана. А скорее отсутствует.
На разных временных рядах, особенно в зависимости от их длины, нейронная сеть может как проигрывать, так и выигрывать у ARIMA. В итоге пришли к тому, что используем обе модели для кроссвалидации. На наших временных рядах ARIMA выигрывает в трети.
Когда одной ARIMA мало. Прогнозирование временных рядов нейросетями