Алексей, большое спасибо за столь развернутый комментарий, который сам достоин отдельной статьи на хабре! ?
Со многими утверждениями в комментарии мы безусловно согласны, они даже коррелируют с тем, что в нашей статье написано.
Неэквидистантные ряды конечно существуют, но многие практические методы (автокорреляция, сглаживание, SARIMA методы и упомянутое Вами БПФ) к ним применять невозможно.
Поэтому, как Вы правильно указали, для пропущенных значений применяют заполнение интерполяцией или какими-то другими методами, в том числе предложенным Вами.
И это отдельная большая задача, требующая, в том числе, хорошего понимания предметной области и анализируемого процесса.
Модель скользящего среднего неявно фигурирует среди описанных в статье методов.
Мы обязательно посмотрим рекомендованную Вами статью и попробуем программу.
Наша сфера интересов – аналитика для информационной безопасности и технологических процессов, но мы уверены, что в методах для геофизики содержатся интересные идеи в том числе для нашей предметной области.
Руководитель исследовательского центра ООО «Сайберлимфа» Чернышов Юрий свяжется с Вами по указанной электронной почте, и будем рады сотрудничеству!
Частично согласны) Тем не менее, алгоритмы-роботы, использующие различные методы анализа временных рядов, а также обучение с подкреплением (Reinforcement Learning) давно и эффективно работают в финансовом анализе, в том числе - торговле акциями.
У нашей компании основное направление это информационная безопасность. Также мы применяем свои разработки для анализа данных технологических устройств.
Но, как мы написали в статье, многие методы можно применять для разных отраслей, и финансовая сфера действительно создает много хороших задач для аналитики.
Поскольку мы не специализируемся в области финансового анализа, то цели применять методы для анализа финансовых данных у нас нет.
Но мы открыты к сотрудничеству и совместным проектам и готовы оказать поддержку компаниям, которые интересуются применением методов аналитики для анализа финансовых данных.
Хорошему ПЛК от флагманов рынка действительно такие мелочи не страшны.
Но есть еще всякие древние устройства с непредсказуемым поведением, а также такой зверь как SoftPLC – где нет четкого деления на коммуникационные и процессорные блоки, и по факту весь код прошивки ПЛК выполняется под управлением ОС общего назначения.
В общем, уход ПЛК в перезагрузку вследствие элементарного сканирования портов – это не оборот для красного словца, а отголосок реального печального опыта на производственных объектах.
А еще проще для системы, выключенной из розетки :)
Очень просто решаются вопросы безопасности, когда есть четкая граница между доверенными элементами системы и недоверенными – поставили забор/межсетевой экран/горизонт событий и отгородились от всего этого злого мира вокруг.
Но реальность сложнее – мы не можем гарантировать, что отправитель или получатель нашей сверхзащищенной информации все еще тот, за кого он себя выдает. Да и многопользовательская система предполагает, что отправителей и получателей информации сильно больше двух. И у них разные права доступа, соответственно, надо как-то гарантировать, что не будет способа обойти начальное ограничение и передать то, что нельзя было передавать, третьему лицу.
Собственно, возвращаясь к примеру с DoD, оригинальная ОС Multics была с какими-никакими механизмами безопасности, но DoD не устраивала полная беззащитность Multics перед программами-троянами. Именно это и был основной предмет исследований.
И, например, модель HRU (тоже артефакт тех лет) показывает, что в системе с добровольным (дискреционным) управлением доступом в общем случае вообще нельзя гарантировать безопасность! Т.е. нет способа проверить, что доступные в системе команды не позволяет рано или поздно изменить матрицу доступа так, что к ней получит доступ тот, кто не должен был.
Алексей, большое спасибо за столь развернутый комментарий, который сам достоин отдельной статьи на хабре! ?
Со многими утверждениями в комментарии мы безусловно согласны, они даже коррелируют с тем, что в нашей статье написано.
Неэквидистантные ряды конечно существуют, но многие практические методы (автокорреляция, сглаживание, SARIMA методы и упомянутое Вами БПФ) к ним применять невозможно.
Поэтому, как Вы правильно указали, для пропущенных значений применяют заполнение интерполяцией или какими-то другими методами, в том числе предложенным Вами.
И это отдельная большая задача, требующая, в том числе, хорошего понимания предметной области и анализируемого процесса.
Модель скользящего среднего неявно фигурирует среди описанных в статье методов.
Мы обязательно посмотрим рекомендованную Вами статью и попробуем программу.
Наша сфера интересов – аналитика для информационной безопасности и технологических процессов, но мы уверены, что в методах для геофизики содержатся интересные идеи в том числе для нашей предметной области.
Руководитель исследовательского центра ООО «Сайберлимфа» Чернышов Юрий свяжется с Вами по указанной электронной почте, и будем рады сотрудничеству!
Частично согласны) Тем не менее, алгоритмы-роботы, использующие различные методы анализа временных рядов, а также обучение с подкреплением (Reinforcement Learning) давно и эффективно работают в финансовом анализе, в том числе - торговле акциями.
У нашей компании основное направление это информационная безопасность. Также мы применяем свои разработки для анализа данных технологических устройств.
Но, как мы написали в статье, многие методы можно применять для разных отраслей, и финансовая сфера действительно создает много хороших задач для аналитики.
Поскольку мы не специализируемся в области финансового анализа, то цели применять методы для анализа финансовых данных у нас нет.
Но мы открыты к сотрудничеству и совместным проектам и готовы оказать поддержку компаниям, которые интересуются применением методов аналитики для анализа финансовых данных.
Шум в анализируемом сигнале всегда ухудшает извлечение полезной информации.
Если в сигнале преобладает шум, то ряд становится нестационарным и из него невозможно извлечь полезные сведения.
Убедиться в нестационарности можно, например, с использованием критерия Дики-Фуллера.
На практике часто применяются методы очистки от шума (например, алгоритмы сглаживания или автокодировщик-денойзер).
Хорошему ПЛК от флагманов рынка действительно такие мелочи не страшны.
Но есть еще всякие древние устройства с непредсказуемым поведением, а также такой зверь как SoftPLC – где нет четкого деления на коммуникационные и процессорные блоки, и по факту весь код прошивки ПЛК выполняется под управлением ОС общего назначения.
В общем, уход ПЛК в перезагрузку вследствие элементарного сканирования портов – это не оборот для красного словца, а отголосок реального печального опыта на производственных объектах.
А еще проще для системы, выключенной из розетки :)
Очень просто решаются вопросы безопасности, когда есть четкая граница между доверенными элементами системы и недоверенными – поставили забор/межсетевой экран/горизонт событий и отгородились от всего этого злого мира вокруг.
Но реальность сложнее – мы не можем гарантировать, что отправитель или получатель нашей сверхзащищенной информации все еще тот, за кого он себя выдает. Да и многопользовательская система предполагает, что отправителей и получателей информации сильно больше двух. И у них разные права доступа, соответственно, надо как-то гарантировать, что не будет способа обойти начальное ограничение и передать то, что нельзя было передавать, третьему лицу.
Собственно, возвращаясь к примеру с DoD, оригинальная ОС Multics была с какими-никакими механизмами безопасности, но DoD не устраивала полная беззащитность Multics перед программами-троянами. Именно это и был основной предмет исследований.
И, например, модель HRU (тоже артефакт тех лет) показывает, что в системе с добровольным (дискреционным) управлением доступом в общем случае вообще нельзя гарантировать безопасность! Т.е. нет способа проверить, что доступные в системе команды не позволяет рано или поздно изменить матрицу доступа так, что к ней получит доступ тот, кто не должен был.