С каких пор ARIMA перестала быть самообучающейся? Это одна из самых распостраненных моделей ML.
Я как раз наоборот, уже давно говорю именно о динамике, прогнозировании потока ТС и работе светофора на упреждение.
А Вы до сих пор не предоставили график кроссвалидации точности прогнозирования используемой нейросети хотя бы за час работы светофора.
Точно не быстрее, а медленней. Можете убедиться сами.
Во-первых, я уверен, что время формирования и парсинга XML всегда будет дольше времени формирования и парсинга текстового формата BCP. Хотя бы потому, что первый всегда больше второго.
Во-вторых, я уверен, что INSERT INTO всегда работает медленней, чем BULK INSERT
В-третьих, я уверен, что XML в БД не может быть больше 4ГБ ни при каких условиях. Что приводит и к усложнению кода, и к потере производительности.
В-четвертых, если уж таким путем идти, то JSON явно меньше размером., чем XML. Именно поэтому, если у меня есть гарантии, что объем JSON получится меньше гигабайта — его и использую. Но в рассматриваемой в статье ситуации объем точно может превышать 4 ГБ.
Во-первых, я не понял, с каких пор Bucardo стал поддерживать репликацию между MS SQL и PostgreSQL. Можете ссылочку дать?
Во-вторых, не понял смысл хранимки. BULK INSERT может быть только из файла. А остальные варианты вставки строк в MS SQL всегда медленней, чем BULK INSERT.
По расписанию раз в час или по нажатию на кнопки в веб-форме. Суммарный объем данных не большой (суммарно до 10 миллионов строк из нескольких десятков таблиц). За минуту всегда проходит, включая фиксацию запрошенных данных в архиве на стороне PostgreSQL.
Данные вытаскиваются для оптимизационной модели, поэтому важно иметь возможность в любой момент загрузить или наиболее актуальные, или исторические данные, использованные ранее при моделировании.
Естественно я не заходил. К тому же смысла нет, так как туда есть доступ через https и сертификат в полном порядке.
По Вашему https полностью и навсегда безопасен?
По Вашему переходить улицу на зеленый свет светофора полностью и всегда безопасно? А если нет, то следует ли из этого, что переходить можно вообще не глядя на сигнал светофора?
Наверное, вы не просто пользуетесь разным старым софтом и железом.
Почему не пользуюсь? Самый древний комп недавно попадался на Duron 600Mhz. Еще для некторых целей использую древний Asus с Atom. SSH и SFTP на них работает без нареканий. Более того. Даже на микроконтроллерах STM32 и ESP8266 SFTP без проблем работает. SFTP я начал пользоваться еще на OS/2 на i386 33Mhz.
В некоторых случаях это, однако, означает смену квартиры.
Тогда уже деревни проживания. МГТС гигабит без ограничений предоставляет за вполне гумманые деньги. В любом случае — это только вопрос времени. Даже в некоторых сёлах Тульской области гигабит по оптике уже доступен. Конечно дороже, чем в Москве, но при нынешнем уровне зарплат в IT — это точно не проблема.
система смешной стоимости
Проблема не в стоимости системы. Проблема в рисках. Взломанный роутер за десять баксов может привести к убыткам на сотню тысяч баксов. Сама система может быть никому не интересна, но позволит взломать уже пользовательскую систему просто подменой файла, скачиваемого по ftp.
А менять зачем не понимаю. Даже FreeDOS SCP/SFTP замечательно поддерживает. Или речь вообще о ZX Spectrum?
Это точность прогнозирования такая? Ну тогда точно отказывайтесь от выбранной модели. ETS в подобной задаче уже давал свыше 70% попаданий в выбранное интервальное окно. ARIMA, при правильном подборе модели, уже около 90%. Благодаря кроссвалидации с рекурентной нейронной сетью вышли на стабильно выше 90%. С учетом того, что по многим временным рядам данных для обучения катастрофически мало, а лагов заполняемых фильтром Калмана — много, на более чистых данных, как у Вас, легко вышли бы на 97-98%.
Собирал для PostgreSQL 12 из релиза 1.2.1 по ссылке.
Расширений не так уж много использую, но ограничиваться только ванильным PostgreSQL даже не смог бы. Из-за насущной необходимости в plr и tds_fdw.
Вы нашли всего два упоминания ftp. При этом через штатным путем, через загрузки, все ссылки https. Более того, все что нужно отлично видно тоже через https. Что удобней и быстрее.
Как ftp может устраивать, если он от рождения не безопасный?
А что я еще мог иметь в виду, упомянув ARIMA?
Так можете показать результаты кроссвалидации прогнозов количества ТС на подъездах к перекрестку хотя бы за сутки?
Зависит от того, сколько раз этот код вызывается для получения конечного результата. Если миллионы раз — очень важно.
Я как раз наоборот, уже давно говорю именно о динамике, прогнозировании потока ТС и работе светофора на упреждение.
А Вы до сих пор не предоставили график кроссвалидации точности прогнозирования используемой нейросети хотя бы за час работы светофора.
Во-первых, я уверен, что время формирования и парсинга XML всегда будет дольше времени формирования и парсинга текстового формата BCP. Хотя бы потому, что первый всегда больше второго.
Во-вторых, я уверен, что INSERT INTO всегда работает медленней, чем BULK INSERT
В-третьих, я уверен, что XML в БД не может быть больше 4ГБ ни при каких условиях. Что приводит и к усложнению кода, и к потере производительности.
В-четвертых, если уж таким путем идти, то JSON явно меньше размером., чем XML. Именно поэтому, если у меня есть гарантии, что объем JSON получится меньше гигабайта — его и использую. Но в рассматриваемой в статье ситуации объем точно может превышать 4 ГБ.
Во-вторых, не понял смысл хранимки. BULK INSERT может быть только из файла. А остальные варианты вставки строк в MS SQL всегда медленней, чем BULK INSERT.
Можете погуглить. Это неоднократно обсуждалось.
Данные вытаскиваются для оптимизационной модели, поэтому важно иметь возможность в любой момент загрузить или наиболее актуальные, или исторические данные, использованные ранее при моделировании.
По Вашему переходить улицу на зеленый свет светофора полностью и всегда безопасно? А если нет, то следует ли из этого, что переходить можно вообще не глядя на сигнал светофора?
Почему не пользуюсь? Самый древний комп недавно попадался на Duron 600Mhz. Еще для некторых целей использую древний Asus с Atom. SSH и SFTP на них работает без нареканий. Более того. Даже на микроконтроллерах STM32 и ESP8266 SFTP без проблем работает. SFTP я начал пользоваться еще на OS/2 на i386 33Mhz.
Тогда уже деревни проживания. МГТС гигабит без ограничений предоставляет за вполне гумманые деньги. В любом случае — это только вопрос времени. Даже в некоторых сёлах Тульской области гигабит по оптике уже доступен. Конечно дороже, чем в Москве, но при нынешнем уровне зарплат в IT — это точно не проблема.
Проблема не в стоимости системы. Проблема в рисках. Взломанный роутер за десять баксов может привести к убыткам на сотню тысяч баксов. Сама система может быть никому не интересна, но позволит взломать уже пользовательскую систему просто подменой файла, скачиваемого по ftp.
А менять зачем не понимаю. Даже FreeDOS SCP/SFTP замечательно поддерживает. Или речь вообще о ZX Spectrum?
Это точность прогнозирования такая? Ну тогда точно отказывайтесь от выбранной модели. ETS в подобной задаче уже давал свыше 70% попаданий в выбранное интервальное окно. ARIMA, при правильном подборе модели, уже около 90%. Благодаря кроссвалидации с рекурентной нейронной сетью вышли на стабильно выше 90%. С учетом того, что по многим временным рядам данных для обучения катастрофически мало, а лагов заполняемых фильтром Калмана — много, на более чистых данных, как у Вас, легко вышли бы на 97-98%.
Расширений не так уж много использую, но ограничиваться только ванильным PostgreSQL даже не смог бы. Из-за насущной необходимости в plr и tds_fdw.
А Вы что ли заходите? Например, в форум?
Вы хотите сказать, что с Вашей точки зрения ftp безопасен?
Вы так прикалываетесь?
Как ftp может устраивать, если он от рождения не безопасный?
Тут и тут.
Я генерирую PDF средствами SSRS. Поэтому для форматирования пользуюсь его возможностями, которые весьма широки.
А вот как в Вашем решении вставить QR код я не понял. Это же не статическая картинка, а закодированные данные.
Так можете показать результаты кроссвалидации прогнозов количества ТС на подъездах к перекрестку хотя бы за сутки?