После партиционирования возможна ситуация, когда в разных партициях записи могут содержать одинаковые значения doc_id, поэтому используется пара doc_id+doc_date (это также отражение требования «контроль возложить на СУБД»).
Ложные срабатывания - ошибочное включение в базу, а не ошибки при сжатии. Такие значения то появляются, то исчезают. Если не хранить историю, в т.ч. доп.проверок и отметок о ложных срабатываниях, качество применения данных (для скоринга?) снижается.
При использовании подобных баз часто сталкиваются с выявлением ошибок (неточностей). От некорректный записей (не соответствие формату) до логических ошибок. Если проверка разделена на 2 этапа (быстрая проверка на вхождение + подробная проверка), для быстрой проверки записи только пополняется, а не затираются с новой выгрузкой.
@skivsoft после фильтрации и сжатия значений, в случае успешного результата поиска, вы, вероятно, идёте в базу с более полными данными и проверяете причину включения в список, историю (некоторые записи то появляются то исчезают, выявлялись ли ложные срабатывания, пересечения с другими источниками), уровень доверия записи. Это поинтереснее сжатия. Расскажете?
В подобных статьях ссылаются на утверждение разработчиков ГОСТ алгоритмов о случайном выборе значений, а потом эту случайность "разоблачают".
Есть ли ссылка публикацию этого утверждения от разработчтков? Не домыслы, не пересказ с чьих-то слов.
Платформа предоставляется (как сервис) только партнёрам?
Есть планы выпускать всю платформу или отдельные элементы как коробочный продукт? Если планы есть, какую модель видите как наиболее перспективную?
Сложно описать алгоритм и не раскрыть детали, которые помогут мошенникам.
Вероятно вы рассматриваете сразу несколько типов возможного мошенничества, объединив их вместе для статьи.
Опишите пожалуйста задачу, которую решаете.
Для чего необходимо перенести использованное значение? Чем не подходит "следующее"?
Если остановить всю параллельную работу, чтобы передаваемое значение не потеряло смысл, не проще взять значение последовательностей сразу из бэкапа?
Почти все существующие УЦ не пройдут через такой отсев, клиентов у них резко убавится. Юр.лица пойдут в ФНС и ЦБ.
Что физикам остаётся, где получить ЭП если она нужна для гос.услуг и др.?
Отчёт может затормозить не на час-два-три, а создать нагрузку на сутки-двое и мешать всем остальным задачам. Это скорее кривые запросы со стороны ПО, но на грузится весь сервер и плохо будет всем.
Сильно зависит от задач. Данные алгоритмы обработки знаеют пользователь и разработчик: какие запросы "главнее", переодические задачи, наличие и характеристики реплик.
Автонастройка натренированная на ежедневных задачах может провалиться на месячном или квартальном отчёте, а периодически нагрузка или разовая — СУБД никак не узнает (сбор статистики годами нерелевантен)
Вы правы, партиционирование инструмент, которым можно как исправить, так и завалить проект.
После партиционирования возможна ситуация, когда в разных партициях записи могут содержать одинаковые значения doc_id, поэтому используется пара doc_id+doc_date (это также отражение требования «контроль возложить на СУБД»).
Отличная статья о том какая "магия" творится внутри современной СУБД.
Ложные срабатывания - ошибочное включение в базу, а не ошибки при сжатии. Такие значения то появляются, то исчезают. Если не хранить историю, в т.ч. доп.проверок и отметок о ложных срабатываниях, качество применения данных (для скоринга?) снижается.
При использовании подобных баз часто сталкиваются с выявлением ошибок (неточностей). От некорректный записей (не соответствие формату) до логических ошибок. Если проверка разделена на 2 этапа (быстрая проверка на вхождение + подробная проверка), для быстрой проверки записи только пополняется, а не затираются с новой выгрузкой.
@skivsoft после фильтрации и сжатия значений, в случае успешного результата поиска, вы, вероятно, идёте в базу с более полными данными и проверяете причину включения в список, историю (некоторые записи то появляются то исчезают, выявлялись ли ложные срабатывания, пересечения с другими источниками), уровень доверия записи. Это поинтереснее сжатия. Расскажете?
Имеется ввиду — "Случайный поиск с заданными ограничениями по параметрам" ?
В подобных статьях ссылаются на утверждение разработчиков ГОСТ алгоритмов о случайном выборе значений, а потом эту случайность "разоблачают".
Есть ли ссылка публикацию этого утверждения от разработчтков? Не домыслы, не пересказ с чьих-то слов.
Платформа предоставляется (как сервис) только партнёрам?
Есть планы выпускать всю платформу или отдельные элементы как коробочный продукт? Если планы есть, какую модель видите как наиболее перспективную?
Сложно описать алгоритм и не раскрыть детали, которые помогут мошенникам.
Вероятно вы рассматриваете сразу несколько типов возможного мошенничества, объединив их вместе для статьи.
Чем не подходит nextval?
Опишите пожалуйста задачу, которую решаете.
Для чего необходимо перенести использованное значение? Чем не подходит "следующее"?
Если остановить всю параллельную работу, чтобы передаваемое значение не потеряло смысл, не проще взять значение последовательностей сразу из бэкапа?
Окно Овертона про 4х дневку расширяется?
Почти все существующие УЦ не пройдут через такой отсев, клиентов у них резко убавится. Юр.лица пойдут в ФНС и ЦБ.
Что физикам остаётся, где получить ЭП если она нужна для гос.услуг и др.?
При колокейшн эти затраты уже учтены
взлом TeamViewer связать с выборкой уязвимостей в другом конкретном программном продукте — очень похоже на манипуляцию
Отчёт может затормозить не на час-два-три, а создать нагрузку на сутки-двое и мешать всем остальным задачам. Это скорее кривые запросы со стороны ПО, но на грузится весь сервер и плохо будет всем.
Сильно зависит от задач. Данные алгоритмы обработки знаеют пользователь и разработчик: какие запросы "главнее", переодические задачи, наличие и характеристики реплик.
Автонастройка натренированная на ежедневных задачах может провалиться на месячном или квартальном отчёте, а периодически нагрузка или разовая — СУБД никак не узнает (сбор статистики годами нерелевантен)
Какие документы требуют проведение пентеста? PCI DSS…
и так скажет каждый, кто попался или почти попался на удочку