Хеш+кэш: оптимизация «потоковой» обработки

[nin-jin]

Не думали в сторону фильтра Блума?
Почему для такой задачи вообще выбран JS?

[Kilor]

Не думали в сторону фильтра Блума?

Блум ближе к поискам все-таки, а вот насколько для нашей задачи будет быстрой его генерация — вопрос. Поэтому пока остановились на простом хэшировании.

Почему для такой задачи вообще выбран JS?

Много сетевых потоков, асинхронности и работы со строками (регекспы, парсинг, ...) — NodeJS удобен в этих аспектах.

[nin-jin]

Блум — это set с ненулевой вероятностью ложноположительного срабатывания.

[Kilor]

Я имел в виду, что поиск в нем — быстр, но насколько эффективно он модифицируем при добавлении нового элемента.

[nin-jin]

Добавление и чтение одинаковы по стоимости. А вот удалять нельзя.

[Kilor]

Что такое «произвольный контекст»?
Нас uuid как значение просто устроил своими характеристиками — как с точки зрения длины/вероятности коллизий, так и эффективного хранения на стороне БД.

[BD9]

Intel SHA extensions