Как я писал in-memory векторный движок на Go — и в каком месте он обогнал hnswilb

[dubovoinikolai]

Я осознанно заморозил кластер и WASM за experimental и сделал ставку на один узел: маленькая честная поверхность вместо большой недоделанной. На моих нагрузках одна нода с консолидацией сегментов обгоняет hnswlib, и мне казалось, что для огромной доли реальных задач с векторным поиском распределёнка — это преждевременная сложность.

Но я пришёл в инженерию из медицины и коммерческого опыта с прод-кластерами у меня нет. Поэтому спрашиваю тех, кто такое эксплуатировал: где проходит реальная граница, за которой single-node vector-БД перестаёт быть вариантом? Объём датасета, требования к HA, что-то ещё? Мне важно понять, верно ли я сделал и когда стоит продолжить работу над данными темами. И что наиболее важно меня интересует мнение по поводу WASM если кластерилизация более или менее понятна и в принципе я понимаю когда она необходима,что знающая часть думает именно про WASM его применение с векторной БД, потому как были варианты, находил в интернете, подсказывали нейросеть но не знаю на сколько они все уместны в реальном проде, поэтому если есть те, кто в этом разибрается жду ваших советов и мыслей, буду признателен.