Google представила новый ИИ-алгоритм сжатия памяти TurboQuant

[zartdinov]

Про преимущества для моделей понятно. Интересно другое, разные векторные поисковые движки (qdrant, pgvector и тд) могут улучшить свои реализации и собираются ли?

[Triton5]

Да, эта технология не просто подходит, а напрямую предназначена для улучшения векторных поисковых движков, включая Qdrant, pgvector и другие.

Но эталонной реализации Гугл ещё не сделал, на Реддите энтузиасты модифицируют свои сборки по информации из статьи. Вероятно, в этом году Гугл опубликуют полноценную реализацию, и тогда дела пойдут веселее:)

[Erriour]

Вот тоже интересно, насколько это быстро в СУБД завезут. потому что звучит, как будто это всё для баз идеально подходит

[ihouser]

Бешеный горшочек, прекрати варить.

[sjuksin]

В случае успешной реализации в реальном мире TurboQuant может сделать работу ИИ дешевле за счёт уменьшения «рабочей памяти» — известной как KV-кэш — как минимум в 6 раз.

Так сравнивать надо с сегодняшним уровнем сжатия при квантовании. Выигрыш будет где-то x1.5 (тоже немало, но всё же не заявленные x6, которые отсюда уже растащили по пабликам)

[Vird28]

Значит ли это, что на карте с 16 гб. памяти - можно будет запускать модели с 72b?

[Uglevod]

Конечно и даже модели с 300b сможешь