Векторизация текстов с помощью LLM. Гайд для аналитиков, которые не хотят, чтобы их проекты переделывали с нуля

[kryvichh]

Интересно, как бы свежевыпущенная EmbeddingGemma подошла для этой задачи.

[Andriljo]

Или как бы Frida подошла бы для этого)

[osp2003]

Да, моделей много. Под каждую задачу нужно подбирать свою "волшебную таблетку". И, я так думаю, что это задача аналитика а не команды разработки. А за модельки спасибо! Не сталкивался, посмотрю.

[i_triv]

Ещё для большей универсальности можно выстроить архитектуру автотипизации: где для большого набора сырых данных, применяется большая модель, анализирующая некоторые части этих данных, с целью определения их типа и подходящей embedding модели. А дальше набор данных обрабатывает выбранная модель. В том числе так можно и автоматом вычислить параметры чанкования.

Конечно это более ресурсозатратно, но позволяет сделать более универсальный инструмент.