Как создать ИИ Телеграм-бот с векторной памятью на Qdrant

[DreamShaded]

Спасибо, классный проект!) А какого агента используете? На своём сервере или внешний API?

[igumnov]

Спасибо за позитивный отклик!

Разрабатывал используя LM Studio:

CHAT_COMPLETIONS_MODEL=gemma-3-12b-it
EMBEDDINGS_MODEL=lm-kit/text-embedding-bge-m3

Что бы ИИ отвечал лучше переключился на gemma-3-27b-it, но он медленнее на моей видюхе.

Потом использовал OpenAI
CHAT_COMPLETIONS_MODEL=gpt-4o-mini
EMBEDDINGS_MODEL=text-embedding-3-small

Хотел проверить стало ли лучше работать на коммерческих моделях. В итоге чуть лучше чем квантованная gemma-3-27b-it, но не сильно, даже от OpenAI иногда фигню выдает )

[DreamShaded]

А какая видеокарта, если не секрет?) прицениваюсь к апгрейду

[igumnov]

NVIDIA RTX 4070 Ti SUPER 16ГБ - брал на НГ. Лучшее соотношение скорости, цены и объёма памяти. И гамать можно и ИИ гонять для тестирования или пет проектов.

[muhachev]

Для самовыражения растомана норм. Но всё же, думаю, lang-chain + python больше подойдёт для проф разработки подобных систем. Да и для читателей, наверное, было бы интересно увидеть примеры разумного реального использования нетривиальных концепций лангчейна, прежде чем отвергать его из-за кажущейся неимоверной сложности и крутой кривой обучения.

[GiveMeFreeNickName]

Всегда хотел блокнот который для показа диалога "сохранить изменения?" будет требовать мощную видеокарту

[igumnov]

На OpenAI закиньте несколько долларов. Там модель chatgpt4 стоит 0.15$ за 1 млн токенов. Вам этих несколько долларов для этого блокнота хватит на несколько лет...

[GiveMeFreeNickName]

Я просто блокнот обычный открою, вы кажется немного не поняли суть