Шесть лет разработки Telegram-бота: от токенайзера до LLM, RAG и векторных баз

[Dismal]

Статью не читал, но ботом пользовался! Автору респектуген, буду у него на Колыме, куплю ему пива!

[PRAXIMA]

Если не секрет, сколько бот есть денег в месяц? Плюс минус.

[Domestomag]

В среднем 1 активный юзер делает 10 запросов в день, по ~1р. Если самая дешевая моделька(джемини лайт), и юзер чувствует себя свободно, на него не давят счетчики (шведский стол).

1000 юзеров в день, 10000р в день. И это только дешевые текстовые запросы с небольшим контекстом.

[dsrk_dev]

10$ на хостимнг сервера, в зависимости от активности пользователей, правильной работы с контекстом и выора моделей, выходит 10-40$ в месяц

[Domestomag]

На гитхабе миллион таких ботов. Подавляющее большинство не умеют работать в телеграме совсем.

Этот хотя бы базовые фишки телеграма освоил? Например различает ли обычные сообщения от юзера и пересланные от других юзеров, может ли вообще принять больше чем одно сообщение в рамках одного запроса (пересылка+комментарий от юзера, типа а что тут на пересылаемой картинке написано)?

Похоже что нет, второе сообщение просто съедает.

[dsrk_dev]

Надо учитывать что бот в первую очередь разрабатывался под работу в групповых чатах, и надежнее закинуть репост, а потом в реплае к нему что-то спросить. У tg нет адекватного способа определить что это был именно пересылка+комментарий.
Я в целом не спорю с тем фактом что мне просто хотелось исправить фатальный недостаточк

[Domestomag]

Как это нет. Оба сообщения залетают в бота, у одного в метаданных есть запись что это пересланное сообщение, и от кого. Что ему мешает адекватно отреагировать?

У каждого сообщения есть порядковый номер и время. Если время между сообщениями меньше секунды можно считать что они из одной группы.

Я так подозреваю что такие боты не развиваются из за подписочной модели и неадекватной стоимости апи. Чем удобнее и полезнее бот тем больше его используют, и тем менее выгодным он становится для владельца. Почти все они не могут даже элементарно донести текст от юзера до ллм не испортив по дороге.

[dsrk_dev]

Если время между сообщениями меньше секунды можно считать что они из одной группы.

Вот такой подход то мне и не нравится)

Про цены LLM всё так, это основной ограничитель

[nuctee]

Дрочить бота это дело святое. У нас в чате он стоял как быстрый источник правды в разговорах. И с помощью него закрепляли приколы и легенды вокруг участников чата, которым бот следовал. Было весело :)