raiym2 фев в 00:12

О том как подключить Open WebUI и Cline к Telegram Cocoon

9 мин

11K

Искусственный интеллектКриптовалюты

+10

Комментарии 18

Amareis 2 фев в 05:45

Мне вот прям интересно как там своего воркера развернуть и можно ли кастомные модели делать... Жаль что для этого надо найти впс где можно TDX включить и в целом должна быть возможность сбора машинки с нужным процем и GPU, что сейчас не слишком просто сделать.

raiym 2 фев в 07:16

Насколько я понял систему, хеш модели сначала надо зарегистрировать в рут контракте. После этого воркер сможет их запускать. На данный момент там всего 4 хеша, а доступ к контракту имеет только команда Телеграм.

На vps получается слишком-слишком дорого. Например, есть confidential compute у GCP, но учитывая, что вся сеть генерит 250 тон в день, а сервер стоит не меньше, наверное, 8 долларов за час (точно не знаю), то получается не выгодно. Пока только компании у которых есть доступ к серверным гпу могут участвовать, но зачем им это делать пока не понятно.

Если бы телеграм на уровне компаний искал варианты, например с датацентрами и с другой стороны с крупными потребителями, которые сами арендуют в облаках, тогда бы дело, как будто, пошло бы. Но из того, что я вижу у них просто не хватает людей.

По поводу сборки своего сервера, по подсчетам примерно выйдет 40 тысяч долларов. Но проблема даже не в цене, а в том, кто продаст нам обычным людям, насколько я понял когда покупается гпу нужно объяснять как она будет использоваться. Да и 1-5 штук не знаю кто продаст.

Может, те кто глубже разбирается придут расскажут?

raiym 2 фев в 07:23

Вот так выглядит список поддерживаемых моделей хешами в рут контракте. Его надо парсить отдельно, делая запросы к смарт контракту.

curl -X 'POST' \
  'https://toncenter.com/api/v3/runGetMethod' \
  -H 'accept: application/json' \
  -H 'Content-Type: application/json' \
  -d '{
  "address": "EQCns7bYSp0igFvS1wpb5wsZjCKCV19MD5AVzI4EyxsnU73k",
  "method": "get_cur_params"
}'

Выше просто пример, там чтобы хеши раскрасить посложнее.

А как хранятся данные можно посмотреть тут: https://github.com/TelegramMessenger/cocoon-contracts/blob/main/contracts/cocoon_root.fc

SabMakc 2 фев в 07:13

Нет самого главного - сколько стоит инференс в Telegram Cocoon? По сравнению с OpenRouter? На сайте cocoon тоже не раскрыт вопрос.

P.S. так и не понял, а зачем Confidential Computing на клиенте-то? Тем более что модифицированный код без проблем запустился.
P.P.S. если и воркер можно запустить без Confidential Computing - то это какое-то фиаско прям.

SabMakc 2 фев в 07:20

Нашел калькулятор - выходит около 0.03/M USD (по текущему курсу) за входящие/исходящие токены, что прилично дешевле openrouter. Правда нет выбора LLM - сомневаюсь, что Qwen3-32B и Seed-X-PPO-7B стоят одинаково.

raiym 2 фев в 07:26

Согласен с вопросом про цену. Я не стал углубляться, там Прокси и Клиент постоянно расплачиваются друг с другом, но как это работает и сколько реально стоит не понял.

Другое дело, что цены хранятся в рут смарт контракте и их можно доставать, например, текущие цены такие, плюс multiplier надо разделить на 10000 чтобы получить коэффициент. Например, cached token 0.1x, reasoning 8x от обычной цены.

SabMakc 2 фев в 07:39

Т.е. у них калькулятор еще и врет - исходящие токены в 8 раз дороже.
Qwen3-32B получается просто чуть дешевле относительно OpenRouter, а 7b даже дороже выходит (не нашел Seed-X-PPO-7B, сужу по Qwen2.5 7B).

raiym 2 фев в 07:41

А где вы смотрите?

SabMakc 2 фев в 07:54

https://cocoon.doge.tg/tools/pricing (указал по 1кк для промта и ответа) - но надо конвертировать TON в USD (ИИ в поисковике без проблем делает) и https://openrouter.ai/qwen/qwen3-32b

raiym 2 фев в 08:03

Понял, спасибо.

По поводу этой панели, я, кстати, не понял как она работает, так как пересечений нет.

raiym 2 фев в 07:29

А можете про OpenRouter комментарий дать? В чем суть работы и насколько успешен проект?

SabMakc 2 фев в 07:51

OpenRouter - прокси к различным LLM-провайдерам, с минимальной наценкой (заявляют 5%).
Много провайдеров для открытых моделей (а для закрытых - подключение к "родному" провайдеру). Дополнительно - унификация API.

Думаю, как проект, вполне успешен - альтернатив не встречал (не считая перепродажи доступа к OpenRouter с оплатой из РФ).
Доступ из РФ не блокируют, но оплату картой напрямую не принимают. Надо или через крипту платить, или через посредников.