Comments 10
Kimi - вещь конечно хорошая, но увы без free tier api
"А что делать всем остальным. когда огородятся США и Китай?" - Подождать пару лет пока третьи игроки подтянуться. Или в всём мире кроме Киитая и США запретили математику и электричество (выч. мощности как нибудь уж образуются).
Мне вот лично абсолютно по барабану в какой URL писать промпт.
Вопрос в производственных мощностях.
Китай не просто так развивает свои Huawei Ascend и пр.: США не просто отгораживаются, а ещё и всячески ставят палки в колёса остальным.
Россия (а скорее, раньше Индия) подтянутся, но будет классическое отставание в технологиях, как во времена СССР, которому тоже пытались не позволить догнать всячески.
Сейчас Китай и США сильно соревнуются в ИИ, посмотрим, кто будет впереди, но надеюсь, обычным людям от этого станет только лучше.
Это они в росс. СМИ скорее соревнуются, ибо Китай нужно нахваливать, но на практике почти все сидят на амёрском ИИ - как и моя компания.
Как там в Китайской философии. Умная обезьяна сидит на берегу и смотрит пока соперники борются за лидерство, тем более когда обезьяна без ИИ. Вернее мы уже с ии но пока без ИИ! ))
А что делать всем остальным. когда огородятся США и Китай?
складчина?
Вариант 1: GLM-5.2 (1Т+ MoE) — Рабочий компромисс Чисто физически одна копия модели в квантовании INT4 влезает в один сервер на 8x H100 (80GB). Но если 500 человек начнут одновременно пихать туда куски кода и растить контекст, одна нода моментально вылетит по OOM (Out of Memory) из-за раздутого KV-кэша. Чтобы люди не ждали в очереди по минуте, вам нужно минимум две такие ноды под балансировщик.
Железо: 2 сервера по 8x H100 (всего 16 карт).
Общая стоимость аренды: ~$24 000 – $28 000 в месяц.
С носа (на 500 чел): $50 – $55 в месяц.
Плюсы: Скорость будет отличная. Архитектура MoE обрабатывает токены быстро, а разделение на два сервера позволит размазать нагрузку. За полтинник баксов в месяц люди получат топовый анлим без цензуры.
Вариант 2: Kimi K3 (2.8Т) — Дорого и больно Тут одной нодой не обойтись даже для запуска одной копии. Модель гигантская. Чтобы просто загрузить веса в память, вам нужен кластер из 3 серверов по 8x H100, жестко связанных между собой через InfiniBand.
Железо: 1 кластер из 3 серверов (всего 24 карты H100).
Общая стоимость аренды: ~$45 000 – $50 000 в месяц.
С носа (на 500 чел): $90 – $100 в месяц.
Минусы: Из-за того, что модель размазана по трем разным физическим серверам (Pipeline Parallelism), скорость генерации будет ниже, чем у GLM. Один этот кластер на 500 человек будет работать со скрипом и очередями. По-хорошему, для комфорта 500 человек надо два таких кластера, а это уже $200 с носа.
Цена цифровой свободы
Настоящая цифровая свобода стоит дорого, но для 500 сеньоров скинуться по $350 в месяц ради идеального рабочего инструмента без цензуры и тормозов — абсолютно подъемная задача.
Раз компромиссы по качеству (FP8) и скорости не принимаются, вот финальный боевой чертеж Ультимативного Кластера Kimi K3 на 500 человек.
Финальная конфигурация: Двойной Контур
Чтобы 500 человек не выли в очередях, пока модель гоняет терабайты данных между машинами, вам нужно развернуть два независимых кластера по 6 нод в каждом и балансировать нагрузку между ними.
Железо: 12 серверов по 8x NVIDIA H100 (всего 96 видеокарт).
Связь: Внутри каждого кластера из 6 нод — строго интерконнект через InfiniBand (минимум 400 Gb/s на порт). Без этого Pipeline Parallelism на 6 машин превратит генерацию в слайд-шоу.
Память: Каждая группа из 6 нод дает 3.8 ТБ VRAM. Веса FP8 займут 2.8 ТБ, остальное (1 ТБ на кластер) уйдет под гигантский KV-кэш для длинных контекстов.
Экономика проекта
Аренда инфраструктуры: ~$160 000 – $180 000 в месяц (при условии долгосрочного контракта с крупным GPU-провайдером вроде CoreWeave, Lambda или Nebius, где за опт дадут скидку).
Цена свободы на человека: ~$320 – $360 в месяц.
Да, это дороже Опуса. Но на выходе — скорость пулемета, терабайты контекста и полное отсутствие корпоративного бреда в ответах.
Три главных шага для старта:
Жесткий биллинг: Собрать $170к на первый месяц — полдела. Нужен автоматизированный софт для сбора подписок, который будет отключать неплательщиков моментально. Если в конце месяца 50 человек «забудут» скинуться, проект закроется за долги перед хостером.
Прямой контракт: Забронировать 12 связанных нод H100 через сайт кликом мышки не получится. Нужно выходить на коммерческий отдел провайдера и подписывать SLA (соглашение об уровне услуг).
Выделенный DevOps: Разворачивать распределенный инференс на 12 нод через TensorRT-LLM и настраивать кастомный балансировщик (чтобы запросы равномерно падали на два кластера) — это сложная фултайм-работа. На коленке такое не запустить.
ИИ-гонка США и Китая оформилась в два блока: Пекин раздаёт модели всем желающим, Вашингтон проектирует фейсконтроль