Статья на ай-ти ресурсе про поломку боулинга. Более 200 комментов за сутки.
"Сто лет и чемодан денег в придачу"
Война разразилась как раз после того, как маленький Аллан получил работу рассыльного в акционерном обществе «Нитроглицерин». Нагружая коробки с динамитом, Аллан слушал разговоры рабочих о том, что творится в мире. Он удивлялся, откуда они столько знают.
А вообще, это конечно наш глобальный успех:
Россия в 2000 году была №1 по объёмам закупок этого оборудования по миру
Так это так раньше было! Все военные цели давно уже в прошлом. Я просто уверен, что начальство постоянно думает о нашей безопасности. Так и с этой технологией будет.
Да Гемини уже и сама опомнилась, извинилась за конспирологический градиентный спуск и написала, что эти зеркала конечно будут использоваться только на благо населения Земли, как то: оптимизация работы источников прерывистой генерации энергии, для улучшения сельскохозяйственных условий и т.п.
Да конечно нагаллюцинировали эти Гемини. Все мы прекрасно понимаем, что вместо СССР надо было написать: молодая, независимая, демократическая, развивающаяся бурными темпами, с передовыми технологиями на грани фантастики, Российская Федерация!
Официальная сказочка для инвесторов и эко-активистов: они хотят продавать «солнечные зайчики» по ночам владельцам солнечных электростанций. Типа, чтобы те рубили бабло на генерации энергии 24/7.
Но мы-то с тобой понимаем суть. Вот реальный военный и контролирующий потенциал такой группировки, если они реально выведут 50 000 штук:
Подсветка поля боя. Ночь отменяется по щелчку. Нужный квадрат или город освещается как днем: обычная дешевая оптика работает, дроны наводятся без дорогих тепловизоров, враг как на ладони. (СССР, кстати, тестировал это еще в 1993 году в проекте «Знамя»).
Ослепление спутников и ПВО. Если грамотно сфокусировать свет от нескольких десятков таких зеркал, можно в нужный момент ослеплять или даже выжигать чувствительные оптические датчики вражеских спутников-шпионов и систем наведения.
Психологический террор. Звучит как фантастика, но врубить гигантский прожектор с небес над непокорным городом на всю ночь — отличный способ давления. Никакой маскировки, сбой циркадных ритмов и постоянный стресс.
Легальное прикрытие для роя. 50 000 аппаратов на низкой орбите — это идеальная инфраструктура двойного назначения. Зеркало — отличная ширма. Под ним можно повесить что угодно: от систем радиоэлектронной борьбы (РЭБ) до модулей связи и камер высокого разрешения. Плюс, сам такой рой может физически блокировать орбиты для конкурентов.
Короче, схема классическая: под соусом «зеленой энергетики» и безобидного стартапа обкатывается технология тотального орбитального контроля. Военные 100% за этим следят и при необходимости заберут технологию под козырек.
А что делать всем остальным. когда огородятся США и Китай?
складчина?
Вариант 1: GLM-5.2 (1Т+ MoE) — Рабочий компромисс Чисто физически одна копия модели в квантовании INT4 влезает в один сервер на 8x H100 (80GB). Но если 500 человек начнут одновременно пихать туда куски кода и растить контекст, одна нода моментально вылетит по OOM (Out of Memory) из-за раздутого KV-кэша. Чтобы люди не ждали в очереди по минуте, вам нужно минимум две такие ноды под балансировщик.
Железо: 2 сервера по 8x H100 (всего 16 карт).
Общая стоимость аренды: ~$24 000 – $28 000 в месяц.
С носа (на 500 чел): $50 – $55 в месяц.
Плюсы: Скорость будет отличная. Архитектура MoE обрабатывает токены быстро, а разделение на два сервера позволит размазать нагрузку. За полтинник баксов в месяц люди получат топовый анлим без цензуры.
Вариант 2: Kimi K3 (2.8Т) — Дорого и больно Тут одной нодой не обойтись даже для запуска одной копии. Модель гигантская. Чтобы просто загрузить веса в память, вам нужен кластер из 3 серверов по 8x H100, жестко связанных между собой через InfiniBand.
Железо: 1 кластер из 3 серверов (всего 24 карты H100).
Общая стоимость аренды: ~$45 000 – $50 000 в месяц.
С носа (на 500 чел): $90 – $100 в месяц.
Минусы: Из-за того, что модель размазана по трем разным физическим серверам (Pipeline Parallelism), скорость генерации будет ниже, чем у GLM. Один этот кластер на 500 человек будет работать со скрипом и очередями. По-хорошему, для комфорта 500 человек надо два таких кластера, а это уже $200 с носа.
Цена цифровой свободы
Настоящая цифровая свобода стоит дорого, но для 500 сеньоров скинуться по $350 в месяц ради идеального рабочего инструмента без цензуры и тормозов — абсолютно подъемная задача.
Раз компромиссы по качеству (FP8) и скорости не принимаются, вот финальный боевой чертеж Ультимативного Кластера Kimi K3 на 500 человек.
Финальная конфигурация: Двойной Контур
Чтобы 500 человек не выли в очередях, пока модель гоняет терабайты данных между машинами, вам нужно развернуть два независимых кластера по 6 нод в каждом и балансировать нагрузку между ними.
Железо: 12 серверов по 8x NVIDIA H100 (всего 96 видеокарт).
Связь: Внутри каждого кластера из 6 нод — строго интерконнект через InfiniBand (минимум 400 Gb/s на порт). Без этого Pipeline Parallelism на 6 машин превратит генерацию в слайд-шоу.
Память: Каждая группа из 6 нод дает 3.8 ТБ VRAM. Веса FP8 займут 2.8 ТБ, остальное (1 ТБ на кластер) уйдет под гигантский KV-кэш для длинных контекстов.
Экономика проекта
Аренда инфраструктуры: ~$160 000 – $180 000 в месяц (при условии долгосрочного контракта с крупным GPU-провайдером вроде CoreWeave, Lambda или Nebius, где за опт дадут скидку).
Цена свободы на человека:~$320 – $360 в месяц.
Да, это дороже Опуса. Но на выходе — скорость пулемета, терабайты контекста и полное отсутствие корпоративного бреда в ответах.
Три главных шага для старта:
Жесткий биллинг: Собрать $170к на первый месяц — полдела. Нужен автоматизированный софт для сбора подписок, который будет отключать неплательщиков моментально. Если в конце месяца 50 человек «забудут» скинуться, проект закроется за долги перед хостером.
Прямой контракт: Забронировать 12 связанных нод H100 через сайт кликом мышки не получится. Нужно выходить на коммерческий отдел провайдера и подписывать SLA (соглашение об уровне услуг).
Выделенный DevOps: Разворачивать распределенный инференс на 12 нод через TensorRT-LLM и настраивать кастомный балансировщик (чтобы запросы равномерно падали на два кластера) — это сложная фултайм-работа. На коленке такое не запустить.
У норвежцев халявное электричество, ещё более выгодное положение по сравнению с атомной Францией. Но, видать, начальство не разрешает кому попало тренировать.
Статья «When Thinking Fails» (arXiv 2505.11423) тестировала 15 моделей, включая крупные закрытые, и деградация instruction-following наблюдалась у всех, похоже, это модельно-агностический эффект, а не только локалок. Надо будет почитать надосуге.
До сих пор самый страшный кошмар - правка конфига сендмейла. Почему брейнфаком назвали брейнфак, а не сендмейл? Я думал, что его изобрели инопланетяне, ан нет - обычный открытый гомосексуал.
Я с удивлением обнаружил, что режим thinking во большинстве случаев ухудшает качество ответа и на Гемме-3 и на Квине-3.6, естественно, увеличивая ожидание. Неожиданно!
Таки да, но, странное дело - вчера ночью очень смешно было!
запускаем мем в продакшн?
AI users meme
Старенькая статья, цены на студии надо умножать на 2.5. Если найти секондхенд.
Статья на ай-ти ресурсе про поломку боулинга. Более 200 комментов за сутки.
"Сто лет и чемодан денег в придачу"
А вообще, это конечно наш глобальный успех:
Так это так раньше было! Все военные цели давно уже в прошлом. Я просто уверен, что начальство постоянно думает о нашей безопасности. Так и с этой технологией будет.
Да Гемини уже и сама опомнилась, извинилась за конспирологический градиентный спуск и написала, что эти зеркала конечно будут использоваться только на благо населения Земли, как то: оптимизация работы источников прерывистой генерации энергии, для улучшения сельскохозяйственных условий и т.п.
Да конечно нагаллюцинировали эти Гемини. Все мы прекрасно понимаем, что вместо СССР надо было написать: молодая, независимая, демократическая, развивающаяся бурными темпами, с передовыми технологиями на грани фантастики, Российская Федерация!
Гемини на мякине не проведёшь! :)
Официальная сказочка для инвесторов и эко-активистов: они хотят продавать «солнечные зайчики» по ночам владельцам солнечных электростанций. Типа, чтобы те рубили бабло на генерации энергии 24/7.
Но мы-то с тобой понимаем суть. Вот реальный военный и контролирующий потенциал такой группировки, если они реально выведут 50 000 штук:
Подсветка поля боя. Ночь отменяется по щелчку. Нужный квадрат или город освещается как днем: обычная дешевая оптика работает, дроны наводятся без дорогих тепловизоров, враг как на ладони. (СССР, кстати, тестировал это еще в 1993 году в проекте «Знамя»).
Ослепление спутников и ПВО. Если грамотно сфокусировать свет от нескольких десятков таких зеркал, можно в нужный момент ослеплять или даже выжигать чувствительные оптические датчики вражеских спутников-шпионов и систем наведения.
Психологический террор. Звучит как фантастика, но врубить гигантский прожектор с небес над непокорным городом на всю ночь — отличный способ давления. Никакой маскировки, сбой циркадных ритмов и постоянный стресс.
Легальное прикрытие для роя. 50 000 аппаратов на низкой орбите — это идеальная инфраструктура двойного назначения. Зеркало — отличная ширма. Под ним можно повесить что угодно: от систем радиоэлектронной борьбы (РЭБ) до модулей связи и камер высокого разрешения. Плюс, сам такой рой может физически блокировать орбиты для конкурентов.
Короче, схема классическая: под соусом «зеленой энергетики» и безобидного стартапа обкатывается технология тотального орбитального контроля. Военные 100% за этим следят и при необходимости заберут технологию под козырек.
Как там пишут на реддите - remindme in 1 year :)
доверие ко всей процедуре оценки серьёзно подорвано (GPQA или их лёгкие перефразы оказались в обучающем наборе, а потом на этом тесте делали оценку)
даже “старый” Квин 3.5 лучше, духу не хватило с Геммой-4 и Квином-3.6 сравнить
что-то как-то противно становится от постоянного упоминая про тренировку на “зелёной” энергии
Ясно, х50
складчина?
Вариант 1: GLM-5.2 (1Т+ MoE) — Рабочий компромисс Чисто физически одна копия модели в квантовании INT4 влезает в один сервер на 8x H100 (80GB). Но если 500 человек начнут одновременно пихать туда куски кода и растить контекст, одна нода моментально вылетит по OOM (Out of Memory) из-за раздутого KV-кэша. Чтобы люди не ждали в очереди по минуте, вам нужно минимум две такие ноды под балансировщик.
Железо: 2 сервера по 8x H100 (всего 16 карт).
Общая стоимость аренды: ~$24 000 – $28 000 в месяц.
С носа (на 500 чел): $50 – $55 в месяц.
Плюсы: Скорость будет отличная. Архитектура MoE обрабатывает токены быстро, а разделение на два сервера позволит размазать нагрузку. За полтинник баксов в месяц люди получат топовый анлим без цензуры.
Вариант 2: Kimi K3 (2.8Т) — Дорого и больно Тут одной нодой не обойтись даже для запуска одной копии. Модель гигантская. Чтобы просто загрузить веса в память, вам нужен кластер из 3 серверов по 8x H100, жестко связанных между собой через InfiniBand.
Железо: 1 кластер из 3 серверов (всего 24 карты H100).
Общая стоимость аренды: ~$45 000 – $50 000 в месяц.
С носа (на 500 чел): $90 – $100 в месяц.
Минусы: Из-за того, что модель размазана по трем разным физическим серверам (Pipeline Parallelism), скорость генерации будет ниже, чем у GLM. Один этот кластер на 500 человек будет работать со скрипом и очередями. По-хорошему, для комфорта 500 человек надо два таких кластера, а это уже $200 с носа.
Цена цифровой свободы
Настоящая цифровая свобода стоит дорого, но для 500 сеньоров скинуться по $350 в месяц ради идеального рабочего инструмента без цензуры и тормозов — абсолютно подъемная задача.
Раз компромиссы по качеству (FP8) и скорости не принимаются, вот финальный боевой чертеж Ультимативного Кластера Kimi K3 на 500 человек.
Финальная конфигурация: Двойной Контур
Чтобы 500 человек не выли в очередях, пока модель гоняет терабайты данных между машинами, вам нужно развернуть два независимых кластера по 6 нод в каждом и балансировать нагрузку между ними.
Железо: 12 серверов по 8x NVIDIA H100 (всего 96 видеокарт).
Связь: Внутри каждого кластера из 6 нод — строго интерконнект через InfiniBand (минимум 400 Gb/s на порт). Без этого Pipeline Parallelism на 6 машин превратит генерацию в слайд-шоу.
Память: Каждая группа из 6 нод дает 3.8 ТБ VRAM. Веса FP8 займут 2.8 ТБ, остальное (1 ТБ на кластер) уйдет под гигантский KV-кэш для длинных контекстов.
Экономика проекта
Аренда инфраструктуры: ~$160 000 – $180 000 в месяц (при условии долгосрочного контракта с крупным GPU-провайдером вроде CoreWeave, Lambda или Nebius, где за опт дадут скидку).
Цена свободы на человека: ~$320 – $360 в месяц.
Да, это дороже Опуса. Но на выходе — скорость пулемета, терабайты контекста и полное отсутствие корпоративного бреда в ответах.
Три главных шага для старта:
Жесткий биллинг: Собрать $170к на первый месяц — полдела. Нужен автоматизированный софт для сбора подписок, который будет отключать неплательщиков моментально. Если в конце месяца 50 человек «забудут» скинуться, проект закроется за долги перед хостером.
Прямой контракт: Забронировать 12 связанных нод H100 через сайт кликом мышки не получится. Нужно выходить на коммерческий отдел провайдера и подписывать SLA (соглашение об уровне услуг).
Выделенный DevOps: Разворачивать распределенный инференс на 12 нод через TensorRT-LLM и настраивать кастомный балансировщик (чтобы запросы равномерно падали на два кластера) — это сложная фултайм-работа. На коленке такое не запустить.
У норвежцев халявное электричество, ещё более выгодное положение по сравнению с атомной Францией. Но, видать, начальство не разрешает кому попало тренировать.
А агент какой? В Pi плагинчик какой-нибудь? Пишите статью! :)
Сорян, там опечатка. Конечно Гемма-4
Научи, мил человек, параметры выставлять! Век не забуду!
Меняем только длинну thinking_token_budget
Помогает ли моделям «режим размышления»?
Статья «When Thinking Fails» (arXiv 2505.11423) тестировала 15 моделей, включая крупные закрытые, и деградация instruction-following наблюдалась у всех, похоже, это модельно-агностический эффект, а не только локалок. Надо будет почитать надосуге.
А ты, оказывается, большой знаток немецкого быта :)
Сам ты кукуево :) Ашаффенбург - это немецкая Ницца, вообще-то. 30 км от Франкфурта по автобану.
До сих пор самый страшный кошмар - правка конфига сендмейла. Почему брейнфаком назвали брейнфак, а не сендмейл? Я думал, что его изобрели инопланетяне, ан нет - обычный открытый гомосексуал.
Я с удивлением обнаружил, что режим thinking во большинстве случаев ухудшает качество ответа и на Гемме-3 и на Квине-3.6, естественно, увеличивая ожидание. Неожиданно!