Конец бесплатного кремния: как Google AI Studio превратилась из рая для инженеров в симулятор смены аккаунтов

[Dreams_and_magic]

Спасибо за статью, но дьявол в деталях:)

"Давайте посчитаем: для тяжелой модели 500k токенов контекста на одного пользователя могут занимать от 10 до 40 ГБ видеопамяти просто для поддержания сессии. А теперь представьте, что таких любителей бесплатного сыра миллион. "

Эээ..... Ну и что?:)
Да, мы можем запустить калькулятор https://lmcache.ai/kv_cache_calculator.html и упасть в обморок. Но есть нюанс.
Никто ваши десятки гигов кэша не будет хранить в HBM напрямую.

Контент, кроме ближайших слоёв, сжимается в FP8 сразу. Дальний контент калибруется и сжимается в INT8. Контент с плохой связностью - даже в INT4.
Multi-head Latent Attention сжимает кэш (с небольшими потерями качества) ещё до 30 раз (см. DeepSeek).
А неактивные части контекста вообще можно сбросить в DDR или даже на SSD, чтобы не путалось под ногами.

В общем, ваш большой контент раскромсают и сожмут примерно в 100 раз. А чтобы не пересчитывать токены, будут их переиспользовать, и напишут цену на кэшированные токены в 10 раз меньше (что тоже очень выгодно).

Поэтому "представьте, что таких любителей бесплатного сыра миллион. " - ну представили, Гугл потянет...:)

[Dhwtj]

Все режут расходы в этом году

[HarleyKaos]

Аффтор, здесь всё гораздо проще: Гугл (да и прочие "ИИ-гиганты") - это планетарного размера драг-дилер, предлагающий первую дозу бесплатно, вторую за пол-цены, а последующие - уже за полный прайс. Поздравляю всех "ИИ-энтузиастов": вас поимели корпорации, подсадив на ИИ-иглу, без которой вы и вам подобные уже в ближайшее время не сможете кодить. Забери у вас эти кубы хмурого ИИ-токены - и вы никто, продаёте бабушкин телевизор, а потом лезете в петлю.

Одумайтесь, пока не поздно.

[dartraiden]

Без ИИ я не могу кодить вообще, т.к. не знаю языков программирования. Учить язык ради решения каких-то мелких личных задач я не хочу. Учить ради того, чтобы сделать программирование профессией - тоже не собираюсь.

Например, с помощью ИИ я написал приложение, которое позволяет забирать значение уровня глюкозы в крови со смартфона (на смартфоне стоит официальное приложение, которое периодически по блютусу опрашивает воткнутый в меня датчик) и показывать его на компьютере, чтобы можно было смотреть показания, не разблокируя телефон (это быстро надоедает).

Без ИИ я не стал бы учить ЯП. Я бы просто тыкался в смартфон, как тыкаются миллионы остальных пользователей этого датчика глюкозы, кто не имеет приложения на компьютере, и терпел неудобство.

Мне не о чем одумываться - до появления ИИ я и так был никто, как программист (да и сейчас я не программист, никаких иллюзий по этому поводу не испытываю). Отберёте его у меня - вернусь к тому, как прожил большую часть жизни, напугали ежа голой жопой...

[Timmek]

Я был там, Гэндальф, это было 3000 лет назад…

[coderun]

Как надоел этот мусор высранный ИИ про ИИ