TS, конечно, стал значительным шагом вперед. Но так и остался “JS на стероидах”. И качество кода, зачастую, не далеко ушло от JS. Потому что его пишут те же люди, что до этого писали на JS. Думаю, именно в этом корень проблемы. Хотя казалось бы - TS почти 1-в-1 как C#.
Так о том и статья - ответственность остается на человеке. А значит человек должен внимательно контролировать и направлять ИИ. И ни о каких x10 к производительности речи уже не идет в принципе (хотя в некоторых случаях и вполне достижимо - как раз рефакторинг сюда относится (задаваемый и контролируемый разрабом), где много монотонной работы).
Вполне может, например, если проект весь в легаси и техдолгах. И такое бывает.
Бывает. Но тогда рефакторингом надо целенаправлено заниматься, а не под видом новых фич. И да, бывает что под фичи выделяется время, а под рефакторинг - нет. И тогда приходится выкручиваться.
Мы все еще о ИИ спорим или о “что бывает в разработке”? У ИИ +1500 -1400 может быть и для задачи вида “поменять цвет кнопки”.
ИИ в целом склонен больше кода генерировать - и на ревью уходит больше времени. А самое главное - ИИ может оставить подвох в самых неожиданных местах. Поэтому ревьювить надо гораздо внимательнее.
Если они качественные - то ни в чем. Проблема в этом “если” и в том, чтобы понимать “а что в коде творится”. Именно на это время уходит. Даже при условии качественных дифов.
P.S. Хотя диф НОВОЙ ФИЧИ на +1500 -1400 не может быть качественным - слишком много изменений означает, что разраб (ИИ) влез не в свою задачу, а занялся рефакторингом.
ИИ отлично закрывает “софтина для себя”. Но до готовности к проду этим продуктам еще очень далеко. Не говоря уже о поддержке и развитии такого софта в течении долгих лет. Но “для себя” или MVP - очень даже неплохо ИИ справляется.
“Выглядит как профи” не значит “задачу решает”. Об этом то и речь. ИИ не дает навыков. ИИ дает видимость навыков для не-специалиста (а то и для специалиста на короткой дистанции). А выбор, зачастую, как раз не-специалист и делает - иначе бы он закрыл задачу сам.
Самая главная проблема даже не в засилье ИИ. Несколько раз “дать по рукам”, заставить ревьювить совместно - и стыд за “я не знаю что тут творится” сделает остальное. Для открытых проектов это может и не вариант, тут уже система репутации нужна (со всеми ее минусами).
Проблема в том, что с ИИ любой диллетант выглядит как профи. Но ИИ до профи еще очень далеко (и не факт, что догонит - проблема с обучением никуда не делась). И качество работы таких диллетантов будет оставлять лучшего. Но зато дешево - это да. А при голосовании рублем реальный профи будет всегда оутсайдером. Просто потому что он понимает, что дать задачу ИИ - это очень далеко от “решить проблему”. И цену даст соответствующую.
В моем случае модель путала данные из контекста (я составлял отчет). И это было крайне критично. Я не против “больше вызовов” - тот же Minimax M3 так и делает (иногда в разы больше вызовов делает на ту же задачу). Но Minimax M3 хотя бы не путается в данных.
Поэтому Minimax M3 я продолжу использовать, хотя он явно звезд с неба не хватает (хотя как исполнитель - очень даже ничего). А вот с Deepseek V4 Pro (как и с MiMo V2.5 Pro) - буду крайне осторожным. Хотя тот же MiMo V2.5 Pro очень классно в чате код пишет (при минимуме контекста).
Позапросная тарификация - это не жизнеспособно. Просто потому что нет стимула для пользователя держать контекст в тонусе. Рано или поздно они это бы все равно убрали.
Текущая тарификация не сильно хуже (если не брать что подорожал минимальный план в 2 раза). Но запросов не сказать что сильно меньше стало - если не раздувать контекст во всяком случае.
Да, бывало буквально пара итераций агента - и контекст закончился. Поиск в интернете очень сжирает контекст - но это не очень релевантный пример.
Но как правило, мне 260к контекста хватает на задачи кодинга (сужу по minimax m3, который, по моим наблюдениям, даже несколько активнее тулзы использует, чем конкуренты).
Использую minimax m3 - и, пускай к ней есть замечания, но работает она очень неплохо. Особенно если с нуля попросить что-то сделать. Т.е. продуктовое видение у minimax m3 какое-никакое есть. По размеру уже раза в 2 больше чем minimax m2.7.
Максимум претензий - контекст текущего разговора отражается в комментариях и документации в целом (вот зачем мне знать, что у тебя была задача ускорить функцию и во сколько раз ты это сделал в комментариях в коде к этой функции?). Но это я и у других замечал.
И minimax очень склонен искать обходные пути - артефакты от прошлых сессий с решением задачи, ответы других LLM и т.д. Может и ничего страшного, но это чаще мешает, чем помогает.
MiMo - скорее исключение из правил. Да, проверял их недавно - цены выходят 1-в-1 как по API (а для минимального тарифа даже чуть хуже). В чем смысл подписки я так и не понял. Только ради ночных (по Пекину) скидок (20%) и TTS/ASR моделей?
Тот же Minimax дает очень большой пакет токенов в подписке.
Лично мне не удавалось приблизиться к лимитам. Особенно когда удалил из запросов агента ручное управление кешем - автоматический кеш работает сильно лучше, потребление стало в разы меньше.
MiMo V2.5 Pro и DeepSeek V4 Pro лично у меня ярко проявили “lost-in-the-middle” на относительно небольшом контексте (на вскидку, около 100к-200к), банально поперепутав факты из контекста (а это была работа с отчетом - там эти факты были важны). В коде тоже получается будет терять и путать информацию.
На коротких задачах в чате мне MiMo V2.5 Pro очень понравилась - четко и по делу код написала, с 1й попытки по промту вида “сделай зашибись” (ни один другой китаец так не смог - приходилось подправлять код доп. вопросами). Но в агентской работе я мнение поменял.
Там достаточно объемная подписка - это да. Но эти 1.7млр токенов, судя по всему, далеко не генерация. И даже не чтение контекста.
Они не дают деталей, но это “типичный запрос агента в 50к токенов, 34к таких запросов”. Т.е. почти все - кеш, новых данных - пара сотен токенов, генерация - около сотни токенов.
Но подписка очень объемная. А сама модель minimax-m3 сильно недооценена, я бы сказал. Она заметно лучше Deepseek-V4-Pro и MiMo-V2.5-Pro. Может и уступает GLM-5.2, но вот на счет kimi-k2.7-code я не уверен (хотя kimi-k2.7-code раза в 2.5 больше).
Перепроверил конфиг - у gemma забыл указать--cache-type-v q8_0 (--cache-type-k q8_0 был, у qwen и там и там q8_0 был). Потребление стало в 42GB (+2GB на assistant-модель и +8GB на кеш запросов (по умолчанию)).
Но потребление все равно в разы больше. Даже на порядок больше получается:
# Qwen3.6 35B-A3B:
KV self size = 2992.00 MiB, K (q8_0): 1496.00 MiB, V (q8_0): 1496.00 MiB
# Gemma4 26B-A4B:
KV self size = 29920.00 MiB, K (q8_0): 14960.00 MiB, V (q8_0): 14960.00 MiB
P.S. данные с ik_llama.cpp. llama.cpp, судя по всему, под контекст не выделяет сразу все запрошенное место.
TS, конечно, стал значительным шагом вперед. Но так и остался “JS на стероидах”. И качество кода, зачастую, не далеко ушло от JS. Потому что его пишут те же люди, что до этого писали на JS. Думаю, именно в этом корень проблемы. Хотя казалось бы - TS почти 1-в-1 как C#.
Так о том и статья - ответственность остается на человеке. А значит человек должен внимательно контролировать и направлять ИИ. И ни о каких x10 к производительности речи уже не идет в принципе (хотя в некоторых случаях и вполне достижимо - как раз рефакторинг сюда относится (задаваемый и контролируемый разрабом), где много монотонной работы).
Бывает. Но тогда рефакторингом надо целенаправлено заниматься, а не под видом новых фич. И да, бывает что под фичи выделяется время, а под рефакторинг - нет. И тогда приходится выкручиваться.
Мы все еще о ИИ спорим или о “что бывает в разработке”? У ИИ +1500 -1400 может быть и для задачи вида “поменять цвет кнопки”.
ИИ в целом склонен больше кода генерировать - и на ревью уходит больше времени. А самое главное - ИИ может оставить подвох в самых неожиданных местах. Поэтому ревьювить надо гораздо внимательнее.
Если они качественные - то ни в чем. Проблема в этом “если” и в том, чтобы понимать “а что в коде творится”. Именно на это время уходит. Даже при условии качественных дифов.
P.S. Хотя диф НОВОЙ ФИЧИ на +1500 -1400 не может быть качественным - слишком много изменений означает, что разраб (ИИ) влез не в свою задачу, а занялся рефакторингом.
ИИ отлично закрывает “софтина для себя”. Но до готовности к проду этим продуктам еще очень далеко. Не говоря уже о поддержке и развитии такого софта в течении долгих лет. Но “для себя” или MVP - очень даже неплохо ИИ справляется.
“Выглядит как профи” не значит “задачу решает”. Об этом то и речь. ИИ не дает навыков. ИИ дает видимость навыков для не-специалиста (а то и для специалиста на короткой дистанции). А выбор, зачастую, как раз не-специалист и делает - иначе бы он закрыл задачу сам.
А генерятся такие дифы за пару часов (если не за пару десятков минут).
Ну так “пользователь ИИ” и отвечает. Т.е. разраб.
Кто виноват - понятно. Вопрос - а что делать?
Самая главная проблема даже не в засилье ИИ. Несколько раз “дать по рукам”, заставить ревьювить совместно - и стыд за “я не знаю что тут творится” сделает остальное. Для открытых проектов это может и не вариант, тут уже система репутации нужна (со всеми ее минусами).
Проблема в том, что с ИИ любой диллетант выглядит как профи. Но ИИ до профи еще очень далеко (и не факт, что догонит - проблема с обучением никуда не делась). И качество работы таких диллетантов будет оставлять лучшего. Но зато дешево - это да. А при голосовании рублем реальный профи будет всегда оутсайдером. Просто потому что он понимает, что дать задачу ИИ - это очень далеко от “решить проблему”. И цену даст соответствующую.
В моем случае модель путала данные из контекста (я составлял отчет). И это было крайне критично. Я не против “больше вызовов” - тот же Minimax M3 так и делает (иногда в разы больше вызовов делает на ту же задачу). Но Minimax M3 хотя бы не путается в данных.
Поэтому Minimax M3 я продолжу использовать, хотя он явно звезд с неба не хватает (хотя как исполнитель - очень даже ничего). А вот с Deepseek V4 Pro (как и с MiMo V2.5 Pro) - буду крайне осторожным. Хотя тот же MiMo V2.5 Pro очень классно в чате код пишет (при минимуме контекста).
DeepSeek сам по себе тупит на длинных контекстах (lost-in-the-middle во всей красе). Так что далеко не эталон.
Позапросная тарификация - это не жизнеспособно. Просто потому что нет стимула для пользователя держать контекст в тонусе. Рано или поздно они это бы все равно убрали.
Текущая тарификация не сильно хуже (если не брать что подорожал минимальный план в 2 раза). Но запросов не сказать что сильно меньше стало - если не раздувать контекст во всяком случае.
Да, бывало буквально пара итераций агента - и контекст закончился. Поиск в интернете очень сжирает контекст - но это не очень релевантный пример.
Но как правило, мне 260к контекста хватает на задачи кодинга (сужу по minimax m3, который, по моим наблюдениям, даже несколько активнее тулзы использует, чем конкуренты).
Использую minimax m3 - и, пускай к ней есть замечания, но работает она очень неплохо. Особенно если с нуля попросить что-то сделать. Т.е. продуктовое видение у minimax m3 какое-никакое есть. По размеру уже раза в 2 больше чем minimax m2.7.
Максимум претензий - контекст текущего разговора отражается в комментариях и документации в целом (вот зачем мне знать, что у тебя была задача ускорить функцию и во сколько раз ты это сделал в комментариях в коде к этой функции?). Но это я и у других замечал.
И minimax очень склонен искать обходные пути - артефакты от прошлых сессий с решением задачи, ответы других LLM и т.д. Может и ничего страшного, но это чаще мешает, чем помогает.
MiMo - скорее исключение из правил. Да, проверял их недавно - цены выходят 1-в-1 как по API (а для минимального тарифа даже чуть хуже). В чем смысл подписки я так и не понял. Только ради ночных (по Пекину) скидок (20%) и TTS/ASR моделей?
Тот же Minimax дает очень большой пакет токенов в подписке.
Лично мне не удавалось приблизиться к лимитам. Особенно когда удалил из запросов агента ручное управление кешем - автоматический кеш работает сильно лучше, потребление стало в разы меньше.
MiMo V2.5 Pro и DeepSeek V4 Pro лично у меня ярко проявили “lost-in-the-middle” на относительно небольшом контексте (на вскидку, около 100к-200к), банально поперепутав факты из контекста (а это была работа с отчетом - там эти факты были важны). В коде тоже получается будет терять и путать информацию.
На коротких задачах в чате мне MiMo V2.5 Pro очень понравилась - четко и по делу код написала, с 1й попытки по промту вида “сделай зашибись” (ни один другой китаец так не смог - приходилось подправлять код доп. вопросами). Но в агентской работе я мнение поменял.
Пока остановился на Kimi, Minimax и GLM.
Там достаточно объемная подписка - это да. Но эти 1.7млр токенов, судя по всему, далеко не генерация. И даже не чтение контекста.
Они не дают деталей, но это “типичный запрос агента в 50к токенов, 34к таких запросов”. Т.е. почти все - кеш, новых данных - пара сотен токенов, генерация - около сотни токенов.
Но подписка очень объемная. А сама модель minimax-m3 сильно недооценена, я бы сказал. Она заметно лучше Deepseek-V4-Pro и MiMo-V2.5-Pro. Может и уступает GLM-5.2, но вот на счет kimi-k2.7-code я не уверен (хотя kimi-k2.7-code раза в 2.5 больше).
Gemma4 (вся линейка) в целом с длинным контекстом не очень работает - это ее архитектурная особенность.
Кеш квантуется в Q8_0, бетчи по умолчанию.
Перепроверил конфиг - у gemma забыл указать
--cache-type-v q8_0(--cache-type-k q8_0был, у qwen и там и там q8_0 был). Потребление стало в 42GB (+2GB на assistant-модель и +8GB на кеш запросов (по умолчанию)).Но потребление все равно в разы больше. Даже на порядок больше получается:
P.S. данные с ik_llama.cpp. llama.cpp, судя по всему, под контекст не выделяет сразу все запрошенное место.