У них ведь минимальные системные требования 4 гига? Не? А так у меня есть ноут с таким же процом i3 6100 U и оперативкой 4 гига. И комфортно линукс минт на нём всегда работал и работает, всё происходит без фризов и т. д. У мамы на ноуте винда 11 и 16 гигов оперативки и вот там есть фризы. Когда перешёл на линукс это больше всего и впечатлило, что во время простой задачи - ввода текста, нет фризов, никогда.
Вот да. Если они не закроют ADB, то обход через Termux + adb останется рабочим. Как будто это защита от мошенников, а по факту они просто контроль усиливают. И ещё слышал, что могут ввести период охлаждения для разработчиков, что тоже добавляет неопределенности. И вообще столько про это пишут, но непонятно что будет.
Вообще зависит от многих факторов. Самое главное убедиться, что llama cpp скомпилирована с cuda. У меня 20 токенов было когда я случайно для mesa скомпилировал. Ещё Gemma MTP плохо работает с квантованым kv кэшем. У меня скорость до 30-35 падает. Ну и лучше всего скорость была на модели q4 NL, получше качество текста, но медленнее (50-60 токенов) на q4 kxl. А так я больше предпочитаю квены).
Но тем не менее крушение дирижабля "Гинденбург" полностью похоронило дирижабли как вид транспорта. И в США от космических шаттлов полностью отказались после крушения "Колумбии".
Последние версии gemma это скорее не про программирование. Они выпустили супер быструю gemma 12b, которая и на rtx3060 выдаёт 70 токенов в секунду, но в агентов она совершенно не умеет. По факту из всех открытых моделей только квен умеет в агентов, но они после 3.6 открывать свои веса не торопятся.
Я пробовал как хобби в формате: 1. Спроектируй такую фичу -> маленькая модель 2. Напиши замечания -> ChatGPT 3. Исправь замечания -> маленькая модель 4. 2-3 итерации 5. Реализуй -> маленькая модель
По факту какие я сделал выводы:
Как агенты модели могут допускать серьёзные огрехи, например у меня в режиме Ask редактировал код без предупреждения, модифицировал системный питон с флагом --break-system(без него в питоне стояла защита от этого) и т. д.
Маленькая модель может игнорировать инструкции. Например, по плану мы сошлись на то, что нужно добавить haptic feedback, у модели с ходу не получилось, она не добавила, а по фактуотписала, что всё сделала
Своеволие. Например, попросил внести изменения, модель внесла, попросил поправить варнинги(в том числе, которые висят давно) - модель сделала git stash, проверила варнинги и отказалась делать, мол это было до меня. Или такой кейс. И часто это "я не буду этого делать" лечится только перезапуском сессии. Пытался сделать 2 приложения, которые должны были интегрироваться. Интеграция не заработала. Запустил 2-х агентов. Одного для одного проекта, другого - для другого. Так они друг на друга гнали, мол у меня всё ок, смотри что в другом проекте.
Ну и не получилось до сих пор у меня приучить ни локальные, ни платные модели к хорошему коду. Если модель сделает большой кусок проекта, а потом что-то не сможет пофиксить, то нужно лезть самому. А там, как правило, что-то трудное для понимания. И поэтому когда в приложении баг, из-за которого им невозможно пользоваться, приходится сначала делать рефакторинг практически в ручном режиме и потом уже искать ошибку.
И главное, что хороший план в этой ситуации не помогал мне избежать этого всего. План был достаточно подробный, со структурой проекта, примерами кода и т. д.
ИИ часто добивается отсусттвия варнингов сапресами и фиксит тесты удалением их) Мол после этого всё хорошо собирается. И мне вспомнилось было видео у Славного Друже, где он с какой-то азиаткой что-то из крабов готовил. Друже говорит, мол у нас некоторые считают негуманным бросать раков в кипяток, ему ведь больно, он барахтается. Азиатка отрывает крабу все лапы и бросает в кипяток. И говорит, мол не барахтается, значит не больно.
Страшно представить как ИИ анестезиолог может сделать анестезию :D
Что самое интересное, за каждый токен мёртвого кода уплачено) Ситуация как в Индии, когда им платили за строчки кода и они стали писать много непонятных строчек. Так и ИИшке платят за токены и она пытается нагенерировать больше токенов, чтобы больше платить, а всё остальное не важно)
Так контекст везде ограничен, поэтому и разработка идёт итерациями такими, чтобы не больше 100-150к токенов было, потому что любая модель после ужатия контекста в качестве теряет больше, чем от ужатия по квантам.
Я на днях на локальном qwen 3.6 q4 хотел без опыта в андроид разработке сделать небольшое приложение - решалку для детской настольной игры "Коварный Крот". Он то по факту сделал. Я ему сначала дал свой код для решения самой задачки м попросил сделать начальную структуру проекта с Hello World. Он же сделал Hello World и мой код тоже сконвертировал в котлин и затащил(хотя я просил этого не делать). Думаю, мол ладно. Чтобы его лучше контролировать попросил статические анализаторы затащить. Перечислил. Он их затащил, долго стабилизировал сборку, поудалял их, сборка прошлась - он отрапортавал, что всё ок и сборка проходит. Потом я попросил подготовить доку по UX, с чатомджипити нашёл что улучшить и отправил его рисовать интерфейс. По итогу он не сильно хорошо знал актуальный Android API и не мог никак настроить Haptic Feedback. Я уже сам полез на ходу править и пока я правил он поудалял весь код с Haptic Feedback и сказал, мол сборка работает - всё ок. Хотя по UX я ему прописал Haptic Feedback, а он сделал без него. Со второго захода добавил. Потом я хотел с ним поправить варнингов, которых набралась сотня. Я что-то пофиксил сам, что-то ему отправил. Всё что он сделал это засапресил и сказал, что всё ок.
То есть по факту сделал, но он реально допускал ошибки, про которые писали в статье - он нацелен на прохождение тестов и билдов, неважно какой ценой. И если не разбираться, то может оказаться, что всё работает, но не так как нужно потому что какие-то настройки ему сделать сложно и он говорит якобы их сделал, а на самом деле всё отключил, отключил неугодные тесты, засапресил варнинги. Выглядит всё зелёным, а на самом деле много мусора.
Вывод, что для хобби сойдёт, но в продакшне надо аккуратно.
Вот про историю гит правильно. Потому что даже можно почистить репозитории от sensitive данных, но их можно увидеть в истории гита. И вроде есть разные скрипты, которые от определённых файлов вычищают всю историю гита, но тогда старые комиты могут перестать собираться потому что какие-то важные данные могли быть не вынесены в env файлы поэтому нужно какие-то нужные для запуска файлы нужэно грохнуть целиком, и эффект может быть сопоставим с полным удалением всей истории гита.
Добавляем то, что проблемы могут быть из-за багов сами агентов. С тем же клодом такой прикол был: https://habr.com/en/companies/ddosguard/news/1018916/, на плагин Continue был заведен баг на то, что он отправляет телеметрию, хотя в настройках было выставлено не отправлять. И если селф хостед можно как-то контролировать, то с проприетарным софтом это всё черный ящик, который по сути может делать что угодно и пользователь не имеет представления о том, что происходит.
Если СНГ учебники открыть, то там будет именно MS пакет. Про хромбуки я слышал, если честно, только в новостях. Мб в США они и распространены, но у меня ощущение, что это не такая массовая история.
Но тем не менее на просто запрос он начинает весь бюджет thinking выжирать. Иногда он начинает в thinking перечислять анекдоты, которые знает и в определённый момент они начинают повторяться циклически)
Насчёт reasoning не знаю. В сравнении с 3,5 он стал из коробки гораздо более длинным, но при этом у меня было сложилось впечатление, что он делает ответы и правда лучше.
По поводу самих ответов тут момент. Я в жизни пишу на джаве, а проект хотел себе запилить под ESP32 на C++. И как-то начал я его не совсем удачно в том плане, что джавовый стиль использовал. А я ля в именах методов кэмелкейс, скобки не так как нужно ставил. Но т. к. в этом не сильно разбираюсь всё равно потом был подключил агентов через связку локальных llama cpp и kilocode. Я сразу был начал с модели qwen 3.6 ud q8 k xl. Попросил его посмотреть проект и описать файлы агентов и скилов, чтобы раз я начал писать в джавовом стиле, то пусть он дальше и пишет в джавовом. И вроде q8 был по качеству нормальным. С но с MTP он был нестабильным. То выдавал 30-35 токенов в секунду, то до 20 проседал. И я захотел был попробовать q4 k xl потому что он в MTP стабильно 40+ выдаёт. Но он сделал вот что:
Буквально часть кода, а не весь проект перебил на снэйк кейс(вроде по стилю C++ правильно, но я же описал в агентах и скилах как нужно делать)
Отредактировал часть проекта(которую я забыл закомитать, чтобы избегать таких проблем) в режиме Ask(запрещено модифицирование файлов)
Может это и проблема килокода, но с моделью q8 у меня подобного не было. ПРичём я в тот момент уже на маты перешёл, мол что ты наделал. Он такой, мол точно, извиняюсь, я в режиме read only и не должен был ничего модифицировать.
Причём контекст стоял максимальный(около 200 000). То есть он по идее не должен был забыть информацию, которая к нему пришла из килокода и файлов скилов, чтобы он так жестко всё проигнорировал. Но тут и камень в огород килокода, конечно, потому что в режиме ask они оставляют защиту от опасных операций на стороне модели.
Ну убунту да, он тяжелый. Просто получается, что из всех утюгов кричат, что винда работает на слабом железе, а по факту в системных требованиях врут)
У них ведь минимальные системные требования 4 гига? Не? А так у меня есть ноут с таким же процом i3 6100 U и оперативкой 4 гига. И комфортно линукс минт на нём всегда работал и работает, всё происходит без фризов и т. д. У мамы на ноуте винда 11 и 16 гигов оперативки и вот там есть фризы. Когда перешёл на линукс это больше всего и впечатлило, что во время простой задачи - ввода текста, нет фризов, никогда.
Вот да. Если они не закроют ADB, то обход через Termux + adb останется рабочим. Как будто это защита от мошенников, а по факту они просто контроль усиливают. И ещё слышал, что могут ввести период охлаждения для разработчиков, что тоже добавляет неопределенности. И вообще столько про это пишут, но непонятно что будет.
Вроде как они хотели оставить возможность установки через adb. Поэтому необязательно будет рутовать. Конечно, если эту лазейку оставят.
Да тут и так видно) Вон был как-принц Уильям сфоткался на фоне логина/пароя от какой-то системы ВВС Великобритании)
Вообще зависит от многих факторов. Самое главное убедиться, что llama cpp скомпилирована с cuda. У меня 20 токенов было когда я случайно для mesa скомпилировал. Ещё Gemma MTP плохо работает с квантованым kv кэшем. У меня скорость до 30-35 падает. Ну и лучше всего скорость была на модели q4 NL, получше качество текста, но медленнее (50-60 токенов) на q4 kxl. А так я больше предпочитаю квены).
Для версии q4 kxl qat у меня такие параметры:
Если видеопамять позволяет, batch size нужно выкрутить получше. При работе с агентами важно, чтобы он контекст быстро строил.
Ну и смотреть что ещё запущено. У меня вчера включенная яндекс музыка снизила скорость квена с 45 до 15-20)
Как только условный клод начнёт писать хуже, антропики выкупят конкурента и закроют его)
Такие прецеденты с антропиками уже были в этом году)
Но тем не менее крушение дирижабля "Гинденбург" полностью похоронило дирижабли как вид транспорта. И в США от космических шаттлов полностью отказались после крушения "Колумбии".
Последние версии gemma это скорее не про программирование. Они выпустили супер быструю gemma 12b, которая и на rtx3060 выдаёт 70 токенов в секунду, но в агентов она совершенно не умеет. По факту из всех открытых моделей только квен умеет в агентов, но они после 3.6 открывать свои веса не торопятся.
Они не забыли KV-кэш квантовать и batch-size, ubatch-size выкрутить, чтобы быстрее на вход токены подавались?
Я пробовал как хобби в формате:
1. Спроектируй такую фичу -> маленькая модель
2. Напиши замечания -> ChatGPT
3. Исправь замечания -> маленькая модель
4. 2-3 итерации
5. Реализуй -> маленькая модель
По факту какие я сделал выводы:
Как агенты модели могут допускать серьёзные огрехи, например у меня в режиме Ask редактировал код без предупреждения, модифицировал системный питон с флагом --break-system(без него в питоне стояла защита от этого) и т. д.
Маленькая модель может игнорировать инструкции. Например, по плану мы сошлись на то, что нужно добавить haptic feedback, у модели с ходу не получилось, она не добавила, а по фактуотписала, что всё сделала
Своеволие. Например, попросил внести изменения, модель внесла, попросил поправить варнинги(в том числе, которые висят давно) - модель сделала git stash, проверила варнинги и отказалась делать, мол это было до меня.
Или такой кейс. И часто это "я не буду этого делать" лечится только перезапуском сессии.
Пытался сделать 2 приложения, которые должны были интегрироваться. Интеграция не заработала. Запустил 2-х агентов. Одного для одного проекта, другого - для другого. Так они друг на друга гнали, мол у меня всё ок, смотри что в другом проекте.
Ну и не получилось до сих пор у меня приучить ни локальные, ни платные модели к хорошему коду. Если модель сделает большой кусок проекта, а потом что-то не сможет пофиксить, то нужно лезть самому. А там, как правило, что-то трудное для понимания. И поэтому когда в приложении баг, из-за которого им невозможно пользоваться, приходится сначала делать рефакторинг практически в ручном режиме и потом уже искать ошибку.
И главное, что хороший план в этой ситуации не помогал мне избежать этого всего. План был достаточно подробный, со структурой проекта, примерами кода и т. д.
ИИ часто добивается отсусттвия варнингов сапресами и фиксит тесты удалением их) Мол после этого всё хорошо собирается. И мне вспомнилось было видео у Славного Друже, где он с какой-то азиаткой что-то из крабов готовил. Друже говорит, мол у нас некоторые считают негуманным бросать раков в кипяток, ему ведь больно, он барахтается. Азиатка отрывает крабу все лапы и бросает в кипяток. И говорит, мол не барахтается, значит не больно.
Страшно представить как ИИ анестезиолог может сделать анестезию :D
https://habr.com/en/news/1039430/
Что самое интересное, за каждый токен мёртвого кода уплачено) Ситуация как в Индии, когда им платили за строчки кода и они стали писать много непонятных строчек. Так и ИИшке платят за токены и она пытается нагенерировать больше токенов, чтобы больше платить, а всё остальное не важно)
Так контекст везде ограничен, поэтому и разработка идёт итерациями такими, чтобы не больше 100-150к токенов было, потому что любая модель после ужатия контекста в качестве теряет больше, чем от ужатия по квантам.
Я на днях на локальном qwen 3.6 q4 хотел без опыта в андроид разработке сделать небольшое приложение - решалку для детской настольной игры "Коварный Крот". Он то по факту сделал. Я ему сначала дал свой код для решения самой задачки м попросил сделать начальную структуру проекта с Hello World. Он же сделал Hello World и мой код тоже сконвертировал в котлин и затащил(хотя я просил этого не делать). Думаю, мол ладно. Чтобы его лучше контролировать попросил статические анализаторы затащить. Перечислил. Он их затащил, долго стабилизировал сборку, поудалял их, сборка прошлась - он отрапортавал, что всё ок и сборка проходит. Потом я попросил подготовить доку по UX, с чатомджипити нашёл что улучшить и отправил его рисовать интерфейс. По итогу он не сильно хорошо знал актуальный Android API и не мог никак настроить Haptic Feedback. Я уже сам полез на ходу править и пока я правил он поудалял весь код с Haptic Feedback и сказал, мол сборка работает - всё ок. Хотя по UX я ему прописал Haptic Feedback, а он сделал без него. Со второго захода добавил. Потом я хотел с ним поправить варнингов, которых набралась сотня. Я что-то пофиксил сам, что-то ему отправил. Всё что он сделал это засапресил и сказал, что всё ок.
То есть по факту сделал, но он реально допускал ошибки, про которые писали в статье - он нацелен на прохождение тестов и билдов, неважно какой ценой. И если не разбираться, то может оказаться, что всё работает, но не так как нужно потому что какие-то настройки ему сделать сложно и он говорит якобы их сделал, а на самом деле всё отключил, отключил неугодные тесты, засапресил варнинги. Выглядит всё зелёным, а на самом деле много мусора.
Вывод, что для хобби сойдёт, но в продакшне надо аккуратно.
Вот про историю гит правильно. Потому что даже можно почистить репозитории от sensitive данных, но их можно увидеть в истории гита. И вроде есть разные скрипты, которые от определённых файлов вычищают всю историю гита, но тогда старые комиты могут перестать собираться потому что какие-то важные данные могли быть не вынесены в env файлы поэтому нужно какие-то нужные для запуска файлы нужэно грохнуть целиком, и эффект может быть сопоставим с полным удалением всей истории гита.
Добавляем то, что проблемы могут быть из-за багов сами агентов. С тем же клодом такой прикол был: https://habr.com/en/companies/ddosguard/news/1018916/, на плагин Continue был заведен баг на то, что он отправляет телеметрию, хотя в настройках было выставлено не отправлять. И если селф хостед можно как-то контролировать, то с проприетарным софтом это всё черный ящик, который по сути может делать что угодно и пользователь не имеет представления о том, что происходит.
Если СНГ учебники открыть, то там будет именно MS пакет. Про хромбуки я слышал, если честно, только в новостях. Мб в США они и распространены, но у меня ощущение, что это не такая массовая история.
Но тем не менее на просто запрос он начинает весь бюджет thinking выжирать. Иногда он начинает в thinking перечислять анекдоты, которые знает и в определённый момент они начинают повторяться циклически)
Насчёт reasoning не знаю. В сравнении с 3,5 он стал из коробки гораздо более длинным, но при этом у меня было сложилось впечатление, что он делает ответы и правда лучше.
По поводу самих ответов тут момент. Я в жизни пишу на джаве, а проект хотел себе запилить под ESP32 на C++. И как-то начал я его не совсем удачно в том плане, что джавовый стиль использовал. А я ля в именах методов кэмелкейс, скобки не так как нужно ставил. Но т. к. в этом не сильно разбираюсь всё равно потом был подключил агентов через связку локальных llama cpp и kilocode. Я сразу был начал с модели qwen 3.6 ud q8 k xl. Попросил его посмотреть проект и описать файлы агентов и скилов, чтобы раз я начал писать в джавовом стиле, то пусть он дальше и пишет в джавовом. И вроде q8 был по качеству нормальным. С но с MTP он был нестабильным. То выдавал 30-35 токенов в секунду, то до 20 проседал. И я захотел был попробовать q4 k xl потому что он в MTP стабильно 40+ выдаёт. Но он сделал вот что:
Буквально часть кода, а не весь проект перебил на снэйк кейс(вроде по стилю C++ правильно, но я же описал в агентах и скилах как нужно делать)
Отредактировал часть проекта(которую я забыл закомитать, чтобы избегать таких проблем) в режиме Ask(запрещено модифицирование файлов)
Может это и проблема килокода, но с моделью q8 у меня подобного не было. ПРичём я в тот момент уже на маты перешёл, мол что ты наделал. Он такой, мол точно, извиняюсь, я в режиме read only и не должен был ничего модифицировать.
Причём контекст стоял максимальный(около 200 000). То есть он по идее не должен был забыть информацию, которая к нему пришла из килокода и файлов скилов, чтобы он так жестко всё проигнорировал. Но тут и камень в огород килокода, конечно, потому что в режиме ask они оставляют защиту от опасных операций на стороне модели.