Не делал специализированных тестов, но по личным наблюдениям Gemma 4 не тянет agentic режим вообще никак, путается, выдумывает, уходит в бесконечный цикл, на связках tool calling вообще полный провал. И ещё у них прикол останавливаться перед выполнением и писать "я собираюсь...", "мне нужно сделать...". В качестве чата, для развлечения пойдёт.
Показывайте свое поделие. Если это никому не нужная "штука", но она не несёт никакого вреда, люди потыкают и забудут. Вы ничего не потеряете, а как минимум приобретете критику полезную для улучшения или создания нового продукта. Бояться показать, зачем, почему? Чего вы боитесь? Что кому-то не понравится? 100% кому-то не понравится. Даже деньги кому-то да не нравятся.
Железо описал выше. Скорость генерации 39-54 t/s, не отслеживаю от чего зависит, в одной и той же сессии вот такой разлет. В целом комфортно. Latency в данном контексте не понимаю о чем речь
Мои наблюдения: если вы даёте локальной llm задачупо типу "где-то там, найди что-то там и сделай вот так вот" условно, то она с большой долей вероятности не найдёт то что нужно, или найдёт не то что нужно, но так как поставленную задачу нужно выполнить, она найдёт что-то и выдаст какой-то результат. В большинстве случаев она делает дичь, если это не точечная и очень чёткая задача. Но мы же не за этим к ним приходим. Так вот, в большинстве случаев многосоставной работы (анализ, поиск, анализ, продумывание, генерация и т.д.) модели уходят не в ту сторону уже на стадии поиска. А если в свежую сессию подавать конкретную карту маршрута (куда ей нужно идти и что конкретно искать именно в этом конкретном месте), то она не распыляется на эти объёмные задачи. Моя идея в том, что бы как раз таки строить точную маршрутную карту по проекту заранее отдельными инструментами и сессиями, а llm с ролью исполнителя задачи (лучше несколько атомарных задач, в зависимости от объёма) получала уже точное местоположение нужных файлов и даже номеров строк.
Но пока что это даётся с трудом. Буду рад идеям.
Железо: ryzen 9 5900x, 64gb ram, rtx 4080 16gb vram. Модель на данный момент использую qwen2.5-coder-14b-instruct, max ctx примерно 50к
Маюсь немного схожей фигней, сразу скажу один rag вам тут не поможет. Я делаю целый цикл на локальных моделях. RAG там присутствует, но только как маленький, незначительный слой предварительной помощи в навигации. Пайплайн строит сырую карту отсеивая мусорные пути, потом наиболее вероятнее кандидаты отправляются узкому спициалисту llm на проверку approve / reject, маленькими скоупами и пока я добился качества карты не выше 0.8, а нужно хотя-бы 0.95, потому что от качества карты маршрутов сильно зависят дальнейшие шаги. И это проектоориентированный пайплайн, я боюсь представить, что было бы на универсализации)) маленькие локальные модели, помещающиеся в 16 гб vram, очень тупенькие.
Я не эксперт, но почему Cline? Чем вас не устраивает встроенный в VS code чат copilot, в нем можно подключать и настраивать кастомные модели от любых провайдеров, есть роли, скилы, хуки, инструменты.
Передал руководству список определённых навыков, которых не хватает команде, для составления вакансии на их основе.
Подготовил чек-лист для HR, по которому нужно фильтровать анкеты.
Из отфильтрованных кандидатов выбирал тех, с которыми хотел бы провести тех собеседование.
Для каждого кандидата писал список индивидуальных вопросов, которые задавал на собеседовании.
В итоге закрыл в команде слабые места.
Но это относительно маленький стартап, и я имею возможность влияния на процессы отбора и найма. В больших компаниях наверно не удастся такое провернуть)
Может я из другого мира, но сфигали Frontend разработчики перестали существовать? Я как бы тут вообще-то, в свете событий с нейронками просто стал вести 3 проекта при +- тех же усилиях
Вот кстати на счёт remote изменений не знаю, у меня самописный AGENTS.md на 180 строк, без внешних ссылок и без хуков, и отдельные скилы по типу как делать фиксы, фичи, ревью, саморевью, мозговой штурм и так далее. GPT сам подхватывает нужный скил и придерживается моих правил. Но когда я тот же самый AGENTS.md положил в корень проекта и запустил в работу Claude - тот его просто проигнорировал, я думал прикол какой-то, запускал разные сессии, но нет, он его просто не читает. Наверно ему нужен именно CLAUDE.md 🤷
И Claude очень сильно злоупотребляет коммитами, если на эту тему ему ничего не сказать.
Я все таки придерживаюсь мнения, что они (gpt и Claude) требуют своего подхода к каждому.
Мне нравится как opus иногда предлогаете "свежие" решения, которых я ранее не видел от gpt, но цена за это очень высока (в плане лимитов), а вот sonet показался мне довольно тупеньким.
Но я мало времени провел с Claude, что бы дать объективную оценку
😁 Сначала на ужин её своди, а потом проси
Не делал специализированных тестов, но по личным наблюдениям Gemma 4 не тянет agentic режим вообще никак, путается, выдумывает, уходит в бесконечный цикл, на связках tool calling вообще полный провал. И ещё у них прикол останавливаться перед выполнением и писать "я собираюсь...", "мне нужно сделать...". В качестве чата, для развлечения пойдёт.
Показывайте свое поделие. Если это никому не нужная "штука", но она не несёт никакого вреда, люди потыкают и забудут. Вы ничего не потеряете, а как минимум приобретете критику полезную для улучшения или создания нового продукта. Бояться показать, зачем, почему? Чего вы боитесь? Что кому-то не понравится? 100% кому-то не понравится. Даже деньги кому-то да не нравятся.
P. S. Мне такое поделие не нужно 😁
Железо описал выше. Скорость генерации 39-54 t/s, не отслеживаю от чего зависит, в одной и той же сессии вот такой разлет. В целом комфортно. Latency в данном контексте не понимаю о чем речь
Мои наблюдения: если вы даёте локальной llm задачупо типу "где-то там, найди что-то там и сделай вот так вот" условно, то она с большой долей вероятности не найдёт то что нужно, или найдёт не то что нужно, но так как поставленную задачу нужно выполнить, она найдёт что-то и выдаст какой-то результат. В большинстве случаев она делает дичь, если это не точечная и очень чёткая задача. Но мы же не за этим к ним приходим. Так вот, в большинстве случаев многосоставной работы (анализ, поиск, анализ, продумывание, генерация и т.д.) модели уходят не в ту сторону уже на стадии поиска. А если в свежую сессию подавать конкретную карту маршрута (куда ей нужно идти и что конкретно искать именно в этом конкретном месте), то она не распыляется на эти объёмные задачи. Моя идея в том, что бы как раз таки строить точную маршрутную карту по проекту заранее отдельными инструментами и сессиями, а llm с ролью исполнителя задачи (лучше несколько атомарных задач, в зависимости от объёма) получала уже точное местоположение нужных файлов и даже номеров строк.
Но пока что это даётся с трудом. Буду рад идеям.
Железо: ryzen 9 5900x, 64gb ram, rtx 4080 16gb vram. Модель на данный момент использую qwen2.5-coder-14b-instruct, max ctx примерно 50к
Маюсь немного схожей фигней, сразу скажу один rag вам тут не поможет. Я делаю целый цикл на локальных моделях. RAG там присутствует, но только как маленький, незначительный слой предварительной помощи в навигации. Пайплайн строит сырую карту отсеивая мусорные пути, потом наиболее вероятнее кандидаты отправляются узкому спициалисту llm на проверку approve / reject, маленькими скоупами и пока я добился качества карты не выше 0.8, а нужно хотя-бы 0.95, потому что от качества карты маршрутов сильно зависят дальнейшие шаги. И это проектоориентированный пайплайн, я боюсь представить, что было бы на универсализации)) маленькие локальные модели, помещающиеся в 16 гб vram, очень тупенькие.
Бывает и такое
Автономную работу не пробовал, даже не интересовался. Но встроенный инструмент мне показался удобным в плане обычной разработки с агентом
Я не эксперт, но почему Cline? Чем вас не устраивает встроенный в VS code чат copilot, в нем можно подключать и настраивать кастомные модели от любых провайдеров, есть роли, скилы, хуки, инструменты.
Не сказал бы, по сей день активно пользуюсь gpt 5.4, всё на том же уровне.
Включить vpn, перейти на сайт. Готово. Тема закрыта.
Я совсем недавно добирал в команду разработчиков.
Как это сделал я:
Передал руководству список определённых навыков, которых не хватает команде, для составления вакансии на их основе.
Подготовил чек-лист для HR, по которому нужно фильтровать анкеты.
Из отфильтрованных кандидатов выбирал тех, с которыми хотел бы провести тех собеседование.
Для каждого кандидата писал список индивидуальных вопросов, которые задавал на собеседовании.
В итоге закрыл в команде слабые места.
Но это относительно маленький стартап, и я имею возможность влияния на процессы отбора и найма. В больших компаниях наверно не удастся такое провернуть)
Может я из другого мира, но сфигали Frontend разработчики перестали существовать? Я как бы тут вообще-то, в свете событий с нейронками просто стал вести 3 проекта при +- тех же усилиях
А что на счёт wanttopay?
Хотел плюсануть, но не дорос ещё 😁
Если написать в промпте кусок кода и сказать llm куда его вставить, то он выполнит это с точностью 100%, и не будет трогать другой код
Есть ещё 1 способ — переезд в другую страну 😭
Тоже зашёл почитать комменты на эту строчку 🤣
Если вы тщательно не проверяете то, что пишет composer - то возможно эти беды ложатся на ваших коллег (если они у вас есть) , или лягут позже.
Вот кстати на счёт remote изменений не знаю, у меня самописный AGENTS.md на 180 строк, без внешних ссылок и без хуков, и отдельные скилы по типу как делать фиксы, фичи, ревью, саморевью, мозговой штурм и так далее. GPT сам подхватывает нужный скил и придерживается моих правил. Но когда я тот же самый AGENTS.md положил в корень проекта и запустил в работу Claude - тот его просто проигнорировал, я думал прикол какой-то, запускал разные сессии, но нет, он его просто не читает. Наверно ему нужен именно CLAUDE.md 🤷
И Claude очень сильно злоупотребляет коммитами, если на эту тему ему ничего не сказать.
Я все таки придерживаюсь мнения, что они (gpt и Claude) требуют своего подхода к каждому.
Мне нравится как opus иногда предлогаете "свежие" решения, которых я ранее не видел от gpt, но цена за это очень высока (в плане лимитов), а вот sonet показался мне довольно тупеньким.
Но я мало времени провел с Claude, что бы дать объективную оценку