Спасибо, но 42 токена/сек и контекст 65 536 не подходят для реальной агентной работы. Контекст нужен минимум 150 тыс иначе ничего хорошего не выйдет, будет постоянно в него упираться.
С Qwen 3.5 получается скорость генерации 120 токенов в секунду и контекст 200K.
А вот не нашел такую, которая бы помещалась в GPU полностью и место хватала для нормального контекста + тулы. Если подскажите где такую скачать для LM Studio будут благодарен.
Подобное наблюдал с более старыми моделями, например с Qwen coder 3. Ранее пробовал с ней похожий эксперимент, он не справилась совсем и периодически уходила в рекурсии на правках и тестах.
При использовании более свежих версия то ситуация сильно лучше.
На мой взгляд для 80% задач продуктовой разработки писать код руками не имеет смысла из-за низкой эффективности. LLM пишет быстрее и качественнее если достаточный контекст и описание задачи.
Отвечая на ваш вопрос - конечно код сгенерированный LLM уже давно работает в продакшене.
Да, конечно более новые должны быть лучше, но 3.6 на моем железе выдавала низкую скорость ответа и контекстное окно сильно меньше. Поэтому остановился на 3.5
Автор опередил меня по описанию подобной идеи.
Уже давно использую в одном из проектов vmuzike.net
По моему это очень хороший способ где данные пользователя не очень важны.
Можно привести и другие подробности.
Во первых это искусство и это то чем он занимается должно нравится человеку даже если это никому больше не нравится. Конечно если человек делает хорошие вещи которые нравятся другим людям, то можно на этом заработать. И тут совсем не обязательно устраивать большие концерты, они могут выступать в различных заведениях (для этого тоже не так уж много и нужно) и им будут платить если опять же это нравится людям.
Поэтому это давольно таки сравнимые вещи.
У меня другая точка зрение и хочу её высказать.
Я считаю что цифровой контент как — музыка, фильмы не должны стоять денег.
Я плачу тем что я это слушаю, тем что знаю кто это поёт и уважаю этих людей, тем самым делая этих людей известнее рассказывая о них друзьям. И если мне их музыка по настоящему нравится, то я пойду и куплю лицензионный диск этого исполнителя, пойду на концерт и заплачу за билет тем самым отблагодарив его.
Т.е. исполнитель должен стараться делать хорошую музыку что бы возникало чувство благодарности. А если мне не нравится музыка исполнителя то и платить за неё я не хочу.
Для исполнителя это будет стимулом что бы делать качественную музыку и находить своего слушателя который будет готов за неё платить.
Тоже самое и с фильмами, если я знаю что фильм мне интересен и он достоин денег, то я пойду и посмотрю его на широком экране и тем самым отблагодарю за отличный фильм.
А за рекламный фильм (как часто бывает с русскими фильмами) я платить не хочу, так как им заплатили рекламодатели.
Такая модель сильнее мотивирует делать хорошее кино и музыку.
А если мы всех приравняем и будет одинаково платить деньги за то что они есть, то это приведёт к раздутию рынка и некачественному контенту. Ведь большинство попсовых исполнителей пишут песни что бы просто ещё раз пропиариться. Став слушателем такого контента я и так заплатил ему что послушал, он достиг своей цели.
Мы же не платим блогерам за то что бы прочитать их статьи, а платим тем фактом что читаем, соответственно смотрим рекламу, запоминаем адрес, его имя, рекомендуем друзьям и т.д.
Я вас понимаю, сам этим раньше занимался) Я считаю это нормально и через это должен пройти каждый нормльный программист, это своего рода тренировка. Полученые таким образом знания мне часто помогают в работе.
А по поводу примера, есть как минимум два решения:
Одно из решений, в класс вашего базового контроллера (от которого наследуются все остальные) просто добавить такой код. Лучше всего в метод init() — своего рода конструктор в контроллерах Zend'a.
if ($this->getRequest()->isXmlHttpRequest()) {
$this->getHelper('layout')->disableLayout();
}
Немного поясню, если к нам пришёл асинхронный запрос (проверяется это наличием заголовка 'X-Requested-With: XmlHttpRequest' в принимаемом запросе) то мы отключаем глобальный шаблон и отдаём только шаблон который отвечает за основной контент.
И немного JavaScript:
1) Создана подробная спецификация сервиса и разбито на задачи
скелет проекта, домен, password и JWT
сервисный слой и fake repository tests
HTTP API, middleware и handler tests
PostgreSQL repository, config и миграции
Dockerfile, Docker Compose и запуск всех зависимостей
Каждая задача это отдельная сессия, все сессии идут последовательно. После каждой задачи смотрел что он сделал все верно.
2) Сервисы реализован в течении дня между делом, чистого времени работы агента около 1-1,5 часа Руками писать 1-2 дня
3) У меня уже все было установлено, поэтому сложно оценить.
4) По сути так и было в простом варианте - Бизнес описание сервиса, план реализации и описание каждой задачи все в .md файлах в проекте.
Установить программу https://lmstudio.ai/ скачать модель qwen/qwen3.5-9b установив GPU Offload на максимум и Context Length на 200K.
Далее подключить в opencode так https://opencode.ai/docs/ru/providers/#lm-studio
Спасибо, но 42 токена/сек и контекст 65 536 не подходят для реальной агентной работы. Контекст нужен минимум 150 тыс иначе ничего хорошего не выйдет, будет постоянно в него упираться.
С Qwen 3.5 получается скорость генерации 120 токенов в секунду и контекст 200K.
А вот не нашел такую, которая бы помещалась в GPU полностью и место хватала для нормального контекста + тулы. Если подскажите где такую скачать для LM Studio будут благодарен.
Подобное наблюдал с более старыми моделями, например с Qwen coder 3.
Ранее пробовал с ней похожий эксперимент, он не справилась совсем и периодически уходила в рекурсии на правках и тестах.
При использовании более свежих версия то ситуация сильно лучше.
На мой взгляд для 80% задач продуктовой разработки писать код руками не имеет смысла из-за низкой эффективности. LLM пишет быстрее и качественнее если достаточный контекст и описание задачи.
Отвечая на ваш вопрос - конечно код сгенерированный LLM уже давно работает в продакшене.
Да, без условно если получше подробить на разные агенты с разными скилами то результат будет еще лучше.
Да, конечно более новые должны быть лучше, но 3.6 на моем железе выдавала низкую скорость ответа и контекстное окно сильно меньше. Поэтому остановился на 3.5
Ещё было бы очень интересен подобный список для рунета.
Хотелось бы узнать сколько ресурсов сервера съедает подобная радиостанция и сколько слушателей может выдержать?
Уже давно использую в одном из проектов vmuzike.net
По моему это очень хороший способ где данные пользователя не очень важны.
Именно так и должна распространяться музыка, у кого музыка хорошая тот в любом случае заработает на ней.
Заодно и шлак отсеется.
Желаю проекту удачи!
Во первых это искусство и это то чем он занимается должно нравится человеку даже если это никому больше не нравится. Конечно если человек делает хорошие вещи которые нравятся другим людям, то можно на этом заработать. И тут совсем не обязательно устраивать большие концерты, они могут выступать в различных заведениях (для этого тоже не так уж много и нужно) и им будут платить если опять же это нравится людям.
Поэтому это давольно таки сравнимые вещи.
Я считаю что цифровой контент как — музыка, фильмы не должны стоять денег.
Я плачу тем что я это слушаю, тем что знаю кто это поёт и уважаю этих людей, тем самым делая этих людей известнее рассказывая о них друзьям. И если мне их музыка по настоящему нравится, то я пойду и куплю лицензионный диск этого исполнителя, пойду на концерт и заплачу за билет тем самым отблагодарив его.
Т.е. исполнитель должен стараться делать хорошую музыку что бы возникало чувство благодарности. А если мне не нравится музыка исполнителя то и платить за неё я не хочу.
Для исполнителя это будет стимулом что бы делать качественную музыку и находить своего слушателя который будет готов за неё платить.
Тоже самое и с фильмами, если я знаю что фильм мне интересен и он достоин денег, то я пойду и посмотрю его на широком экране и тем самым отблагодарю за отличный фильм.
А за рекламный фильм (как часто бывает с русскими фильмами) я платить не хочу, так как им заплатили рекламодатели.
Такая модель сильнее мотивирует делать хорошее кино и музыку.
А если мы всех приравняем и будет одинаково платить деньги за то что они есть, то это приведёт к раздутию рынка и некачественному контенту. Ведь большинство попсовых исполнителей пишут песни что бы просто ещё раз пропиариться. Став слушателем такого контента я и так заплатил ему что послушал, он достиг своей цели.
Мы же не платим блогерам за то что бы прочитать их статьи, а платим тем фактом что читаем, соответственно смотрим рекламу, запоминаем адрес, его имя, рекомендуем друзьям и т.д.
А по поводу примера, есть как минимум два решения:
Одно из решений, в класс вашего базового контроллера (от которого наследуются все остальные) просто добавить такой код. Лучше всего в метод init() — своего рода конструктор в контроллерах Zend'a.
Немного поясню, если к нам пришёл асинхронный запрос (проверяется это наличием заголовка 'X-Requested-With: XmlHttpRequest' в принимаемом запросе) то мы отключаем глобальный шаблон и отдаём только шаблон который отвечает за основной контент.
И немного JavaScript: