здравствуйте, спасибо, что поделились. по поводу 2), 5), напишите пожалуйста тут или в нам чатик, какая у вас версия плагине, скрин с настройками, какой промпт, какие ошибки у вас при использовании.
с Ollama и агентами - известная проблема, в следующей версии плагина уже будет работать. Сейчас можете попробовать использовать Ollama через OpenAI-compatible провайдера с URL http://localhost:11434.
посмотрел, промпты не сохранились, к сожалению. но я не помню, чтобы я что-то сумасшедшее писал)
да, отдельное окружение для агента - это плюс, для каких-то задач важно, кстати, расскажете, для каких? я например пишу UI-приложение, и чтобы кодекс был полезен, мне нужно много инфры будет под него писать (UI-тесты, под еще не реализованный UI, например)
здравствуйте, ну если коротко - то мы экспериментировали с фреймворками для инференса, vLLM работает лучше всего. у vLLM есть возможность развернуть OpenAI-compatible API сервер, в плагине в настройках провайдера можно выбрать OpenAI-compatible, отдать адрес сервера
я попробовал кодекс несколько месяцев назад, мне тоже понравилось, что можно через N минут асинхронно проверить и поправить. но на просто тестовом проекте 2/3 простых задач он решил, а одну так и не смог. у вас на больших проектах нормально работает?
и еще, с ломающими изменениями у агентов (всех) действительно проблема, бывает, что код ломается неочевидным способом. расскажете, что имеете ввиду под контролем изменений в онлайн-агенте?
как будто тесты пишутся по не для разработки качественного продукта и дальнейшей его поддержки, а для реализации хотелок эффективных менеджеров. Сгенерим 100 классов и 100 классов тестов для них за 5 секунд и все довольны, а то как там в реальности это работает не важно
Согласен, что бездумно генерировать тесты не нужно. Для этого реализуют две фазы: тестовый "план", где вы можете подумать над нужным вам тестовым поведением, и генерация, где вы кнопкой из поведения делаете код. Об этом же говорит Shatun: "тесты генерируются не полностью случайным образом"
эти конкретные фичи в таком виде как рекламируется в статье их использовать - на мой взгляд не имеет ничего общего с повышением эффективности работы разработчика и улучшением качества продукта
Спасибо за отзыв. Будет здорово, если вы напишете, какие фичи вы считаете полезными, тогда рассмотрим их в другой раз
Разный промпт+ разный контекст дает достаточно существенную разницу. Плюс вполне может подаваться дополнительня конекст который можно получить из кода например используемые бибилотеки, фреймворки. Так что теоретически разница может быть существенная(а может они все в этом примерно на одном уровне).
для базовых случаев хватает прохода в ширину по AST с небольшой глубиной + инфы про тестовое окружение: стиль, версия тестовой библиотеки, ... , и так уже делают многие. Современные практики промпт инжиниринга, насколько я знаю, сводятся к инкрементальному улучшению промпта другой языковой моделью, так что в любом плагине промпт скорее всего околооптимален. А для конкретных случаев действительно непонятно и нужно делать бенчмарк (в т ч смотреть на copilot), его результаты мне тоже были бы интересны
С высокой долей вероятности, качество генерации у специализированных плагинов сходно, так как плагины работают на одних и тех же языковых моделях. Почти все что может сделать плагин - дать качественный контекст. Поэтому выбирать нужно по другим параметрам: сертификациям, возможности выбора модели и т д
В данной статье фокус на сравнении специализированных инструментов для генерации тестов, Codeium и GigaCode можно использовать, если пул задач у вас шире, чем генерация тестов. Но вы правы, copilot как пример подошел бы лучше
здравствуйте, спасибо, что поделились. по поводу 2), 5), напишите пожалуйста тут или в нам чатик, какая у вас версия плагине, скрин с настройками, какой промпт, какие ошибки у вас при использовании.
с Ollama и агентами - известная проблема, в следующей версии плагина уже будет работать. Сейчас можете попробовать использовать Ollama через OpenAI-compatible провайдера с URL http://localhost:11434.
да, по моему опыту это важное предусловие для успешного использования агентов, спасибо, что поделились
посмотрел, промпты не сохранились, к сожалению. но я не помню, чтобы я что-то сумасшедшее писал)
да, отдельное окружение для агента - это плюс, для каких-то задач важно, кстати, расскажете, для каких? я например пишу UI-приложение, и чтобы кодекс был полезен, мне нужно много инфры будет под него писать (UI-тесты, под еще не реализованный UI, например)
здравствуйте, ну если коротко - то мы экспериментировали с фреймворками для инференса, vLLM работает лучше всего. у vLLM есть возможность развернуть OpenAI-compatible API сервер, в плагине в настройках провайдера можно выбрать OpenAI-compatible, отдать адрес сервера
или у вас другой вопрос?
я попробовал кодекс несколько месяцев назад, мне тоже понравилось, что можно через N минут асинхронно проверить и поправить. но на просто тестовом проекте 2/3 простых задач он решил, а одну так и не смог. у вас на больших проектах нормально работает?
и еще, с ломающими изменениями у агентов (всех) действительно проблема, бывает, что код ломается неочевидным способом. расскажете, что имеете ввиду под контролем изменений в онлайн-агенте?
Согласен, что бездумно генерировать тесты не нужно. Для этого реализуют две фазы: тестовый "план", где вы можете подумать над нужным вам тестовым поведением, и генерация, где вы кнопкой из поведения делаете код. Об этом же говорит Shatun: "тесты генерируются не полностью случайным образом"
Спасибо за отзыв. Будет здорово, если вы напишете, какие фичи вы считаете полезными, тогда рассмотрим их в другой раз
для базовых случаев хватает прохода в ширину по AST с небольшой глубиной + инфы про тестовое окружение: стиль, версия тестовой библиотеки, ... , и так уже делают многие. Современные практики промпт инжиниринга, насколько я знаю, сводятся к инкрементальному улучшению промпта другой языковой моделью, так что в любом плагине промпт скорее всего околооптимален. А для конкретных случаев действительно непонятно и нужно делать бенчмарк (в т ч смотреть на copilot), его результаты мне тоже были бы интересны
С высокой долей вероятности, качество генерации у специализированных плагинов сходно, так как плагины работают на одних и тех же языковых моделях. Почти все что может сделать плагин - дать качественный контекст. Поэтому выбирать нужно по другим параметрам: сертификациям, возможности выбора модели и т д
В данной статье фокус на сравнении специализированных инструментов для генерации тестов, Codeium и GigaCode можно использовать, если пул задач у вас шире, чем генерация тестов. Но вы правы, copilot как пример подошел бы лучше