Comments 25
Пишу на ts+vue с Warp - имеет смысл переезжать на что либо вышеупомянутое? Если да - то по каким причинам?
А где Zed?
Нет поддержки MCP, что ограничивает расширение функционала.
У меня в Cursor есть поддержка MPC, но ограничен 40 активными методами (или как это называется в контексте MPC)
В целом достаточно легко обходится включением только нужных
Низкокачественный нейроконтент.
есть еще kiro.dev от amazon работает не быстро но сносно
а как же Gemini Code Assist для VS Code?
и где OpenAI Codex?
Если есть возможность что-то внедрить внутри компании и есть свободные ресурсы (без gpu), то насколько оптимально будет развернуть на своих серверах llm, в основном на ram, и использовать roo code на своих моделях? Есть опыт? Или не стоит игра свеч, а проще использовать cursor/windsurf
Без GPU ничего работать нормально не будет. Для нейронки нужны сотни и тысячи процессоров, которые есть в GPU, а также наличие в ней памяти порядка 32гиг. Без GPU можно запустить на ядрах проца только узконаправленно обученные самим нейронки для выполнения простых задач.
Изначально нейронка "варится" на десятках тысячах процессорах и все крупные так и работают на огромных датацентрах. Потом их ужимают , типа как кино с 8к до 1080p и соответственно они становятся от этого "тупее". Делается это для их запуска на "слабом" железе. И чем на более слабом железе она может работать, тем она "тупее". Профессиональные графические GPU стоят от 10000$ и выше. Можно об этом спросить саму нейронку, какие ресурсы ей нужны для "умного" общения. И все современные нейронки для "общего" , даже платного доступа, всегда делают "слегка тупыми", так как из-за потребляемого ими энергоресурса экономически невыгодно продавать их полноценную мощь. Таким пользуются только ограниченный круг определенных пользователей. Поэтому все то, что показывают на презентации фирмы разработчики AI, никогда не дадут в общие массы.
На Huginface, есть калькулятор. Там можно посмотреть сколько нужно ресурсов для запуска той или иной модели.
Я занимаюсь активно этим вопросом по мере возможности. Модели до 7б работают в связке с roocode и kilocode отвратительно. За все время может 3 раза правильно вызвали "tools" из сотни. Иду в отпуск на следующей неделе и немного будет времени.
П.С. Не знаю как с Виндоус, но на Линукс. А конкретно NixOS у меня получилось запускать модели и на vRAM и RAM, когда модель не помещается в видео память.
На ЦРУ и на раме 32b модель генерировать ответ будет час
Локальный ллм не стоит свеч... все перепробовал уже. Сейчас копаю в сторону разработки генератора сложного промпта который можно было-бы копипастить в окно дипсик или чатгпт. Вроде получается. Если писать в чатгпт в обычном режиме быстро теряет контекст. А так вроде пишет норм. Пайтон+фастапи+(докер с postgress). Mcp вроде обошел
Консультировался с ИИ по поводу запуска локальных LLM на серверном оборудовании без GPU.
Задача была поднять llm code review, чтобы комментировать PR. На своем оборудовании поднять аналог coderabbit. Утверждал, что можно поднять Llama-3-70B-Instruct, выделить под это 24-36 CPU ядер и до 120 GB ram, распараллеливать и получать удовольствие. Мне нет необходимости получать ответ сразу, а время выполнения максимум 5 минут, т.е. выйдет около 3-5 t/s.
Тут только экспериментировать. Возможно, получится glm 4.5 Air запустить, насколько я понял, он сейчас один из топовых в кодовой базе. Сам проверял решение сложного запроса в Oracle и он один из всех ИИ, дал правильное направление и написал сразу работающий запрос, правда с нюансами.
у меня 9ГБ модели на 24гб озу и 3060-12ГБ идут по пять минут. правда все висит нафик. и это локальный запуск ollama:) 5 минут это долго. Причем я еще запускал ollama на докере без поддержки видюхи как оказалось. Там тоже висело по 5 минут но зависания компьютера не было. Для тестирования использовал void. Красивая штука, но теряет постоянно контекст прямо внутри одного промпта - и это известный разработчикам баг. я все локальные замены cursor перебрал, в итоге кроме void ничего нет нормального - все остальные требуют коннекта к платным llm. Но void в бете. Может когда выйдет норм релиз они подтянутся
А что дипсик сам промт не составит что ли ? Его размышляющая модель для кодовой Qwen например ? Но а так я пришёл к выводу, что полагаться только на текст в делегировании задач разработки такое себе ... Нужно считаю "скармливать" ИИ и макеты дизайна, и схемы архитектуры, структуру, то есть солидную основу такую. И тут кстати неплохо было бы протестировать как модели переводят в код тот же дизайн, который им скормлен в виде изображения.
Я как закончу эксперимент отпишусь. У меня чатгпт сам по промпту генерит vscode проект. Сейчас пишу промптгенератор. Чтобы можно было обходится двумя копипастами. Первый в чат и потом из него в прогу которая парсит ответ из чата ну и дальше пишешь ему следующий этап или копируешь еррорлог жмёшь собрать новый промпт и его копипаст в чат ну и далее по циклу. Пока только времени нет. Но на текущем этапе чатгпт справляется. Дипсик тоже.
Я и скармливаю ему всё. Иначе он теряет контекст. А дизайном заморочиться в бесплатном онлайне вряд-ли получится. Токенов не хватит. Я делаю минимальный веб который запускается через докер на локалхост с минимальным дизайном
Ну не скажи... Мой интерес к малым обусловлен тем, что давать короткие инструкции, что бы следовало максимально точно. И фундамент это скрипты. Но если ищешь модель 1b с качеством как у 600+ то слишком много ты хочешь от дистелированых моделей.
Trae работает только через ВПН... Solo mode только по вишлисту доступен
вы вообще пользовались этими инструментами? Особенно, вопрос по juniE, codex cli и claude code? codex cli, как вы выращились, "отстающий" с gpt5 - лучшее, что я встречал, во многих задачах перевешивает мощный claude code. При наличии терминальных агентов, которые за пару минут перелопачивают и понимают всю кодовую базу, успешно ее редактируют, вообще не вижу смысла пользоваться другими вариантами. Не упомянуты forge code, goose и прочие аналоги, выборка очень скудная.
я максимально разочарован gpt5, и да, я пользовался каждым из этих инструментов достаточно долго. Остановился сейчас на Trae. Gpt5 очень плох, причем плох ДАЖЕ в использовании агентных команд, данных ему тем же Codex, не говоря уже про другие агенты. Да что уж, даже если смотреть на нарисованные бенчмарки, то даже o3 куда лучше, а Claude 4 sonnet уж точно
AI-ассистенты для кодинга: сравнение инструментов