Комментарии 7
Как видите, на текущем уровне локальные сети пока слишком далеки от того, чтобы писать самостоятельно что-то приличное, без постоянной помощи разработчика. Код, получаемый на выходе, часто не только не работает, но даже не компилируется.
А как на счет code completion? Кажется, что маленькие модельки при грамотно собранном контексте (а continue dev пытается это делать) могут вполне неплохо подсказывать код
(интересно мнение и опыт)
Я не осилил локально использовать. Пробовал пару моделей, которые смог запустить на amd карточке. На работе сначала запрещали использовать copilot и co, и я искал возможность запустить локально. Так то оно работает, если попросить какой ни будь код без контекста, выдает вполне рабочий код, типа змейки :) , но хочется интеграции с IDE. Можно эмулировать API openai и использовать плагины, вроде CodeGPT для Idea. Но как не пытался правильно настроить контекст, работает не очень хорошо, хуже чем github copilot. Code completion работала ужасно. То код не в тему, то немного в тему, а потом дополняет какой то абракадаброй, что бы только заполнить заданное число токенов в ответе. Я бросил и начал втихую пользоваться copilot-ом, а потом официально разрешили. Хоть copilot и как бы общего назначения, но меня вполне устраивает. Экономит много времени в рутинных задачах. А тратить свое время на доводку локальной модели. Надо все таки разбираться в теме иначе потратишь много времени и возможно бесполезно.
Я пытался что-то рекомендованное для этого использовать, но вот беда — там зависимость на язык сильная. Нашёл комплитер для java, c#, typescript и иже с ними — но полгода назад ушёл на го, моделька стала выдавать чушь, увы.
есть расширение twinny для vscode, оно автоматически цепляется к Ollama, умеет в чат и в автодополнение кода. Вроде неплохо справляется, но я не сравнивал с copilot, да и от моделек запущенных зависит.
Да, continue dev предлагает использовать модельки вроде starcoder1b или 3b для автокомплита в строке или на основе предыдущих строк/комментария. На маке с m1 max работает вполне шустро, эффективность и полезность переменные.
Вместо ollama лучше использовать LM Studio она также имеет интеграцию с Continue.dev . При этом имеет графический интерфейс для поиска моделей и есть средства для оптимизации использования памяти CPU так и GPU. Сейчас более менее адекватной для локального компа это Llama 3.1 -8 B . Но если быть честным с собой то без 4090 локально это все работает медленно и реально наврятли кто то будет примять в большом проекте.
Локальные LLM в разработке: а почему бы и да?