Comments 16
Какой именно deepseek r1 вы тестировали локально? Тот который доступен у них на сайте это 671 миллиард параметров, ее даже на мощном компе не запустишь. Правильно ли я понимаю, что вместо нее вы использовали что-то из мелких моделек у которых с r1 общего одно название?
Речь про дистиллированные модели для Ollama, да. Понятно, что дистиллированный дипсик это далеко не тот, что на сайте, но он проигрывает другим локальными моделям (gemma, gpt, qwen, mistral) и как локальная модель для практических задач практически не применим. Я еще напишу материал по сравнению локальным LLM
Для этой модели нужен кластер из 3х видеокарт
Какой именно deepseek r1 вы тестировали локально? Тот который доступен у них на сайте это 671 миллиард параметров, ее даже на мощном компе не запустишь.
Запускаемо, не в контексте вашего комментария, а в целом. Нужно минимально 192гб RAM + ускорение через одну GPU на 16gb. За счет чего это работает:
Запускаем настоящую DeepSeek R1 671B на игровом ПК и смотрим вменяемая ли она на огромном контексте (160к)
Свежий бенчмарк программирования Aider показывает, что низкие кванты вполне пригодные для кода. Динамическое квантование - это когда важные тензоры квантуются повыше, а не особо важные низко.
1-битный динамический квант выступает лучше чем первая версия R1, а динамические 2-битные кванты имеют падение качества в районе 10-20%, при этом их размер уверенно влезает в 256гб RAM, цена на 4x64гб DDR5 для домашних ПК сейчас уже вполне доступна.
Для примера запустил DeepSeek-V3.1-IQ2_KS (193гб) на обычном ПК 192гб RAM + 4090:
Немного не понял про негатив с агентским режимом и отладкой через консоль в курсоре. В процессе отладки LLM добавляет в цикле отладочную информацию пока не локализует ошибку, а затем её чинит. И агентский режим в топ моделях отлично это обрабатывает. Правда, я прошу ввести новый уровень логгирования для таких кейсов. Условный LLM debug.
Какой использовать софт? Я адепт Geany, могу также в code::blocks - как мне прикоснуться к магии вайб-кодинга?
Там была статья https://habr.com/ru/articles/938036/
поясняющая подробности дружбы LM-Studio + любимый редактор.
После смотрите какая модель по бенчмаркам стала топовой по теме Coder и качаем её в лм-студии.
не всё так радужно поидее, локальная модель потребует не то что без модели, но с прогоном теста(очень затратно ставить модель локально), как бы да, магии нет, зато сложность дисциплинирует
Очень много букв. Очень мало структуры.
Складывается впечатление, что автор по собственному совету декомпозировал задачу, и вручную склеил куски.
Кстати, а что-то в списке нет Клавдии 🤔
Я рассчитывал на супер график взлёта продуктивности.
В ★5УГЛОВ мы используем нейросети как помощников, но итоговый результат всегда проходит ревью специалистами.
Максимально не продали. "Специалист" начитавшись подобных статей, что и тестировать, и тестовые данные генерировать, и на уязвимости проверять так же зальёт это в первую попавшуюся модель и печать отк поставит.
По итогу утка llm - универсальный солдат, ну дальше вы знаете...
Благодарю.
С нейронками, скорее просто с Qwen, иногда с DeepSeek общаюсь недавно, месяца 3-4.
1) Все описанные траблы и способы решения, с которыми сам имел дело, горячо подтверждаю.
2) Всё (очень многое), что пока свыше моего опыта, на основании 1) принимаю к сведению и делаю закладочку на статью.
Исторически сложилось что через Ollama у меня стоит и подключен к IDE- qwen 8b
Вполне достаточен для работы НАСТОЯЩЕГО программиста. Что имею ввиду
- это не "напиши мне проект по ТЗ", а приведи этот список ссылок к виду Х, добавь к каждой ссылке атрибут. Или подставь из названия файла переведя на русский текст для ссылки. И тому подобное.
Иногда как мини быстрый мануал по функциям.
Думаю тут очень важно было бы протестировать claude и claude-code. Возможно тогда статья была бы другой.
Удивительно, что в 100500 статей на хабре про опыт первого секса вайбкодинга, никто не пробовал самое оптимальное — Aider, с хотя бы Gemini Pro.
А нужно ли в llm загружать контекст всего проекта (например, мы делаем интернет магазин на таком-то стеке с таком-то функционалом) или это лишнее? Проект начинаем с чистого листа. Спасибо!
Почему все прилипали к этому курсору.
Курсор создан на базе VC code ,так вот в VC code есть бесплатный плагин roo code,который позволяет запускать LLM через кучу провайдеров,в том числе и локальные.
Тестировал qwen3 code 30b и deepseek code v1 lite локально через Lmstudio в связке с roo code.Последняя версия Lmstudio может считать сколько памяти нужно для запуска.Даже на 3060ti 8g можно вполне запустить такие модели или аналогичные с 16B параметров,но критичен размер выделенного контекста.
Так же последние версии roo code могут делать промежуточный итог автоматом.
Опыт вайбкодинга: как заставить нейросеть работать эффективно