Тебя уволят, и ничего не сломается. Возможно, станет даже лучше

Я думаю, что внедрение ИИ - это только предлог. На самом деле надвигается тяжелый экономический кризис, и компании пытаются постелить соломки, в частности срезать расходы на персонал.

9 секунд и нет production-базы. Разбор трёх провалов AI-агентов в проде

Я вот что не понимаю - при сжатии контекста разве system prompt тоже попадает под сжатие?

Путь интроверта от ИТР до руководителя. Библиотека руководителя-интроверта

Дирижеру нужен хотя бы оркестр, состоящий из профессиональных музыкантов. Если этого нет, никакие книги не помогут. Будет как в басне Крылова: "А вы друзья, как ни садитесь, всё в музыканты не годитесь".
Сам более 10-ти лет занимал должность технического руководителя, являясь интравертом. Это был ад. Когда представилась возможность, ушел в ИТ программистом и ни секунды не жалею.

Почему технологии не сделали нас счастливее: ищем ответ в антиутопиях Стругацких

Гречка с тушенкой (если тушенка хорошая) гораздо вкуснее всяких там омаров )))

Клод снёс человеку бизнес — это чья проблема?

Не просто карандашом, а "химическим"!

Где выгодно оформить виртуальную сим карту и как ей правильно пользоваться

Paybeamахаха что ты делаешь, остановись!

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

Она хорошая, но медленная потому что dense.

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

--fit on по-умолчанию включен. Так что можете и его убрать ))

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

С ключом --no-mmap процесс памяти занимает меньше ОЗУ. В в производительности разницы не заметил. Как я понял llama-cpp пишет модель в vram, если она полностью вмещается, то отображать файл на память уже не надо. По поводу скорости загрузки - это только на этапе экспериментов важно, кроме того - llama-cpp по скорости загрузки несравнимо быстрее той же vLLM, если диск быстрый - никаких проблем.

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

V100 32GB SXM2 около 65к можно найти у китайцев.

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

А зачем? За такие деньги уже можно нормальный GPU взять. RTX PRO 5000 или, если надо именно много vram - доску nv-link и четыре V100 32Gb. Это 100% будет быстрее чем мак работать. В маке памяти много, но не настолько она быстрая.

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

Вы все правильно написали, в общем случае так и есть, но у меня тут свои причины именно так настроить. Во-первых VRAM не 24Гб а 22. Во вторых мне нужен vision модуль именно в vram потому что при офлоаде он начинает работать на cpu и это очень медленно в моем случае (CPU старый и медленный), а для меня в некоторых задачах нужно чтобы он быстро работал. IQ4_NL выбрал потому что он на 4Гб меньше, чем тот же UD-Q4_K_XL и дает больше места под kv-кэш, так что получается запустить на полном контексте.

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

Контекст сжимается, модель «забывает» что делала

Так может сделать контекст побольше? А то 32К контекст на агентских задачах, это не серьезно.

С полным контекстом на 2080 Ti 22Gb VRAM (65 t/s на пустом контексте):

llama-server.exe -hf unsloth/Qwen3.6-35B-A3B-GGUF:IQ4_NL --host 0.0.0.0 --port 54321 --jinja --parallel 1 --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 --ubatch-size 256 --batch-size 256 --mmproj-offload --no-mmap --reasoning-budget 8192 --reasoning-budget-message " Thinking token budget is over. Now I must give an answer."

С половинным контекстом на 4080 16 VRAM, отключен модуль vision (120 t/s):

llama-server.exe -hf unsloth/Qwen3.6-35B-A3B-GGUF:IQ4_NL  --host 0.0.0.0 --port 54321 --jinja --parallel 1 --flash-attn on --cache-type-k q4_0 --cache-type-v q4_0 --ubatch-size 512 --batch-size 512 --mmproj-offload --no-mmap --reasoning-budget 8192 --reasoning-budget-message " Thinking token budget is over. Now I must give an answer."

Тут трейдоф - это скорость заполнения - из-за маленького батча она ниже.

зы. Кстати по поводу vision - какой же он днищенский у Gemma и какой божественный у Qwen, тут даже сравнивать нечего.

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

Да, я тоже удивился таким результатам. Я уже несколько дней тестирую на кодинге - очень хорошо себя показывает.

Я сделал приложение за вечер без навыков программирования. Зачем теперь разработчики?

Лопата.

Я сделал приложение за вечер без навыков программирования. Зачем теперь разработчики?

Потому что это не шутка

Я сделал приложение за вечер без навыков программирования. Зачем теперь разработчики?

Чтобы такого не было надо локально запускать.

Как Gemma и LangGraph написали законопроект победившего биопанка

Текст получился плотным и логически связанным, но довольно зловещим...

Интересно было бы попробовать эту штуку на Obliterated моделях. Думаю, после их редакции, эта версия показалась бы няшной и кавайной )))

«Большой взрыв ИИ»: из-за искусственного интеллекта компании перегружены кодом

@SLY_G предлагаю сгенерировать следующую новость:

«Большой взрыв ИИ»: из-за искусственного интеллекта читатели Хабра перегружены сгенерированными новостями, которые никто не вычитывает

Как мы запустили 35B LLM на видеокарте за $500: внутри ZINC inference engine

Здравствуйте! Пара вопросов:
1. Есть ли поддержка vision для Qwen3.5?
2. Где вы нашли Radeon AI PRO R9700 за $500? Полез смотреть, везде цена раза в 3 больше.