Статья хорошая, мало кто делает на реальном железе прогоны, большинству правда проще поставить ollama с gui увидеть, что "не тянет". Думаю и имеет смысл выжимать по максимуму. Тут просто два конкретных сценария: комфортная работа и локальная модель, локальная модель отдаёт ответ по апи и агент выжимает все соки.
Если критична память, то Llama-3.2-1B-Instruct-Q4_K_M.gguf, если нет то Llama-3.2-1B-Instruct-Q8_0.gguf, не знаю насколько квантизация ухудшит драфтер Примерно так: ./llama-server \ -m Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \ -md Llama-3.2-1B-Instruct-Q8_0.gguf \ --spec-type draft-simple \ -c 8192 \ --flash-attn \ -ctk q8_0 \ -ctv q8_0 \ -ctkd q8_0 \ -ctvd q8_0 \ --spec-draft-n-max 4 \ -ngl auto \ -ngld auto
Если есть время то вот специализированная модель драфтер: yuhuili/EAGLE3-LLaMA3.1-Instruct-8B, которая создана именно для помощи оригиналу на llama.cpp
Для неё типо: ./llama-server -m Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf -md Llama-3.1-8B-EAGLE3.gguf –spec-type draft-eagle3 -c 8192 –flash-attn -ctk q8_0 -ctv q8_0 –spec-draft-n-max 4
На 8B нет гарантии ускорения от драфтера, можно попробовать использовать Llama-3.2-8B-Instruct-Q4_K_M.gguf, если цель экономить и больше загнать в KVкэш - можно попробовать vision слой отключить.
Во вторую версию бенчмарка стоит внести спекулятивный декодинг если задача состоит в том, чтобы измерить скорость генерации за заданное количество озу. Запускать на чистой llama.cpp с вынесением слоев в интегрированную насколько возможно. Запуск на чистой системе если возможно с отключением графики если вопрос сколько реально можно выдать из системы против вопроса для комфортной работы с параллельным запуском модели.
Нет слоя координации, автор предлагает вручную переключаться между двумя параллельными сессиями. Он по сути в статье описал как в интерфейсе claude подключать deepseek, но сессия claude не может управлять и отдавать задачи deepseek.
Нелогично: вацап после ютуба не пожароопасно, твич можно легко демонизировать (однобоко: рассадник содомии и толерастии), телеграм скорее всего прогнулся имхо (много правительственных каналов).
Сам viber и WhatsApp вряд ли, вот telegram и twitch может быть мешают, логика есть - мессенджеры и соц сети с большими каналами не попадают под удар если у них размещается реклама крупных компаний. Честно логику дат не очень понимаю, почему twitch после 23.02, WhatsApp 08.03, а telegram вообще не попадёт в запрет (предположительно) - там ркн канал ведёт (не просто так).
Деление сфер влияния - школьников и родителей отправили в "Сферум". Попытка замены YouTube на "ВК. Видео", Viber на "Сферум" и "ВК. Мессенджер", по логике следующий WhatsApp, вообще я ожидал скорее блокировку Twich, но скорее всего не так скоро (бренды неплохо закупают рекламу у стримеров), хотя кажется Twich проще будет объяснить запрет чем Viber, условно доставка очень дорогих и лёгких по весу психотропных товаров - вакансии есть и на hh.
Друг искал 4-5 месяцев, попал сразу без испытательного срока, он обладает минимальным знанием алгоритмов типо пузырьковой сортировки, запрос в бд без join, смог написать небольшой сайт-блог, у него не все плохо, я сравниваю со знакомыми и оцениваю его способности к критериям стека как образный джун (в вакансиях современный джун должен знать как мидл).
Понимаю, что инвестиция времени это хорошо, но жизнь слишком коротка, когда я выйду на пик по знаниям (что невозможно) и по зп (потолок я буду пытаться пробить), я буду завидовать ему - он сэкономил годы жизни, которые я потратил на понимание какой-то истины, но друг станет возможно счастлив раньше. В 20 я буду сравнивать себя со сверстниками и ближайшими друзьями (итог будет неутешительный, сравнивать людей тоже неправильно), хочется иметь результат (оценка по грейду или зп) раньше.
Здравствуйте. Мне скоро 20. Я в сфере отработал почти год, (учусь и работаю (полставки/полмрота)) мне попался упорный и настойчивый тимлид, чувствую, что росту как разработчик (боевой опыт не сравнить ни с чем), хотя программирую с 15 (в основном веб, хотя был анализ данных, десктоп под винду и криптоконтракты и архитектура). Есть близкий друг (чуть младше меня), который выучил минимальный стек реакта и решил что хорошая идея накрутить опыт, несколько месяцев поиск вакансии и он находит работу с зп в 20 больше чем у меня. И с одной стороны я росту как специалист, а с другой неприятно, через месяц он заработает, столько сколько я за год, работа за опыт это очень неоднозначная вещь (а может я просто завидую).
Статья хорошая, мало кто делает на реальном железе прогоны, большинству правда проще поставить ollama с gui увидеть, что "не тянет". Думаю и имеет смысл выжимать по максимуму. Тут просто два конкретных сценария: комфортная работа и локальная модель, локальная модель отдаёт ответ по апи и агент выжимает все соки.
Во вторую версию бенчмарка стоит внести спекулятивный декодинг если задача состоит в том, чтобы измерить скорость генерации за заданное количество озу. Запускать на чистой llama.cpp с вынесением слоев в интегрированную насколько возможно. Запуск на чистой системе если возможно с отключением графики если вопрос сколько реально можно выдать из системы против вопроса для комфортной работы с параллельным запуском модели.
Что он сделал?
Нет слоя координации, автор предлагает вручную переключаться между двумя параллельными сессиями. Он по сути в статье описал как в интерфейсе claude подключать deepseek, но сессия claude не может управлять и отдавать задачи deepseek.
Нелогично: вацап после ютуба не пожароопасно, твич можно легко демонизировать (однобоко: рассадник содомии и толерастии), телеграм скорее всего прогнулся имхо (много правительственных каналов).
Сам viber и WhatsApp вряд ли, вот telegram и twitch может быть мешают, логика есть - мессенджеры и соц сети с большими каналами не попадают под удар если у них размещается реклама крупных компаний. Честно логику дат не очень понимаю, почему twitch после 23.02, WhatsApp 08.03, а telegram вообще не попадёт в запрет (предположительно) - там ркн канал ведёт (не просто так).
Деление сфер влияния - школьников и родителей отправили в "Сферум". Попытка замены YouTube на "ВК. Видео", Viber на "Сферум" и "ВК. Мессенджер", по логике следующий WhatsApp, вообще я ожидал скорее блокировку Twich, но скорее всего не так скоро (бренды неплохо закупают рекламу у стримеров), хотя кажется Twich проще будет объяснить запрет чем Viber, условно доставка очень дорогих и лёгких по весу психотропных товаров - вакансии есть и на hh.
Друг искал 4-5 месяцев, попал сразу без испытательного срока, он обладает минимальным знанием алгоритмов типо пузырьковой сортировки, запрос в бд без join, смог написать небольшой сайт-блог, у него не все плохо, я сравниваю со знакомыми и оцениваю его способности к критериям стека как образный джун (в вакансиях современный джун должен знать как мидл).
Понимаю, что инвестиция времени это хорошо, но жизнь слишком коротка, когда я выйду на пик по знаниям (что невозможно) и по зп (потолок я буду пытаться пробить), я буду завидовать ему - он сэкономил годы жизни, которые я потратил на понимание какой-то истины, но друг станет возможно счастлив раньше. В 20 я буду сравнивать себя со сверстниками и ближайшими друзьями (итог будет неутешительный, сравнивать людей тоже неправильно), хочется иметь результат (оценка по грейду или зп) раньше.
Здравствуйте. Мне скоро 20. Я в сфере отработал почти год, (учусь и работаю (полставки/полмрота)) мне попался упорный и настойчивый тимлид, чувствую, что росту как разработчик (боевой опыт не сравнить ни с чем), хотя программирую с 15 (в основном веб, хотя был анализ данных, десктоп под винду и криптоконтракты и архитектура). Есть близкий друг (чуть младше меня), который выучил минимальный стек реакта и решил что хорошая идея накрутить опыт, несколько месяцев поиск вакансии и он находит работу с зп в 20 больше чем у меня. И с одной стороны я росту как специалист, а с другой неприятно, через месяц он заработает, столько сколько я за год, работа за опыт это очень неоднозначная вещь (а может я просто завидую).