Поделитесь пожалуйста подробностями рабочего процесса - модели, харнесы, как выглядит типичный путь разработки, мне интересно в основном не что сделано, а как сделано.
Все не так- если нет от хоста данных - выведутся прочерки. Это уже предусмотрено в прошивке. Но это в том случае если на юсб есть питание, если совсем хочется - можно и внутреннюю батарею прицепить будет как на упс висеть монитор. Пропало электричество на сервере- прочерки.
Можно. В прошивке надо включить вай-фай, прописать сеть. Микромонитор получит свой адрес в сети. Далее на каждом устройстве или на шлюзе умного дома сформировать сообщение для монитора. А монитор будет принимать сообщения и выводить их на экран. У меня пока есть такое в планах. Пока не могу сказать, когда дойдут руки до этого. Выглядит примерно так на экране:
Нормально квен работал, но мне терпения не хватало, когда я уходил на час квен - делал все что надо. Когда хотел быстрее - Дипсик крутил, разница существенная - Дипсик по 200 токенов в секунду пулеметил, да и ценник приемлемый. Надо железо для инференса другое - можно все и на локальной модели делать. Я уже морально готов к тому что, облака внезапно могут отвалиться, так я тогда и на локальной модели доеду до работающей прошивки. В ембед уже все задачи можно локальными моделями решить.
У меня стоит в планах - взять что-то из нового мое-квена локального и вырезать оттуда экспертов которые не относятся к программированию, останутся веса только по программированию. вот из таких весов на 75 гб https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF - должно что-то легковесное выйти гигов на 25.
Mashinist x99 d4, но лучше смотрите в сторону серверных плат где не задушены линии на видеокарты, скрин есть в коментах выше, V100 поприятнее будет- работает в целом в 1.5-2 раза быстрее на генерации. Я рассматриваю уже пару 2 v100 по 32 гб - это будет уже вполне живая машина для квен 3.8-некст.
Гонял одну и ту же модель https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF на своем стенде и на одной V100 16гб - настройки практически одинаковые, за исключением kv 4 бит и 8 бит квант на моем стенде - разница в генерации моделью ответов 22 т\с против 32 т\с.
На агентской работе с файлами на компьютере на типичной задаче, к примеру, распаковать 5 файлов с журналами месячных отчетов с дипсика по использованию токенов - слить их в один вывести эксельку, с разбивкой ко ключам и деньгам в один выходной файл выходило за 3 минуты 20 сек, против 3 минуты 30 сек - разница несущественна.
Практика показывает - важна модель и ее тонкая настройка. Да, модель рекомендую, переехал на нее полностью, очень качественно квантована, 3 бита, а чувствуется 8 битным квантом.
Это серверный зион - он холодный, этого кулера с лихвой-он 165 ватт тепла на мосфетах даже охлаждает. Прежде чем ставить, теплопакет на зион TDP 120W уточнял.
Не видел достойных вариантов, потом там с доп питанием есть головняк, версии разные существуют, да и на рынке их мало. в100 16 гб покупал зимой на попробовать, тогда эта тема с локальными моделями была не очень популярна, да и модели под такой объем были туповаты.
Вот точное наблюдение. Я скажу про дипсик еще - я пользуюсь с 1 мая этого года, так вот первые пару месяцев это было быстро, качественно, дешево. Сейчас качество не стабильное. Моя оценка - нагрузка дипсика сильно выросла, и сейчас хорошее качество идет только по ночам с 21 до 2 по МСК. Днем с 8 утра - и качество упало и ценник вырос. И я стараюсь днем работать на локальных моделях.
Ваша статья, видимо, интересна 1 читателю Хабра из 1000, и специалисты ее оценят, не волнуйтесь, интернет отиндексирует и все запомнит. А по моей статье, наверное, каждый десятый примеряет к себе - а не собрать ли себе такой сервак домой. Не дорого же, а еще у людей много десктопов пылится без дела, а тут такой вариант заиметь личного Джарвиса на полку.
Гермес ходит в интернет если надо с этими моделями, просто даю ссылку и говорю что надо сделать, а локальная модель потом пыхтит, но по скорости да, если опять с пресловутым дипсиком 4 флеш сравнить- втрое больше времени тратит.
Поделитесь пожалуйста подробностями рабочего процесса - модели, харнесы, как выглядит типичный путь разработки, мне интересно в основном не что сделано, а как сделано.
Дополнительно e-ink монитор добавил к этому серверу: https://habr.com/ru/articles/1085984/
Все не так- если нет от хоста данных - выведутся прочерки. Это уже предусмотрено в прошивке. Но это в том случае если на юсб есть питание, если совсем хочется - можно и внутреннюю батарею прицепить будет как на упс висеть монитор. Пропало электричество на сервере- прочерки.
Можно. В прошивке надо включить вай-фай, прописать сеть. Микромонитор получит свой адрес в сети. Далее на каждом устройстве или на шлюзе умного дома сформировать сообщение для монитора. А монитор будет принимать сообщения и выводить их на экран. У меня пока есть такое в планах. Пока не могу сказать, когда дойдут руки до этого. Выглядит примерно так на экране:
Можете сделать форк и там внести свои изменения.
Нормально квен работал, но мне терпения не хватало, когда я уходил на час квен - делал все что надо. Когда хотел быстрее - Дипсик крутил, разница существенная - Дипсик по 200 токенов в секунду пулеметил, да и ценник приемлемый. Надо железо для инференса другое - можно все и на локальной модели делать. Я уже морально готов к тому что, облака внезапно могут отвалиться, так я тогда и на локальной модели доеду до работающей прошивки. В ембед уже все задачи можно локальными моделями решить.
У меня стоит в планах - взять что-то из нового мое-квена локального и вырезать оттуда экспертов которые не относятся к программированию, останутся веса только по программированию. вот из таких весов на 75 гб https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF - должно что-то легковесное выйти гигов на 25.
Mashinist x99 d4, но лучше смотрите в сторону серверных плат где не задушены линии на видеокарты, скрин есть в коментах выше, V100 поприятнее будет- работает в целом в 1.5-2 раза быстрее на генерации. Я рассматриваю уже пару 2 v100 по 32 гб - это будет уже вполне живая машина для квен 3.8-некст.
Гонял одну и ту же модель https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF на своем стенде и на одной V100 16гб - настройки практически одинаковые, за исключением kv 4 бит и 8 бит квант на моем стенде - разница в генерации моделью ответов 22 т\с против 32 т\с.
На агентской работе с файлами на компьютере на типичной задаче, к примеру, распаковать 5 файлов с журналами месячных отчетов с дипсика по использованию токенов - слить их в один вывести эксельку, с разбивкой ко ключам и деньгам в один выходной файл выходило за 3 минуты 20 сек, против 3 минуты 30 сек - разница несущественна.
Практика показывает - важна модель и ее тонкая настройка. Да, модель рекомендую, переехал на нее полностью, очень качественно квантована, 3 бита, а чувствуется 8 битным квантом.
Это серверный зион - он холодный, этого кулера с лихвой-он 165 ватт тепла на мосфетах даже охлаждает. Прежде чем ставить, теплопакет на зион TDP 120W уточнял.
Хорошая модульность помогает нейросетям также как и людям. Спорить не буду, но я бы такой код в прод не выпустил.
Опус навалил все в один монолит compiler.cpp (80 тыс. строк) ?
А где в этом списке Макс?
Не видел достойных вариантов, потом там с доп питанием есть головняк, версии разные существуют, да и на рынке их мало. в100 16 гб покупал зимой на попробовать, тогда эта тема с локальными моделями была не очень популярна, да и модели под такой объем были туповаты.
Вот точное наблюдение. Я скажу про дипсик еще - я пользуюсь с 1 мая этого года, так вот первые пару месяцев это было быстро, качественно, дешево. Сейчас качество не стабильное. Моя оценка - нагрузка дипсика сильно выросла, и сейчас хорошее качество идет только по ночам с 21 до 2 по МСК. Днем с 8 утра - и качество упало и ценник вырос. И я стараюсь днем работать на локальных моделях.
Принято.
Ваша статья, видимо, интересна 1 читателю Хабра из 1000, и специалисты ее оценят, не волнуйтесь, интернет отиндексирует и все запомнит. А по моей статье, наверное, каждый десятый примеряет к себе - а не собрать ли себе такой сервак домой. Не дорого же, а еще у людей много десктопов пылится без дела, а тут такой вариант заиметь личного Джарвиса на полку.
Грабли.
Гермес ходит в интернет если надо с этими моделями, просто даю ссылку и говорю что надо сделать, а локальная модель потом пыхтит, но по скорости да, если опять с пресловутым дипсиком 4 флеш сравнить- втрое больше времени тратит.
Расскажите, как это построить?
Есть понятие - достаточное решение. Никто не возит на карьерном самосвале пиццу клиентам, к примеру. Если задача выполняется - зачем платить больше?