Ликбез понятен, а что с самодельными системами FOC? А то есть огромное число драйверов, а как начинаешь что-то толковое искать кроме VESC ничего и нет. Да и то там не все хорошо.
Понятно, можно в прошивку монитора вшить - не стирать статус перед тем как сервер упал, пусть будут видны последние прилетевшие показания, но на верх экрана - вывести надпись типа: "SERVER DIED"
Ваш проект натолкнул меня свой монитор https://habr.com/ru/articles/1085984/ - адаптировать под веломотонавигатор - можно коллаборироваться. Моя донорская железка уже законченный вариант готового устройства - и от батареи работает 6 часов. Великолепно видна на солнце, мало жрет и имеет BLE и громкий динамик для голосовых подсказок. Недостаток один - не подходит для ночных покатушек, хотя можно светодиод сверху для освещения прилепить.
Лично мне достаточно Гермеса с разными моделями, если бы я начинал с чистого компьютера - сначала ставлю его, потом подключаю разные модели, мне бесплатных перестало хватать через месяц агентской работы, это да за деньги. Но в последнее время я перешел на локальные модели, квен некст 38 - очень хорош. А там агент уже сам тянет все что надо с интернета или ему можно дать доступ на диск с дистибутивами, а далее он сам уже все доставит и спросит чего не хватает.
Понятно, я с этого начинал. Сейчас рабочая точка входа в любой проект - просто любой агент, а дальше оно само, от меня только правильно задавать вопросы и смотреть что мне придет в ответ.
Поделитесь пожалуйста подробностями рабочего процесса - модели, харнесы, как выглядит типичный путь разработки, мне интересно в основном не что сделано, а как сделано.
Все не так- если нет от хоста данных - выведутся прочерки. Это уже предусмотрено в прошивке. Но это в том случае если на юсб есть питание, если совсем хочется - можно и внутреннюю батарею прицепить будет как на упс висеть монитор. Пропало электричество на сервере- прочерки.
Можно. В прошивке надо включить вай-фай, прописать сеть. Микромонитор получит свой адрес в сети. Далее на каждом устройстве или на шлюзе умного дома сформировать сообщение для монитора. А монитор будет принимать сообщения и выводить их на экран. У меня пока есть такое в планах. Пока не могу сказать, когда дойдут руки до этого. Выглядит примерно так на экране:
Нормально квен работал, но мне терпения не хватало, когда я уходил на час квен - делал все что надо. Когда хотел быстрее - Дипсик крутил, разница существенная - Дипсик по 200 токенов в секунду пулеметил, да и ценник приемлемый. Надо железо для инференса другое - можно все и на локальной модели делать. Я уже морально готов к тому что, облака внезапно могут отвалиться, так я тогда и на локальной модели доеду до работающей прошивки. В ембед уже все задачи можно локальными моделями решить.
У меня стоит в планах - взять что-то из нового мое-квена локального и вырезать оттуда экспертов которые не относятся к программированию, останутся веса только по программированию. вот из таких весов на 75 гб https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF - должно что-то легковесное выйти гигов на 25.
Mashinist x99 d4, но лучше смотрите в сторону серверных плат где не задушены линии на видеокарты, скрин есть в коментах выше, V100 поприятнее будет- работает в целом в 1.5-2 раза быстрее на генерации. Я рассматриваю уже пару 2 v100 по 32 гб - это будет уже вполне живая машина для квен 3.8-некст.
Гонял одну и ту же модель https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF на своем стенде и на одной V100 16гб - настройки практически одинаковые, за исключением kv 4 бит и 8 бит квант на моем стенде - разница в генерации моделью ответов 22 т\с против 32 т\с.
На агентской работе с файлами на компьютере на типичной задаче, к примеру, распаковать 5 файлов с журналами месячных отчетов с дипсика по использованию токенов - слить их в один вывести эксельку, с разбивкой ко ключам и деньгам в один выходной файл выходило за 3 минуты 20 сек, против 3 минуты 30 сек - разница несущественна.
Практика показывает - важна модель и ее тонкая настройка. Да, модель рекомендую, переехал на нее полностью, очень качественно квантована, 3 бита, а чувствуется 8 битным квантом.
Это серверный зион - он холодный, этого кулера с лихвой-он 165 ватт тепла на мосфетах даже охлаждает. Прежде чем ставить, теплопакет на зион TDP 120W уточнял.
Не видел достойных вариантов, потом там с доп питанием есть головняк, версии разные существуют, да и на рынке их мало. в100 16 гб покупал зимой на попробовать, тогда эта тема с локальными моделями была не очень популярна, да и модели под такой объем были туповаты.
Вот точное наблюдение. Я скажу про дипсик еще - я пользуюсь с 1 мая этого года, так вот первые пару месяцев это было быстро, качественно, дешево. Сейчас качество не стабильное. Моя оценка - нагрузка дипсика сильно выросла, и сейчас хорошее качество идет только по ночам с 21 до 2 по МСК. Днем с 8 утра - и качество упало и ценник вырос. И я стараюсь днем работать на локальных моделях.
Ликбез понятен, а что с самодельными системами FOC? А то есть огромное число драйверов, а как начинаешь что-то толковое искать кроме VESC ничего и нет. Да и то там не все хорошо.
Вот на Страта и квен3.8 делается интерактивный аквариум за 2 часа 128кб хтмл, промпт брал здесь: https://github.com/chillqoder/Step-5/blob/main/aqua/aquarium_prompt.md
Понятно, можно в прошивку монитора вшить - не стирать статус перед тем как сервер упал, пусть будут видны последние прилетевшие показания, но на верх экрана - вывести надпись типа: "SERVER DIED"
Ваш проект натолкнул меня свой монитор https://habr.com/ru/articles/1085984/ - адаптировать под веломотонавигатор - можно коллаборироваться. Моя донорская железка уже законченный вариант готового устройства - и от батареи работает 6 часов. Великолепно видна на солнце, мало жрет и имеет BLE и громкий динамик для голосовых подсказок. Недостаток один - не подходит для ночных покатушек, хотя можно светодиод сверху для освещения прилепить.
Лично мне достаточно Гермеса с разными моделями, если бы я начинал с чистого компьютера - сначала ставлю его, потом подключаю разные модели, мне бесплатных перестало хватать через месяц агентской работы, это да за деньги. Но в последнее время я перешел на локальные модели, квен некст 38 - очень хорош. А там агент уже сам тянет все что надо с интернета или ему можно дать доступ на диск с дистибутивами, а далее он сам уже все доставит и спросит чего не хватает.
Понятно, я с этого начинал. Сейчас рабочая точка входа в любой проект - просто любой агент, а дальше оно само, от меня только правильно задавать вопросы и смотреть что мне придет в ответ.
Поделитесь пожалуйста подробностями рабочего процесса - модели, харнесы, как выглядит типичный путь разработки, мне интересно в основном не что сделано, а как сделано.
Дополнительно e-ink монитор добавил к этому серверу: https://habr.com/ru/articles/1085984/
Все не так- если нет от хоста данных - выведутся прочерки. Это уже предусмотрено в прошивке. Но это в том случае если на юсб есть питание, если совсем хочется - можно и внутреннюю батарею прицепить будет как на упс висеть монитор. Пропало электричество на сервере- прочерки.
Можно. В прошивке надо включить вай-фай, прописать сеть. Микромонитор получит свой адрес в сети. Далее на каждом устройстве или на шлюзе умного дома сформировать сообщение для монитора. А монитор будет принимать сообщения и выводить их на экран. У меня пока есть такое в планах. Пока не могу сказать, когда дойдут руки до этого. Выглядит примерно так на экране:
Можете сделать форк и там внести свои изменения.
Нормально квен работал, но мне терпения не хватало, когда я уходил на час квен - делал все что надо. Когда хотел быстрее - Дипсик крутил, разница существенная - Дипсик по 200 токенов в секунду пулеметил, да и ценник приемлемый. Надо железо для инференса другое - можно все и на локальной модели делать. Я уже морально готов к тому что, облака внезапно могут отвалиться, так я тогда и на локальной модели доеду до работающей прошивки. В ембед уже все задачи можно локальными моделями решить.
У меня стоит в планах - взять что-то из нового мое-квена локального и вырезать оттуда экспертов которые не относятся к программированию, останутся веса только по программированию. вот из таких весов на 75 гб https://huggingface.co/ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF - должно что-то легковесное выйти гигов на 25.
Mashinist x99 d4, но лучше смотрите в сторону серверных плат где не задушены линии на видеокарты, скрин есть в коментах выше, V100 поприятнее будет- работает в целом в 1.5-2 раза быстрее на генерации. Я рассматриваю уже пару 2 v100 по 32 гб - это будет уже вполне живая машина для квен 3.8-некст.
Гонял одну и ту же модель https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF на своем стенде и на одной V100 16гб - настройки практически одинаковые, за исключением kv 4 бит и 8 бит квант на моем стенде - разница в генерации моделью ответов 22 т\с против 32 т\с.
На агентской работе с файлами на компьютере на типичной задаче, к примеру, распаковать 5 файлов с журналами месячных отчетов с дипсика по использованию токенов - слить их в один вывести эксельку, с разбивкой ко ключам и деньгам в один выходной файл выходило за 3 минуты 20 сек, против 3 минуты 30 сек - разница несущественна.
Практика показывает - важна модель и ее тонкая настройка. Да, модель рекомендую, переехал на нее полностью, очень качественно квантована, 3 бита, а чувствуется 8 битным квантом.
Это серверный зион - он холодный, этого кулера с лихвой-он 165 ватт тепла на мосфетах даже охлаждает. Прежде чем ставить, теплопакет на зион TDP 120W уточнял.
Хорошая модульность помогает нейросетям также как и людям. Спорить не буду, но я бы такой код в прод не выпустил.
Опус навалил все в один монолит compiler.cpp (80 тыс. строк) ?
А где в этом списке Макс?
Не видел достойных вариантов, потом там с доп питанием есть головняк, версии разные существуют, да и на рынке их мало. в100 16 гб покупал зимой на попробовать, тогда эта тема с локальными моделями была не очень популярна, да и модели под такой объем были туповаты.
Вот точное наблюдение. Я скажу про дипсик еще - я пользуюсь с 1 мая этого года, так вот первые пару месяцев это было быстро, качественно, дешево. Сейчас качество не стабильное. Моя оценка - нагрузка дипсика сильно выросла, и сейчас хорошее качество идет только по ночам с 21 до 2 по МСК. Днем с 8 утра - и качество упало и ценник вырос. И я стараюсь днем работать на локальных моделях.