С чего это будет не хуже? Локальные модели LLM, которые можно запустить на домашних ПК, сильно отстают от тех, которые хостятся на мощных серверах. Нужно минимум гигабайт 300 видеопамяти, чтобы хотя бы сравниться с уровнем DeepSeek.
На самом деле, да. Если первые прототипы из Boston Dynamics лет 20 назад были громоздкими, шумными и неуклюжими, то сейчас они реально творят чудеса. И всё это за счёт увеличения доступности компонентов и вычислительных мощностей. Сейчас легко на любом бюджетном одноплатнике запустить базовые модели. И они будут пусть и тупенькими, и медленными, но по сравнению даже с 2020 годом это невероятный прорыв.
А когда выложат в открытый доступ наборы моделей типа Qwen Robot Suite или хотя бы дадут больше информации о том, как использовать для этих целей обычные мультимодальные модели, проблема создания реально приспособленных к окружающей среде роботов упростится раз в 10)
Очень давно знаком с этой вселенной, и для меня было удивлением, когда я узнал, на чём там люди зарабатывали задолго до ИИ-бума. А с реалистичными моделями - респект, хороший получился бибизнес.
Кстати, купить и использовать сервак с локальными моделями не думали? Сейчас вроде как qwen 3.6 прямо очень неплохие результаты показывает. Сам использую в некоторых локальных проектах.
Я вам искренне советую не вкладываться в устаревшее железо. Не исключена вероятность, что в ходе бурного развития технологий ускорения инференса выстрелит какая-нибудь хрень (типа MTP, которая в 2024 году была реализована, а сейчас очень популярна), а у вас не будет аппаратной поддержки.
Это первое, но не главное. Бытовые игровые видеокарты на более современной архитектуре или неттопы с общей быстрой памятью в разы лучше всякого неликвидного хлама типа этих GPU (никого не хочу обидеть, но это факт, 10+ лет железо годится больше для любительских экспериментов).
Наверное, на перспективу расширения, но я тоже не понимаю эту хрень, у меня закрытый корпус, в котором помещаются 4 огромные видеокарты (для EATX, правда, с райзерами) и два БП.
Если речь о РФ, то в любом случае не так много, электричество тут довольно дешёвое. Плюс в простое реально невысокое потребление. У меня адская махина-обогреватель из 4 GPU уровня 4070/4080 с мощным процессором и двумя БП, но в простое бывает меньше 200 ватт, на удивление.
Да лучше Qwen 3.6 27b, в принципе, ничего нет. Даже учитывая её размер. Она умеет агентный инференс. Правда, все cli и прочее сейчас так себе, мне лично понравилось Qwen Code. Меньше глючит и впадает в бесконечные циклы. Для загрузки модели можно использовать LMStudio, стабильно работает (может, помедленнее, вем llamacpp, конечно).
Учитывая появление поддержки MTP, скорости инференса уже далеко не такие низкие.
"PCIe-передача между GPU", как вы выразились, на инференс практически не влияет (разве что на скорость загрузки модели). Для обучения это важно, но это не ваш случай:D
Судя по всему, только стоимость вы изучали. Какой Tesla Optimus? Это не тот ли, который на презентациях управлялся людьми, а по факту является оверпрайснутой распиаренной хренью? По поводу "ловкости" и качества изготовления его хорошо написали на Реддите в одной из тем: такое ощущение, что у Tesla Optimus испачкались цифровые штаны, иначе непонятно, почему он так двигается.
Это первое. Второе - по поводу элитности, недоступности и запредельной цены на приводы - это тоже, по большей части, высосанный из пальца маркетинговый бред. Я сейчас активно изучаю аниматронику (разрабатываю голову человекоподобного робота), изучил очень много сервоприводов, и как для целей тончайшей мимики, выполненной на очень хорошем уровне, так и для пальцев, запястий и прочих небольших суставов могут использоваться сервоприводы буквально за 25-50 долларов. Да, это будет чуть менее долговечно, чуть более шумно, но мы живём не в пятидесятые годы двадцатого века, и даже они обеспечивают отличное качество. То, что вы пишете про волновые редукторы и так далее - это по степени необходимости относится только к части приводов, и то не к самой большой.
Просто северные мат платы для проф.задач AI(обучения, к примеру) - это такое же дерьмо, в нормальных решениях используются специальные коммутаторы Broadcom, которые позволяют обойти разные ограничения.
А зачем вам скорость PCIe для инференса? Она влияет только на время загрузки модели в видеопамять, а дальше вообще почти пофиг, в каком там режиме работает видеокарта. Для обучения это критически важно, для генерации нет.
Тоже LLM-печку на игровой материнке собирал (знаю, выглядит ужасно, и так нельзя). Пришлось найти огромный корпус на EATX и два БП (увы, приколхозил стяжками). В итоге, получилось 72 Гб VRAM и 128 RAM. Поскромнее, чем у вас, но очень хорошая для моих задач конфигурация)
Но видяхи 4080, две 4070 ti super, ещё была 7900 xtx, но я отказался от её использования, так как пришлось работать через вулкан.
Непонятно, зачем ветки с бесконечно сжимаемым контекстном хранить. Каждое сжатие контекста - это шаг в сторону регресса. После нескольких итераций решение задач в той же ветке становится практически бессмысленным.
Автор, ты просто закинул в ИИ промт с просьбой написать статью и скопипастил результат? Ты вообще хотя бы раз запускал LLM локально? Во-первых, методы и параметры оборудования максимально отличаются от реально используемых. Какие ещё VPS, какой ARM, что за набор бреда?
Прочитай про аренду GPU, про квантованные модели, которые чаще всего запускают на бытовых видеокартах или арендованных мощностях.
Нейронка будет парсить огромный кусок текста, а если он будет разбит на модули, его банально будет проще править. На мой взгляд. По крайней мере, я сравнивал оба подхода, и пришёл к выводу, что всё в один файл пихать не особо эффективно.
С чего это будет не хуже? Локальные модели LLM, которые можно запустить на домашних ПК, сильно отстают от тех, которые хостятся на мощных серверах. Нужно минимум гигабайт 300 видеопамяти, чтобы хотя бы сравниться с уровнем DeepSeek.
На самом деле, да. Если первые прототипы из Boston Dynamics лет 20 назад были громоздкими, шумными и неуклюжими, то сейчас они реально творят чудеса. И всё это за счёт увеличения доступности компонентов и вычислительных мощностей. Сейчас легко на любом бюджетном одноплатнике запустить базовые модели. И они будут пусть и тупенькими, и медленными, но по сравнению даже с 2020 годом это невероятный прорыв.
А когда выложат в открытый доступ наборы моделей типа Qwen Robot Suite или хотя бы дадут больше информации о том, как использовать для этих целей обычные мультимодальные модели, проблема создания реально приспособленных к окружающей среде роботов упростится раз в 10)
Очень давно знаком с этой вселенной, и для меня было удивлением, когда я узнал, на чём там люди зарабатывали задолго до ИИ-бума. А с реалистичными моделями - респект, хороший получился бибизнес.
Кстати, купить и использовать сервак с локальными моделями не думали? Сейчас вроде как qwen 3.6 прямо очень неплохие результаты показывает. Сам использую в некоторых локальных проектах.
Хрен вы прокинете GPU в виртуалку поверх винды, я думаю. Ничто не мешает всё то же самое сделать прямо в винде)
Я вам искренне советую не вкладываться в устаревшее железо. Не исключена вероятность, что в ходе бурного развития технологий ускорения инференса выстрелит какая-нибудь хрень (типа MTP, которая в 2024 году была реализована, а сейчас очень популярна), а у вас не будет аппаратной поддержки.
Это первое, но не главное. Бытовые игровые видеокарты на более современной архитектуре или неттопы с общей быстрой памятью в разы лучше всякого неликвидного хлама типа этих GPU (никого не хочу обидеть, но это факт, 10+ лет железо годится больше для любительских экспериментов).
Наверное, на перспективу расширения, но я тоже не понимаю эту хрень, у меня закрытый корпус, в котором помещаются 4 огромные видеокарты (для EATX, правда, с райзерами) и два БП.
Если речь о РФ, то в любом случае не так много, электричество тут довольно дешёвое. Плюс в простое реально невысокое потребление. У меня адская махина-обогреватель из 4 GPU уровня 4070/4080 с мощным процессором и двумя БП, но в простое бывает меньше 200 ватт, на удивление.
Да лучше Qwen 3.6 27b, в принципе, ничего нет. Даже учитывая её размер. Она умеет агентный инференс. Правда, все cli и прочее сейчас так себе, мне лично понравилось Qwen Code. Меньше глючит и впадает в бесконечные циклы. Для загрузки модели можно использовать LMStudio, стабильно работает (может, помедленнее, вем llamacpp, конечно).
Учитывая появление поддержки MTP, скорости инференса уже далеко не такие низкие.
"PCIe-передача между GPU", как вы выразились, на инференс практически не влияет (разве что на скорость загрузки модели). Для обучения это важно, но это не ваш случай:D
Судя по всему, только стоимость вы изучали. Какой Tesla Optimus? Это не тот ли, который на презентациях управлялся людьми, а по факту является оверпрайснутой распиаренной хренью? По поводу "ловкости" и качества изготовления его хорошо написали на Реддите в одной из тем: такое ощущение, что у Tesla Optimus испачкались цифровые штаны, иначе непонятно, почему он так двигается.
Это первое. Второе - по поводу элитности, недоступности и запредельной цены на приводы - это тоже, по большей части, высосанный из пальца маркетинговый бред. Я сейчас активно изучаю аниматронику (разрабатываю голову человекоподобного робота), изучил очень много сервоприводов, и как для целей тончайшей мимики, выполненной на очень хорошем уровне, так и для пальцев, запястий и прочих небольших суставов могут использоваться сервоприводы буквально за 25-50 долларов. Да, это будет чуть менее долговечно, чуть более шумно, но мы живём не в пятидесятые годы двадцатого века, и даже они обеспечивают отличное качество. То, что вы пишете про волновые редукторы и так далее - это по степени необходимости относится только к части приводов, и то не к самой большой.
Какая отборная чушь) Вы даже не понимаете, что такое наблюдение в контексте квантовой физики.
Просто северные мат платы для проф.задач AI(обучения, к примеру) - это такое же дерьмо, в нормальных решениях используются специальные коммутаторы Broadcom, которые позволяют обойти разные ограничения.
А зачем вам скорость PCIe для инференса? Она влияет только на время загрузки модели в видеопамять, а дальше вообще почти пофиг, в каком там режиме работает видеокарта. Для обучения это критически важно, для генерации нет.
Но видяхи 4080, две 4070 ti super, ещё была 7900 xtx, но я отказался от её использования, так как пришлось работать через вулкан.
Я тоже думал, но он вроде как давно перестал и занимается другими вещами
Они уже превосходно кодят, просто нужно купить подписку долларов примерно за 100-200. А бесплатные да, не умеют особо.
Непонятно, зачем ветки с бесконечно сжимаемым контекстном хранить. Каждое сжатие контекста - это шаг в сторону регресса. После нескольких итераций решение задач в той же ветке становится практически бессмысленным.
Автор, ты просто закинул в ИИ промт с просьбой написать статью и скопипастил результат? Ты вообще хотя бы раз запускал LLM локально? Во-первых, методы и параметры оборудования максимально отличаются от реально используемых. Какие ещё VPS, какой ARM, что за набор бреда?
Прочитай про аренду GPU, про квантованные модели, которые чаще всего запускают на бытовых видеокартах или арендованных мощностях.
За такое надо банить, я считаю.
dense
Нейронка будет парсить огромный кусок текста, а если он будет разбит на модули, его банально будет проще править. На мой взгляд. По крайней мере, я сравнивал оба подхода, и пришёл к выводу, что всё в один файл пихать не особо эффективно.