Есть же проверенные ступеньки локального ии. Самый дешёвый вариант это 1) 3070м 16гб (500гб/с). Суете в систему, сколько сможете, цена 20-25тр. Очень экономичные. 2) 3090 24гб (1000 гб/с), по скорости в 2 раза быстрее и есть nvlink (для инференса не нужен). 3) 5090 32гб (1600 гб/с) суперскорость. 4) 4090 48гб (1100гб/с) и скорость высокая и памяти вагон. Если планируется ставить 3+ видеокарты, то это однозначно тредрипер или зеон. Всякие в100 и прочие амд это мусор, не тратьте деньги и время. Эпл и амд 395 тоже мимо, сильно медленно и дорого. Можете на придумывать себе другие варианты, но все они будут или дороже или медленнее.
Потому, что карту сварки готовит главный сварщик. Там и металловедение и сопромат и ещё пачка прикладных наук. Многие из них ктн. А если надо сварить допустим реактор из хитрой нержавейки и не испортить материал, то и опыт сварной работы сложных материалов и деталей тоже нужен под 10 лет. Таких сварщиков около 1% из общей массы. 50% сварщиков имеют начальный уровень и кроме забора ни чего варить не могут. Половина сварщиков с накс получили его с натяжкой. Крутых сварщиков, готовых варить в отдаленных местах тоже не много. Вобщем топы получают как и любые другие топы профессий типа хирургов, сеньеров и прочих узких специалистов. В РФ это 1 млн+ в мес.
Я не видел железо, которые не поддерживают в6 уже лет 10. Все железо у провацдеров давным давно в6 рэди. Скорее не хватает компетенции у админов. У меня в мск на районе есть все крупные провайдеры и никто не даёт в6! Это просто позор. Приходиться городить туннель в НЕ. Есть один плюс от этого, ютуб работает без тормозов.
Я думал задачи распознавания номеров, людей и прочих предметов полностью решена лет 20 назад. Без спец процессоров на обычных цпу тех лет. Ещё в универе в начале 200х особых проблем не было. Все современные ip камеры имеют ии движок на борту и не сильная проблема достать на него sdk. Большую часть задач они переварят на борту. Это камеры буквально за пару тысяч рублей. По вашим конфигам вы не серверы собирали, а плохие игровые компы. Уровень сборок школьников.
Натравливал на свой роутер и впс локальные qwen 3.6 27b и 35b черезгермес. Вполне справился, все конфиги прошерстил, предложил исправления и поправил. Немотроны с опкнроутера были не лучше, но ощутимо медленнее. Опус 4.8 через клод код не был качественно лучше, но сожрал токенов в разы больше остальных. Фэйбл 5 отказался. Гемини 4 12б ничего не смог.
Если к этому мини пк докинуть любую видеокарту, из недорогих в идеале 3070м 16гб (500 гб/с память) через м2 псие 4х4, то скорость увеличиться вдвое. Потребление всего 110 вт в прыжке, очень холодные.
Выбор платформы и сборка вызывает много вопросов. Вот смотрю авито, мать + тредрипер 3960х стоит 90к. 4х канальная память даст псп как у топовой ддр5. Можно удобно вставить все ваши 3090 и обьеденить через нвлинк. А ещё есть всякие плюшки на подобие 10гб сети. Больших б/у корпусов навалом за дёшево. А при нормальной компоновке можно и общий контур водянки собрать.
Я навайбкодил ранее более продвинутую версию. Использую для отладки устройств по обработке gps сигналов. Когда надо использовать периодически отправку сообщений. Это не последняя версия. В новой ещё можно hex отправлять. https://melodictsk.github.io/web-serial/web-serial.html
3070м на 16гб стоит примерно 25к. Память под 500 гб/с, тдп 105 вт. Ноль нагрева, че ещё надо? Зачем эти заморочки с в100 на 16 гб? Так на ней ещё и играть можно. Использую такую в паре с 3090, ноль проблем. 40гб врам. В ллм чистая скорость у 3070м половина от 3090.
Именно поэтому добавление параллельных потоков в ллм почти не просаживает скорость. Можно на той же видюхе запустить параллельно несколько рассуждений и кратно увеличить суммарную скорость по токенам. Пока в кэш влазит.
Что угодно лучше чем гугл карты даже не в РФ. Пользовался активно в Грузии, Турции на авто. В Египте пешком. Это просто ужас, ошибок масса, интерфейс с графикой отстал лет на 10. Гугл карты не сложно победить. Но наши яндекс и 2гис это реальный мировой топ.
Там где заканчиваются псп райзен аи, только начинается псп у видеокарт. Кстати, не помешал бы бенчмарк этих нпу и сравнение по скорости на ватт в сравнении с гпу. Если экономично, то можно переложить мелкие фоновые нейронки на него или одного из агентов.
А можно с таких планок переставить чипы на обычные не регистровые? Учитывая, что бу северные планки стоят значительно дешевле обычных. Или там и чипы другие?
Зачем мак я так и не понял. Если он есть, то ок. Но специально покупать это борщ. 3090 вне конкуренции, мало одной, ставь 2,3,4. Нет денег, ставь 3070м 16гб. Ничего выгоднее не найти, около 25тр за шт. Себе в домашний комп засунул к 3090 как раз 3070м, квин 3.6 35b летает. И кстати он вообще не плох. Зачем использовать 4бит квантование, тоже ума не приложу, это только для гиганских моделей. Ниже 6бит это уже ощутимо хуже, особенно на всяких 30б и ниже.
Вчера весь день гонял 4,6 и 4,7. Вообще не заметил улучшений, но точно заметил, что токенов жрёт раза в 2 больше. Рассуждения многократно увеличились, просто из пустого в поржнее. По итогу простые проблемы так и не решила, руками переделал за 5 мин. Текстовый промт был по итогу длиннее кода. Но я хотел, что бы это сделала именно ии, но по итогу кончились лимиты на подписке и ещё и все деньги на апи сожрала. Вобщем 4.7 не рекомендую.
Я просто в бешенстве. В Москве с ipv6 дома похоже вообще не судьба. Ростелеком - нет, МГТС - нет, билайн - нет. Нашёлся нормальный шлюз в НЕ, завязал на него свои сервера и домашнюю сеть, все настроил и на тебе новость. Что за ерунда то? Что есть ещё из бесплатного для организации ipv6?
Несколько дней мучаю локально на 3090 ace step. Взрыв мозга, работает отлично. И самое главное быстро. Буквально пол минуты и пара треков готова. Так круто переделывать старые треки под новые стили. Кажется, что получше suno. Но eleven labs все же получше будет качество.
Есть же проверенные ступеньки локального ии. Самый дешёвый вариант это 1) 3070м 16гб (500гб/с). Суете в систему, сколько сможете, цена 20-25тр. Очень экономичные. 2) 3090 24гб (1000 гб/с), по скорости в 2 раза быстрее и есть nvlink (для инференса не нужен). 3) 5090 32гб (1600 гб/с) суперскорость. 4) 4090 48гб (1100гб/с) и скорость высокая и памяти вагон. Если планируется ставить 3+ видеокарты, то это однозначно тредрипер или зеон. Всякие в100 и прочие амд это мусор, не тратьте деньги и время. Эпл и амд 395 тоже мимо, сильно медленно и дорого. Можете на придумывать себе другие варианты, но все они будут или дороже или медленнее.
Потому, что карту сварки готовит главный сварщик. Там и металловедение и сопромат и ещё пачка прикладных наук. Многие из них ктн. А если надо сварить допустим реактор из хитрой нержавейки и не испортить материал, то и опыт сварной работы сложных материалов и деталей тоже нужен под 10 лет. Таких сварщиков около 1% из общей массы. 50% сварщиков имеют начальный уровень и кроме забора ни чего варить не могут. Половина сварщиков с накс получили его с натяжкой. Крутых сварщиков, готовых варить в отдаленных местах тоже не много. Вобщем топы получают как и любые другие топы профессий типа хирургов, сеньеров и прочих узких специалистов. В РФ это 1 млн+ в мес.
Я не видел железо, которые не поддерживают в6 уже лет 10. Все железо у провацдеров давным давно в6 рэди. Скорее не хватает компетенции у админов. У меня в мск на районе есть все крупные провайдеры и никто не даёт в6! Это просто позор. Приходиться городить туннель в НЕ. Есть один плюс от этого, ютуб работает без тормозов.
Я думал задачи распознавания номеров, людей и прочих предметов полностью решена лет 20 назад. Без спец процессоров на обычных цпу тех лет. Ещё в универе в начале 200х особых проблем не было. Все современные ip камеры имеют ии движок на борту и не сильная проблема достать на него sdk. Большую часть задач они переварят на борту. Это камеры буквально за пару тысяч рублей. По вашим конфигам вы не серверы собирали, а плохие игровые компы. Уровень сборок школьников.
Натравливал на свой роутер и впс локальные qwen 3.6 27b и 35b черезгермес. Вполне справился, все конфиги прошерстил, предложил исправления и поправил. Немотроны с опкнроутера были не лучше, но ощутимо медленнее. Опус 4.8 через клод код не был качественно лучше, но сожрал токенов в разы больше остальных. Фэйбл 5 отказался. Гемини 4 12б ничего не смог.
Если к этому мини пк докинуть любую видеокарту, из недорогих в идеале 3070м 16гб (500 гб/с память) через м2 псие 4х4, то скорость увеличиться вдвое. Потребление всего 110 вт в прыжке, очень холодные.
Просто вы недостаточно подробно написали промт.
Выбор платформы и сборка вызывает много вопросов. Вот смотрю авито, мать + тредрипер 3960х стоит 90к. 4х канальная память даст псп как у топовой ддр5. Можно удобно вставить все ваши 3090 и обьеденить через нвлинк. А ещё есть всякие плюшки на подобие 10гб сети. Больших б/у корпусов навалом за дёшево. А при нормальной компоновке можно и общий контур водянки собрать.
Я навайбкодил ранее более продвинутую версию. Использую для отладки устройств по обработке gps сигналов. Когда надо использовать периодически отправку сообщений. Это не последняя версия. В новой ещё можно hex отправлять. https://melodictsk.github.io/web-serial/web-serial.html
3070м на 16гб стоит примерно 25к. Память под 500 гб/с, тдп 105 вт. Ноль нагрева, че ещё надо? Зачем эти заморочки с в100 на 16 гб? Так на ней ещё и играть можно. Использую такую в паре с 3090, ноль проблем. 40гб врам. В ллм чистая скорость у 3070м половина от 3090.
Именно поэтому добавление параллельных потоков в ллм почти не просаживает скорость. Можно на той же видюхе запустить параллельно несколько рассуждений и кратно увеличить суммарную скорость по токенам. Пока в кэш влазит.
Что угодно лучше чем гугл карты даже не в РФ. Пользовался активно в Грузии, Турции на авто. В Египте пешком. Это просто ужас, ошибок масса, интерфейс с графикой отстал лет на 10. Гугл карты не сложно победить. Но наши яндекс и 2гис это реальный мировой топ.
Жаль, что не сравнили с ace-step локальным бесплатным. На видюха с 24 врам творит чудеса.
Капец, половина тезисов повторяется в тексте раза 4. Просто читаешь одно и тоже много раз.
Там где заканчиваются псп райзен аи, только начинается псп у видеокарт. Кстати, не помешал бы бенчмарк этих нпу и сравнение по скорости на ватт в сравнении с гпу. Если экономично, то можно переложить мелкие фоновые нейронки на него или одного из агентов.
А можно с таких планок переставить чипы на обычные не регистровые? Учитывая, что бу северные планки стоят значительно дешевле обычных. Или там и чипы другие?
Зачем мак я так и не понял. Если он есть, то ок. Но специально покупать это борщ. 3090 вне конкуренции, мало одной, ставь 2,3,4. Нет денег, ставь 3070м 16гб. Ничего выгоднее не найти, около 25тр за шт. Себе в домашний комп засунул к 3090 как раз 3070м, квин 3.6 35b летает. И кстати он вообще не плох. Зачем использовать 4бит квантование, тоже ума не приложу, это только для гиганских моделей. Ниже 6бит это уже ощутимо хуже, особенно на всяких 30б и ниже.
Вчера весь день гонял 4,6 и 4,7. Вообще не заметил улучшений, но точно заметил, что токенов жрёт раза в 2 больше. Рассуждения многократно увеличились, просто из пустого в поржнее. По итогу простые проблемы так и не решила, руками переделал за 5 мин. Текстовый промт был по итогу длиннее кода. Но я хотел, что бы это сделала именно ии, но по итогу кончились лимиты на подписке и ещё и все деньги на апи сожрала. Вобщем 4.7 не рекомендую.
Я просто в бешенстве. В Москве с ipv6 дома похоже вообще не судьба. Ростелеком - нет, МГТС - нет, билайн - нет. Нашёлся нормальный шлюз в НЕ, завязал на него свои сервера и домашнюю сеть, все настроил и на тебе новость. Что за ерунда то? Что есть ещё из бесплатного для организации ipv6?
Несколько дней мучаю локально на 3090 ace step. Взрыв мозга, работает отлично. И самое главное быстро. Буквально пол минуты и пара треков готова. Так круто переделывать старые треки под новые стили. Кажется, что получше suno. Но eleven labs все же получше будет качество.