3070м на 16гб стоит примерно 25к. Память под 500 гб/с, тдп 105 вт. Ноль нагрева, че ещё надо? Зачем эти заморочки с в100 на 16 гб? Так на ней ещё и играть можно. Использую такую в паре с 3090, ноль проблем. 40гб врам. В ллм чистая скорость у 3070м половина от 3090.
Именно поэтому добавление параллельных потоков в ллм почти не просаживает скорость. Можно на той же видюхе запустить параллельно несколько рассуждений и кратно увеличить суммарную скорость по токенам. Пока в кэш влазит.
Что угодно лучше чем гугл карты даже не в РФ. Пользовался активно в Грузии, Турции на авто. В Египте пешком. Это просто ужас, ошибок масса, интерфейс с графикой отстал лет на 10. Гугл карты не сложно победить. Но наши яндекс и 2гис это реальный мировой топ.
Там где заканчиваются псп райзен аи, только начинается псп у видеокарт. Кстати, не помешал бы бенчмарк этих нпу и сравнение по скорости на ватт в сравнении с гпу. Если экономично, то можно переложить мелкие фоновые нейронки на него или одного из агентов.
А можно с таких планок переставить чипы на обычные не регистровые? Учитывая, что бу северные планки стоят значительно дешевле обычных. Или там и чипы другие?
Зачем мак я так и не понял. Если он есть, то ок. Но специально покупать это борщ. 3090 вне конкуренции, мало одной, ставь 2,3,4. Нет денег, ставь 3070м 16гб. Ничего выгоднее не найти, около 25тр за шт. Себе в домашний комп засунул к 3090 как раз 3070м, квин 3.6 35b летает. И кстати он вообще не плох. Зачем использовать 4бит квантование, тоже ума не приложу, это только для гиганских моделей. Ниже 6бит это уже ощутимо хуже, особенно на всяких 30б и ниже.
Вчера весь день гонял 4,6 и 4,7. Вообще не заметил улучшений, но точно заметил, что токенов жрёт раза в 2 больше. Рассуждения многократно увеличились, просто из пустого в поржнее. По итогу простые проблемы так и не решила, руками переделал за 5 мин. Текстовый промт был по итогу длиннее кода. Но я хотел, что бы это сделала именно ии, но по итогу кончились лимиты на подписке и ещё и все деньги на апи сожрала. Вобщем 4.7 не рекомендую.
Я просто в бешенстве. В Москве с ipv6 дома похоже вообще не судьба. Ростелеком - нет, МГТС - нет, билайн - нет. Нашёлся нормальный шлюз в НЕ, завязал на него свои сервера и домашнюю сеть, все настроил и на тебе новость. Что за ерунда то? Что есть ещё из бесплатного для организации ipv6?
Несколько дней мучаю локально на 3090 ace step. Взрыв мозга, работает отлично. И самое главное быстро. Буквально пол минуты и пара треков готова. Так круто переделывать старые треки под новые стили. Кажется, что получше suno. Но eleven labs все же получше будет качество.
Т. К. 3090 имеет на борту псие 4.0, то и мать надо выбирать соответствующую. Потребительские матери, где на борту есть полноценный 16х 4.0 и пара 4х 4.0 м2 вполне вывезут на полной скорости ллм. Естественно озу надо побыстрее, может так получиться, что моделька не влезет в видеокарты, хоть проц возьмёт на себя часть нагрузки. На сетевую нет смысла заморачиваться, достаточно использовать свисток в усб3, там хоть 2, 5 хоть 5гбит сети есть недорого, а усб в современных процессорах напрямую в процессор. Ссд засунуть в пси 1х. А ещё есть сплитеры и 16х можно попилить.
Сейчас настолько невозможно пользоваться новостными сайтами, что порой в гугл ленте новостей информации больше, чем видишь на сайте, на который она ссылается.
Работает отвратительно. Перешёл в мск с мгтс на билайн, оба тарифа 1 Гбит, до этого был ростел. Во времена спидтеста и ростел и мгтс выдавали около теоретические скорости. А вот с билайнлм спидтеста уже не доступен, яндекс на приём на мерял 750,отдачу 900. Грешил на высокую вечернюю загрузку сети. Но в течении недели я заветных 950 так и не увидел. Но самое поразительно в том, что ряд европейских iperf3 выдают 900+ стабильно. Яндекс даже не тянет нагрузку, годится только мерять низко скоростные линк.
Реальные кейся говорят, что полная стоимость электроэнергии от гпу с учётом всего всего от 10р за квт. Не верьте в сказки. 15 лет уже эксплуатирвем на разных месторождениях мощности от 0.3 до 45 МВт. Гпу это только временные и быстрые решения, чтоб не тянуть вл или строить гтэс.
Ты ещё спроси, когда будет ии ко орый будет катать тебя на гоночный машине или играть за тебя в настольный теннис. На развлечения люди тратят ради своих эмоций, а не зарабатывают.
3070м на 16гб стоит примерно 25к. Память под 500 гб/с, тдп 105 вт. Ноль нагрева, че ещё надо? Зачем эти заморочки с в100 на 16 гб? Так на ней ещё и играть можно. Использую такую в паре с 3090, ноль проблем. 40гб врам. В ллм чистая скорость у 3070м половина от 3090.
Именно поэтому добавление параллельных потоков в ллм почти не просаживает скорость. Можно на той же видюхе запустить параллельно несколько рассуждений и кратно увеличить суммарную скорость по токенам. Пока в кэш влазит.
Что угодно лучше чем гугл карты даже не в РФ. Пользовался активно в Грузии, Турции на авто. В Египте пешком. Это просто ужас, ошибок масса, интерфейс с графикой отстал лет на 10. Гугл карты не сложно победить. Но наши яндекс и 2гис это реальный мировой топ.
Жаль, что не сравнили с ace-step локальным бесплатным. На видюха с 24 врам творит чудеса.
Капец, половина тезисов повторяется в тексте раза 4. Просто читаешь одно и тоже много раз.
Там где заканчиваются псп райзен аи, только начинается псп у видеокарт. Кстати, не помешал бы бенчмарк этих нпу и сравнение по скорости на ватт в сравнении с гпу. Если экономично, то можно переложить мелкие фоновые нейронки на него или одного из агентов.
А можно с таких планок переставить чипы на обычные не регистровые? Учитывая, что бу северные планки стоят значительно дешевле обычных. Или там и чипы другие?
Зачем мак я так и не понял. Если он есть, то ок. Но специально покупать это борщ. 3090 вне конкуренции, мало одной, ставь 2,3,4. Нет денег, ставь 3070м 16гб. Ничего выгоднее не найти, около 25тр за шт. Себе в домашний комп засунул к 3090 как раз 3070м, квин 3.6 35b летает. И кстати он вообще не плох. Зачем использовать 4бит квантование, тоже ума не приложу, это только для гиганских моделей. Ниже 6бит это уже ощутимо хуже, особенно на всяких 30б и ниже.
Вчера весь день гонял 4,6 и 4,7. Вообще не заметил улучшений, но точно заметил, что токенов жрёт раза в 2 больше. Рассуждения многократно увеличились, просто из пустого в поржнее. По итогу простые проблемы так и не решила, руками переделал за 5 мин. Текстовый промт был по итогу длиннее кода. Но я хотел, что бы это сделала именно ии, но по итогу кончились лимиты на подписке и ещё и все деньги на апи сожрала. Вобщем 4.7 не рекомендую.
Я просто в бешенстве. В Москве с ipv6 дома похоже вообще не судьба. Ростелеком - нет, МГТС - нет, билайн - нет. Нашёлся нормальный шлюз в НЕ, завязал на него свои сервера и домашнюю сеть, все настроил и на тебе новость. Что за ерунда то? Что есть ещё из бесплатного для организации ipv6?
Несколько дней мучаю локально на 3090 ace step. Взрыв мозга, работает отлично. И самое главное быстро. Буквально пол минуты и пара треков готова. Так круто переделывать старые треки под новые стили. Кажется, что получше suno. Но eleven labs все же получше будет качество.
Т. К. 3090 имеет на борту псие 4.0, то и мать надо выбирать соответствующую. Потребительские матери, где на борту есть полноценный 16х 4.0 и пара 4х 4.0 м2 вполне вывезут на полной скорости ллм. Естественно озу надо побыстрее, может так получиться, что моделька не влезет в видеокарты, хоть проц возьмёт на себя часть нагрузки. На сетевую нет смысла заморачиваться, достаточно использовать свисток в усб3, там хоть 2, 5 хоть 5гбит сети есть недорого, а усб в современных процессорах напрямую в процессор. Ссд засунуть в пси 1х. А ещё есть сплитеры и 16х можно попилить.
Мамки на эпиках киллерфича. Если есть, брать их.
Готовые устройства за 1000+ рублей. Не уверен, что столько страданий того стоят.
128 гб озу стоят больше. Тут цена видится как у топовых амд аи мах. Вангую вилку 2-3к$. Даже за эти деньги хороший продукт.
Сейчас настолько невозможно пользоваться новостными сайтами, что порой в гугл ленте новостей информации больше, чем видишь на сайте, на который она ссылается.
Работает отвратительно. Перешёл в мск с мгтс на билайн, оба тарифа 1 Гбит, до этого был ростел. Во времена спидтеста и ростел и мгтс выдавали около теоретические скорости. А вот с билайнлм спидтеста уже не доступен, яндекс на приём на мерял 750,отдачу 900. Грешил на высокую вечернюю загрузку сети. Но в течении недели я заветных 950 так и не увидел. Но самое поразительно в том, что ряд европейских iperf3 выдают 900+ стабильно. Яндекс даже не тянет нагрузку, годится только мерять низко скоростные линк.
Волокно, которое тянет провайдер домой по жпону можно в узел завязывать, медь так не закрутить. Потери увеличаться, но в рамках здания это пустяки.
Реальные кейся говорят, что полная стоимость электроэнергии от гпу с учётом всего всего от 10р за квт. Не верьте в сказки. 15 лет уже эксплуатирвем на разных месторождениях мощности от 0.3 до 45 МВт. Гпу это только временные и быстрые решения, чтоб не тянуть вл или строить гтэс.
Ты ещё спроси, когда будет ии ко орый будет катать тебя на гоночный машине или играть за тебя в настольный теннис. На развлечения люди тратят ради своих эмоций, а не зарабатывают.
Сейчас даже бюджетные смартфон быстрее тех компьютеров. Современные сайты и весят и тормозят куда как больше чем флеш.