Поверхностно оценил, не вижу особой ценности для задач расчета эмбеддингов в десктоп CPU режиме на русском. Frida всё еще релевантней (да, понятно, что она немного объемней, но тем не менее так же работоспособна на CPU). В GPU режиме giga пока топ.
Раз уж такая пляска... я - тот самый человек с хабра, у кого таки есть Intel 12 поколения с DDR4. Если быть точнее, то 12700K + 128GB DDR4 3600 да еще и с двумя 3090... удачи тебе, клод, доказать мне, как сильно я ошибался, собирая всё это в один системник.
ах да, еще у меня есть собссно основной комп на предтоповом 265K только со встройкой и без дискретки - просто апогей несбалансированности.
Давайте теперь статью: апгрейды, которые выглядели нелогичными, а теперь это золото.
Всего пару лет назад я с трудом представлял кому в здравом уме может понадобиться nvidia видеокарта линейки хх90... или 256 гигов оперативы в домашних условиях. Сегодня же я просто фейспамлю с себя, что не просчитал свои рабочие потребности и упустил возможность взять вовремя 4090 за какие-то копейки, а лучше бы четыре да оперативы на полтерабайта.
не знаю насколько эта информация попадает под какие-нить секретные грифы... но можно было бы хотя бы просто вывести heatmap с зонами в виде слоя для оценки проблемности места, куда хочешь приехать.
1) Еще 100500 лет назад надо было наряду с галочкой "избегать платных дорог" добавить галочку избегать зон без GPS. Ну и да, я тоже из тех, что выбирает маршрут "попрямее" вместо побыстрее, ибо подвеска хрустальная... надо беречь... а в "попрямее" обычно дороги более крупные, целее и без лежачих.
2) Возможно мой кейс не самый распространённый... но можно что-то думать с дорогами разной степени платности. Очевидно, что я никогда в жизни в здравом уме не поеду по проспекту Багратиона, а маршрут-то строится... и галочка бы его отключила, но дальше начинается дешманская можайка, а по ней уже вполне нормально ехать платно.
Лет 15 уже пользуюсь одним и тем же D14, который пережил 5 или 6 платформ. Я всегда беру предтоповый проц... типо 12700K или текущий 265K. Для них вообще не вижу ничего лучшего и тихого для работы. Если юзать комп, не гоняя 24/7 ОССТ и прочие гикбенчи, то я вижу очень мало сценариев, когда водянка бы хоть как-то переиграла воздух. В моём сценарии жизни 99.9% - это всё таки около idle режим при браузинге или кодинге... и тишину надо организовывать именно для idle. А помпа водянки - это прям ни разу не самое тихое устройство, когда у тебя остальной системник почти fanless.
Безусловно я не буду спорить, что с микроскопом можно намерять целые единицы градусов разницы, но в обычной жизни это же ни во что не выливается во всех смыслах )) Плюс опять же... большинство серьезных нагрузок задействуют и видеокарту - а это просто в момент обнуляет любые попытки хоть как-то сохранить тишину. Ну либо уже ставить воду и на видео тоже.
PS более того... после апдейта с 12700K на 265K и переноса D14 на последний, на 12700K накинул самый дешманский двухбашенный ID-COOLING за 2000р на момент покупки. И честно говоря... не шибко-то заметил разницу. В 90 долбится разве что под гикбенчем... да и то наверно потому что я ограничил вентили максимум тысячей оборотов.
соглашусь, что тренд последних лет в среднем идёт на сокращение площадей квартир с готовой отделкой... но совсем не значит, что их прям совсем днём с огнём надо искать. Почти все дома сейчас монолитные. Если брать их без отделки, то там из внутрянки разве что пара колонн. Одной из предыдущих у меня была на 115 метров коробка пустая... без проблем нарезал как мне было удобно и с кабинетом, и детской, и прочими помещениями, кладовками / гардеробными. Ну и да, очевидно, что понятия комфортная жизнь в 5 комнатной квартире редко коррелирует с понятием пиковского массмаркета. Под разные задачи разные ценовые категории метража и застройщиков.
текущий в 2024. На что это влияет? я меняю квартиры раз в несколько лет и продолжу это делать в той же прогрессии улучшения уровня площади / комфорта. Ну если великий ктулху не обрушит на нашу жизнь глобальные катаклизмы и здоровье не подведёт.
эта точка зрения хоть и математически верна, но реальна ли в жизни абсолютно для всех? Этот самый банальный кабинет и мне и жене всё равно нужен. Его наличие сильно повышает качество жизни для интровертов, коими мы являемся. На работу дяди мы работаем лишь 8 часов в сутки из 16 бодрствования. Остальное время нам нужно что-то делать, самообразовываться, заниматься хобби, играть, просто тупить за компом. Комфорт жизни стоит денег и финансовой неоптимальности - это факт. Но так уж совпало, что, имея комфортные условия жизни, в них намного легче умещается еще и удалённая работа, чем офисная.
как я уже сказал... трудиться, трудиться и еще раз трудиться и заранее всё планировать. Комфортное жильё - одна из главных целей в жизни человека, и если вам оно не досталось от богатых родителей, то к его приобритению надо прикладывать усилия. И вы не поверите, но чтобы что-то купить хорошее, надо хорошо в этом разбираться. Нельзя просто взять и купить 5 комнатную квартиру. Стратегию достижения покупки такой квартиры нужно выстраивать годами и даже десятилетиями с самых первых дней вашего первого самостоятельного заработка. Меня всегда поражала наивная логика молодых специалистов, особенно сейчас, когда есть нерыночные механизмы приобретения недвижимости для IT и семей (но и раньше без них это тоже всегда было актуально), что вот ну я же не могу купить себе 5 комнатную квартиру, поэтому ну её нафиг, буду снимать - это же выгоднее, чем платить 100-200 тыщ ипотеки. Не выгоднее. Залог успеха - поэтапное движение к цели. В любой, абсолютной любой ситуации выгоднее купить любой ликвидный (безусловно это важно) актив, даже если он вам не нужен, не подходит под текущие ваши потребности, затем продать и купить более дорогой и так далее, но в итоге дойти до требуемого. И именно в той области товаров, что вы хотите купить, чтобы избежать проблемы потерь ликвидности вложений из-за колебаний цены на несвязанные группы товаров. Ибо не важно дорожают или дешевеют квартиры в моменте... вы не потеряете, ибо если ваша квартира дешевеет, то и другие более лучшие тоже дешевеют (повторюсь, не учитываем краткосрочные колебания, а долгий срок). Я же с неба взял этот овердофигиллиард за такую хату... а всего лишь овердофигиллиард минус чуть-чуть, потому что перед этим продал хату чуть похуже, а до этого точно так же продал и купил еще чуть похуже, и так несколько раз, а начал вообще с копеечного бетона в е**ях много лет назад. Работа маленьким винтиком на большого дядю никогда не обогатит вас... если в оставшееся время вы сидите и смотрите сериальчики. Если у вас есть иная цель кроме сериальчиков, то для её достижения надо работать полноценную "вторую работу" уже на себя. Просвещаться, изучать рынок, тратить время, экспериментировать. Это касается всего, и недвиги, и машин, любой вещи, которую трудно сходу пойти и купить.
PS Понятно, что события, подобные 22-му году или чёрные вторники девяностых могут обнулить все ваши стратегии, я не спорю... но кто не рискует, тот не поднимается.
сколько людей - столько факторов, влияющих в ту или иную сторону.
Для меня офис - это расходы на парковку авто у офиса в центре москвы сколько? 20 тыс в месяц? авто премиум класса -> ежедневые пробеги -> еще тысяч 15-20 на бензин и амортизацию расходников. На котором в противном случае я езжу только по выходным для удовольствия. В квартире у меня и у жены собственные кабинеты и топовое оборудование, которое всё равно! нужно для нашего образа жизни независимо от того, работаем мы на дядю или нет и вообще работаем ли... не для того я горбатился сутками напролёт первые много лет работы, чтобы сейчас отказывать себе в комфорте жизни и экономить каждую копейку, ездя в офис на метро. Да, можно, а зачем? (с)
Надбавка зарплаты за офисное присутствие должна быть весьма большой. чтобы перекрыть сопутствующие расходы на эту самую офисную работу требовательного сотрудника со стажем. Однако, очевидно, что работодателю плевать на мою "блажь". Поэтому такой статус кво, когда экономят и работодатель, и такой сотрудник - вполне логичен.
за 25 лет разработки я могу сказать лишь одно: нет ничего лучшего, чем когда ты видишь код формата int с = a + b;
Ибо когда пройдет десятилетие и бизнес попросит не складывать две суммы затрат, а вычитать, то любой человек, на каком бы языке программирования он ни писал в этом прекрасном 2036 году, наверняка найдёт эту строку и просто поменяет плюс на минус, а не свихнётся от этого творчества фанатов brainfuck'a в виде [0 or 1, <= 2, >= 3]
Почти в любой домашний системник влезают две таких карты. А это уже 24ГБ. У меня была такая пара... за 40 тыс (б/у само собой) это самый выгодный на сегодня комплект по соотношению цена/объем памяти. На них спокойно работают gpt-oss:20b и qwen3:30b в районе 50-60 т/с
Думали про кейс подсказки поверните на съезд мкад-восток "после съезда на мкад-запад"? Вот этот фрагмент "после чего-то", имхо, был бы полезным, чтобы чуть заранее быть готовым к манёвру, а не когда уже слишком поздно, ибо когда ты увидел именно нужный тебе знак, а едешь слишком быстро, чтобы успеть в него повернуть. Я понимаю, что есть предварительные подсказки про то, что ваш поворот через 500 метров... но в условиях GPS нестабильности в дефолт сити все эти относительные метры часто пальцем в небо.
Почему не пробовали фриду и Qwen3-Embedding? Просто руки не дошли или чем-то не нравятся? фрида для русского прям неплоха. Qwen3 вообще очень сильный эмбеддер, по крайней мере 4b. Я попробовал на нём посчитать близость для вопросов про лук и команды - на всё ответил правильно. Ну и они в принципе в топе лидербордов mteb
я пробовал кодить в cline на 3090 через qwen3-coder:30b контекст 32к Имхо, на грани... точнее наверно даже сверх грани по памяти, а 16к контекст уже прям совсем мало. Поэтому надо что-то больше, согласен. Но к R9700 у меня опять же вопрос: ежели она вдвое (хотя где вы вообще её видели за рекомендованную цену? крайне сомнительно) дороже б/у 3090, то зачем брать её, если можно взять две 3090 и получить 48GB?
Pro карты, опять же, имхо, стоит брать когда явно больше двух и полностью в серверную стойку и чтоб с турбинами охлаждения они были и вот это всё. А одна-две ну хз.
PS по поводу требуемых ресурсов именно для 10 человек не буду комментировать, ибо реальной практики нет. Мы сами еще только планируем начинать к этому подступаться. Железо уже есть, но пока еще в процессе отладки бизнес-процессов. Но кажется, что 32 гигами тут не обойтись. Cline думает минутами над одной задачей. Если несколько человек начнут засылать таски ему, то памяти сожрётся изрядно... ну если они прям реально, конечно, будут юзать систему ))
Поверхностно оценил, не вижу особой ценности для задач расчета эмбеддингов в десктоп CPU режиме на русском. Frida всё еще релевантней (да, понятно, что она немного объемней, но тем не менее так же работоспособна на CPU). В GPU режиме giga пока топ.
Раз уж такая пляска... я - тот самый человек с хабра, у кого таки есть Intel 12 поколения с DDR4. Если быть точнее, то 12700K + 128GB DDR4 3600 да еще и с двумя 3090... удачи тебе, клод, доказать мне, как сильно я ошибался, собирая всё это в один системник.
ах да, еще у меня есть собссно основной комп на предтоповом 265K только со встройкой и без дискретки - просто апогей несбалансированности.
вроде в текущей альфе 5.1 добавили
Давайте теперь статью: апгрейды, которые выглядели нелогичными, а теперь это золото.
Всего пару лет назад я с трудом представлял кому в здравом уме может понадобиться nvidia видеокарта линейки хх90... или 256 гигов оперативы в домашних условиях. Сегодня же я просто фейспамлю с себя, что не просчитал свои рабочие потребности и упустил возможность взять вовремя 4090 за какие-то копейки, а лучше бы четыре да оперативы на полтерабайта.
не знаю насколько эта информация попадает под какие-нить секретные грифы... но можно было бы хотя бы просто вывести heatmap с зонами в виде слоя для оценки проблемности места, куда хочешь приехать.
1) Еще 100500 лет назад надо было наряду с галочкой "избегать платных дорог" добавить галочку избегать зон без GPS. Ну и да, я тоже из тех, что выбирает маршрут "попрямее" вместо побыстрее, ибо подвеска хрустальная... надо беречь... а в "попрямее" обычно дороги более крупные, целее и без лежачих.
2) Возможно мой кейс не самый распространённый... но можно что-то думать с дорогами разной степени платности. Очевидно, что я никогда в жизни в здравом уме не поеду по проспекту Багратиона, а маршрут-то строится... и галочка бы его отключила, но дальше начинается дешманская можайка, а по ней уже вполне нормально ехать платно.
Лет 15 уже пользуюсь одним и тем же D14, который пережил 5 или 6 платформ. Я всегда беру предтоповый проц... типо 12700K или текущий 265K. Для них вообще не вижу ничего лучшего и тихого для работы. Если юзать комп, не гоняя 24/7 ОССТ и прочие гикбенчи, то я вижу очень мало сценариев, когда водянка бы хоть как-то переиграла воздух. В моём сценарии жизни 99.9% - это всё таки около idle режим при браузинге или кодинге... и тишину надо организовывать именно для idle. А помпа водянки - это прям ни разу не самое тихое устройство, когда у тебя остальной системник почти fanless.
Безусловно я не буду спорить, что с микроскопом можно намерять целые единицы градусов разницы, но в обычной жизни это же ни во что не выливается во всех смыслах )) Плюс опять же... большинство серьезных нагрузок задействуют и видеокарту - а это просто в момент обнуляет любые попытки хоть как-то сохранить тишину. Ну либо уже ставить воду и на видео тоже.
PS более того... после апдейта с 12700K на 265K и переноса D14 на последний, на 12700K накинул самый дешманский двухбашенный ID-COOLING за 2000р на момент покупки. И честно говоря... не шибко-то заметил разницу. В 90 долбится разве что под гикбенчем... да и то наверно потому что я ограничил вентили максимум тысячей оборотов.
1020 вечен. Драйвер и руками поставить можно... лишь бы работал
соглашусь, что тренд последних лет в среднем идёт на сокращение площадей квартир с готовой отделкой... но совсем не значит, что их прям совсем днём с огнём надо искать. Почти все дома сейчас монолитные. Если брать их без отделки, то там из внутрянки разве что пара колонн. Одной из предыдущих у меня была на 115 метров коробка пустая... без проблем нарезал как мне было удобно и с кабинетом, и детской, и прочими помещениями, кладовками / гардеробными. Ну и да, очевидно, что понятия комфортная жизнь в 5 комнатной квартире редко коррелирует с понятием пиковского массмаркета. Под разные задачи разные ценовые категории метража и застройщиков.
тут нет, а нужен? что-то не выкупаю сарказма, если он тут был ))
но выбор домов вроде немаленький... можно найти под любые хотелки. мне вот подземный паркинг доставляет куда большее удовольствие, и тут он есть.
текущий в 2024. На что это влияет? я меняю квартиры раз в несколько лет и продолжу это делать в той же прогрессии улучшения уровня площади / комфорта. Ну если великий ктулху не обрушит на нашу жизнь глобальные катаклизмы и здоровье не подведёт.
эта точка зрения хоть и математически верна, но реальна ли в жизни абсолютно для всех? Этот самый банальный кабинет и мне и жене всё равно нужен. Его наличие сильно повышает качество жизни для интровертов, коими мы являемся. На работу дяди мы работаем лишь 8 часов в сутки из 16 бодрствования. Остальное время нам нужно что-то делать, самообразовываться, заниматься хобби, играть, просто тупить за компом. Комфорт жизни стоит денег и финансовой неоптимальности - это факт. Но так уж совпало, что, имея комфортные условия жизни, в них намного легче умещается еще и удалённая работа, чем офисная.
как я уже сказал... трудиться, трудиться и еще раз трудиться и заранее всё планировать. Комфортное жильё - одна из главных целей в жизни человека, и если вам оно не досталось от богатых родителей, то к его приобритению надо прикладывать усилия. И вы не поверите, но чтобы что-то купить хорошее, надо хорошо в этом разбираться. Нельзя просто взять и купить 5 комнатную квартиру. Стратегию достижения покупки такой квартиры нужно выстраивать годами и даже десятилетиями с самых первых дней вашего первого самостоятельного заработка. Меня всегда поражала наивная логика молодых специалистов, особенно сейчас, когда есть нерыночные механизмы приобретения недвижимости для IT и семей (но и раньше без них это тоже всегда было актуально), что вот ну я же не могу купить себе 5 комнатную квартиру, поэтому ну её нафиг, буду снимать - это же выгоднее, чем платить 100-200 тыщ ипотеки. Не выгоднее. Залог успеха - поэтапное движение к цели. В любой, абсолютной любой ситуации выгоднее купить любой ликвидный (безусловно это важно) актив, даже если он вам не нужен, не подходит под текущие ваши потребности, затем продать и купить более дорогой и так далее, но в итоге дойти до требуемого. И именно в той области товаров, что вы хотите купить, чтобы избежать проблемы потерь ликвидности вложений из-за колебаний цены на несвязанные группы товаров. Ибо не важно дорожают или дешевеют квартиры в моменте... вы не потеряете, ибо если ваша квартира дешевеет, то и другие более лучшие тоже дешевеют (повторюсь, не учитываем краткосрочные колебания, а долгий срок). Я же с неба взял этот овердофигиллиард за такую хату... а всего лишь овердофигиллиард минус чуть-чуть, потому что перед этим продал хату чуть похуже, а до этого точно так же продал и купил еще чуть похуже, и так несколько раз, а начал вообще с копеечного бетона в е**ях много лет назад. Работа маленьким винтиком на большого дядю никогда не обогатит вас... если в оставшееся время вы сидите и смотрите сериальчики. Если у вас есть иная цель кроме сериальчиков, то для её достижения надо работать полноценную "вторую работу" уже на себя. Просвещаться, изучать рынок, тратить время, экспериментировать. Это касается всего, и недвиги, и машин, любой вещи, которую трудно сходу пойти и купить.
PS Понятно, что события, подобные 22-му году или чёрные вторники девяностых могут обнулить все ваши стратегии, я не спорю... но кто не рискует, тот не поднимается.
сколько людей - столько факторов, влияющих в ту или иную сторону.
Для меня офис - это расходы на парковку авто у офиса в центре москвы сколько? 20 тыс в месяц? авто премиум класса -> ежедневые пробеги -> еще тысяч 15-20 на бензин и амортизацию расходников. На котором в противном случае я езжу только по выходным для удовольствия. В квартире у меня и у жены собственные кабинеты и топовое оборудование, которое всё равно! нужно для нашего образа жизни независимо от того, работаем мы на дядю или нет и вообще работаем ли... не для того я горбатился сутками напролёт первые много лет работы, чтобы сейчас отказывать себе в комфорте жизни и экономить каждую копейку, ездя в офис на метро. Да, можно, а зачем? (с)
Надбавка зарплаты за офисное присутствие должна быть весьма большой. чтобы перекрыть сопутствующие расходы на эту самую офисную работу требовательного сотрудника со стажем. Однако, очевидно, что работодателю плевать на мою "блажь". Поэтому такой статус кво, когда экономят и работодатель, и такой сотрудник - вполне логичен.
за 25 лет разработки я могу сказать лишь одно: нет ничего лучшего, чем когда ты видишь код формата int с = a + b;
Ибо когда пройдет десятилетие и бизнес попросит не складывать две суммы затрат, а вычитать, то любой человек, на каком бы языке программирования он ни писал в этом прекрасном 2036 году, наверняка найдёт эту строку и просто поменяет плюс на минус, а не свихнётся от этого творчества фанатов brainfuck'a в виде [0 or 1, <= 2, >= 3]
Почти в любой домашний системник влезают две таких карты. А это уже 24ГБ. У меня была такая пара... за 40 тыс (б/у само собой) это самый выгодный на сегодня комплект по соотношению цена/объем памяти. На них спокойно работают gpt-oss:20b и qwen3:30b в районе 50-60 т/с
Думали про кейс подсказки поверните на съезд мкад-восток "после съезда на мкад-запад"? Вот этот фрагмент "после чего-то", имхо, был бы полезным, чтобы чуть заранее быть готовым к манёвру, а не когда уже слишком поздно, ибо когда ты увидел именно нужный тебе знак, а едешь слишком быстро, чтобы успеть в него повернуть. Я понимаю, что есть предварительные подсказки про то, что ваш поворот через 500 метров... но в условиях GPS нестабильности в дефолт сити все эти относительные метры часто пальцем в небо.
Почему не пробовали фриду и Qwen3-Embedding? Просто руки не дошли или чем-то не нравятся? фрида для русского прям неплоха. Qwen3 вообще очень сильный эмбеддер, по крайней мере 4b. Я попробовал на нём посчитать близость для вопросов про лук и команды - на всё ответил правильно. Ну и они в принципе в топе лидербордов mteb
я пробовал кодить в cline на 3090 через qwen3-coder:30b контекст 32к
Имхо, на грани... точнее наверно даже сверх грани по памяти, а 16к контекст уже прям совсем мало. Поэтому надо что-то больше, согласен. Но к R9700 у меня опять же вопрос: ежели она вдвое (хотя где вы вообще её видели за рекомендованную цену? крайне сомнительно) дороже б/у 3090, то зачем брать её, если можно взять две 3090 и получить 48GB?
Pro карты, опять же, имхо, стоит брать когда явно больше двух и полностью в серверную стойку и чтоб с турбинами охлаждения они были и вот это всё. А одна-две ну хз.
PS по поводу требуемых ресурсов именно для 10 человек не буду комментировать, ибо реальной практики нет. Мы сами еще только планируем начинать к этому подступаться. Железо уже есть, но пока еще в процессе отладки бизнес-процессов. Но кажется, что 32 гигами тут не обойтись. Cline думает минутами над одной задачей. Если несколько человек начнут засылать таски ему, то памяти сожрётся изрядно... ну если они прям реально, конечно, будут юзать систему ))
при 32к контекста 26 гигов (10% CPU / 90% GPU)... скорость падает примерно до 35 т/с
при 16к контекста 23 гига (100% GPU)... скорость 85 т/с