Касательно 3080ti у меня дилемма схожая с тем, что вы проходили. Одной карты маловато и я все не решу, что лучше. Купить вторую такую же (будет очень много gpu мощности, но мало памяти), поменять на 3090 (я даже искал зимой ещё на Авито вариант живой), 5090 слишком дорогая. А если пару 3090 поставить то надо весь системник менять и главное этот монстр будет шуметь и греться. Тут уже можно посмотреть в сторону ryzen ai 395+ не шустро, но для одного человека норм.
Полностью согласен, уже давно определил для себя, какую модель целесообразнее использовать для той или иной задачи. Причем не только с точки зрения качества ответа, но и его стоимости. Не зря вышло уже много статей, на тему - не надо для разработки использовать самую крутую-дорогую модель. Опять же глядя на тот же GPT мы видим очевидную тенденцию рынка - выпуск специализированных моделей.
Я правда предполагал использовал локальный LLM в качестве маршрутизатора, но это скорее решение немного другой задачи и более узкой задачи (на тему того, что разные модели могут давать разные ответы, а правда где то посередине).
Очень занимательная статья, читая сам начал переживать этот тернистый путь. Боюсь только многие не поймут, пока сами не попробуют.
Недавно целый день настраивал тот же Qwen 3.8, но в BF16 формате с контекстным окном 64К и vLLM вместо Ollama, на паре AMD Radeon R9700 (ИИ мне сразу сказал, что не влезет т.к. надо ~75Гб памяти, а у меня 64Гб). Тоже знатно намучался т.к. на AMD много сложнее (модель гибридная, размер блока не стандартный, ROCm работать нормально не хочет и vLLM подключал универсальные Triton ядра вместо родного ROCm = 12-15 токенов.
Но в рабочем компе у меня 3080Ti, вот тоже все думаю, что бы с ней придумать и смотрю в сторону Qwen3.8-35B-A3B как вам выше посоветовали.
Во первых спасибо за ваш комментарий. Я всегда стараюсь объективно относится к критике в свой адрес.
По первому пункту. Я конечно так не считаю, тем более что сам обычно выступаю в роли заказчика :-)
По второму пункту. Согласен, но я убрал все детали которые бы могли бы явно указать на автора.
По третьему пункту. Требования взяты из интернета, они опубликованы в общем доступе.
По четвертому пункту. Согласен.
Привести хорошее ТЗ мне сложно т.к. мой труд это собственность компании на которую я работаю. Возможно пафосно звучит, но вы тоже об этом упомянули.
Потому что данный топик либо понятен как есть, но ограниченному кругу людей, либо не понятен как его не расписывай.
Представьте если бы я стал рассказывать что отвертку шлиц нельзя использовать вместо филипса, в качестве комментария к чье то инструкции. Те кто понимает суть не поняли бы зачем я пишу очевидные вещи, а те кто суть не понял, не поняли бы юмора даже после объяснений, это как рассказывать смысл анекдота, смысл будет понятен, но смешно уже не будет.
С таким минусом я уже ничего не буду публиковать на этом ресурсе. С другой стороны, если основной контингент сайта минусует все что не понял, то мне тут точно не место и жалеть я о нем не буду. Хотя интерес остается, что думает человек нажимая на минус, даже мой комментарий с примерами заминусовали (опять же молчком, без единого замечания т.к. просто не могут что то по делу сказать) — habrahabr.ru/post/238673/#comment_8017731 т.е. подтвердили то что я выше написал.
Спасибо, я что то еще помню т.к. обучался по NetApp и несколько лет администрировал решение на их основе. Нормальный СХД, со своими плюсами и минусами.
Я просто видимо отвык уже от жизни где питание пропадает а в СХД нет своего ИБП (ай, сейчас меня тоже обвинят в лояльности к одному из вендоров :-)
Если я начну объяснять, то боюсь будет не смешно уже :-(
Скажем так, из всей этой клоунады названной ТЗ, я бегло вижу только 4 пункта которые являются значимыми требованиями, при этом не вижу основных требований которые предъявляют к СХД (банально — iops-ы и емкость).
Если не секрет, по чем выходит 22Гб версия из Китая? На авито смотрю уже почти и нет 22Гб.
Касательно 3080ti у меня дилемма схожая с тем, что вы проходили. Одной карты маловато и я все не решу, что лучше. Купить вторую такую же (будет очень много gpu мощности, но мало памяти), поменять на 3090 (я даже искал зимой ещё на Авито вариант живой), 5090 слишком дорогая. А если пару 3090 поставить то надо весь системник менять и главное этот монстр будет шуметь и греться. Тут уже можно посмотреть в сторону ryzen ai 395+ не шустро, но для одного человека норм.
Полностью согласен, уже давно определил для себя, какую модель целесообразнее использовать для той или иной задачи. Причем не только с точки зрения качества ответа, но и его стоимости. Не зря вышло уже много статей, на тему - не надо для разработки использовать самую крутую-дорогую модель. Опять же глядя на тот же GPT мы видим очевидную тенденцию рынка - выпуск специализированных моделей.
Я правда предполагал использовал локальный LLM в качестве маршрутизатора, но это скорее решение немного другой задачи и более узкой задачи (на тему того, что разные модели могут давать разные ответы, а правда где то посередине).
Очень занимательная статья, читая сам начал переживать этот тернистый путь. Боюсь только многие не поймут, пока сами не попробуют.
Недавно целый день настраивал тот же Qwen 3.8, но в BF16 формате с контекстным окном 64К и vLLM вместо Ollama, на паре AMD Radeon R9700 (ИИ мне сразу сказал, что не влезет т.к. надо ~75Гб памяти, а у меня 64Гб). Тоже знатно намучался т.к. на AMD много сложнее (модель гибридная, размер блока не стандартный, ROCm работать нормально не хочет и vLLM подключал универсальные Triton ядра вместо родного ROCm = 12-15 токенов.
Но в рабочем компе у меня 3080Ti, вот тоже все думаю, что бы с ней придумать и смотрю в сторону Qwen3.8-35B-A3B как вам выше посоветовали.
Общественное мнение — но это утопия.
Минусы моего аккаунта — опять же, нет смысла.
Оооо… это все еще актуально? Я думал уже придумали что то более интересное. Даже Apple vs Samsung звучит более заманчиво :)
Хотя уже все равно наверно. Отправил запрос на удаление аккаунта.
По первому пункту. Я конечно так не считаю, тем более что сам обычно выступаю в роли заказчика :-)
По второму пункту. Согласен, но я убрал все детали которые бы могли бы явно указать на автора.
По третьему пункту. Требования взяты из интернета, они опубликованы в общем доступе.
По четвертому пункту. Согласен.
Привести хорошее ТЗ мне сложно т.к. мой труд это собственность компании на которую я работаю. Возможно пафосно звучит, но вы тоже об этом упомянули.
Представьте если бы я стал рассказывать что отвертку шлиц нельзя использовать вместо филипса, в качестве комментария к чье то инструкции. Те кто понимает суть не поняли бы зачем я пишу очевидные вещи, а те кто суть не понял, не поняли бы юмора даже после объяснений, это как рассказывать смысл анекдота, смысл будет понятен, но смешно уже не будет.
С таким минусом я уже ничего не буду публиковать на этом ресурсе. С другой стороны, если основной контингент сайта минусует все что не понял, то мне тут точно не место и жалеть я о нем не буду. Хотя интерес остается, что думает человек нажимая на минус, даже мой комментарий с примерами заминусовали (опять же молчком, без единого замечания т.к. просто не могут что то по делу сказать) — habrahabr.ru/post/238673/#comment_8017731 т.е. подтвердили то что я выше написал.
Я просто видимо отвык уже от жизни где питание пропадает а в СХД нет своего ИБП (ай, сейчас меня тоже обвинят в лояльности к одному из вендоров :-)
Память + батарейка это не энергонезависимая память.
Скажем так, из всей этой клоунады названной ТЗ, я бегло вижу только 4 пункта которые являются значимыми требованиями, при этом не вижу основных требований которые предъявляют к СХД (банально — iops-ы и емкость).