В доступе на работе, если что, есть полностью безлимитные кодекс и опус - пользуйся не хочу.
Решительно не понимаю на что люди тратят миллионы токенов в день - я хорошо если в месяц сотню тысяч трачу.
В повседневной жизни, кстати, тоже почти не пользуюсь нейронками - в том числе бесплатным чатгпт, хорошо если пару раз в месяц - мне просто незачем. Считаю что проще и быстрее нагуглить, если надо разобраться в какой-то теме.
Спрашиваю нейронки только если уже несколько часов потратил и до ответа не докопаться.
DeepSeek-V4-Flash (284B MoE) — модель с 13B активных параметров, но 284B суммарно. Всё нужно держать в VRAM для маршрутизации. Даже в W4A16 от Intel — 153 GB. Наш сетап — 96 GB. Не влезает ни в каком адекватном квантовании.
Это же MoE модель, а у них фишечка - экспертов (или даже просто up|down тензоры) можно сгрузить в оперативку и не иметь особо просадки производительности если все плотные слои влезли в видеопамять (а у вас они точно влезут).
Не знаю как у vllm и умеет ли оно инференсить экспертов из оперативки, но я лично пробовал тот же дипсик v4 флеш (пришлось собрать форк лламыцпп с его поддержкой) на 3090 24gb + 128gb ram - впритык, но работало. При 96 вирама и 256 оперативки вообще должно летать.
Также пробовал kimi k2 на 2хА4000 и 2тб оперативки на ik_llamacpp - медленно, но вполне работает.
О, Новик. Ни разу там не купался, но друзья на сапах катаются. Мы обычно когда на Русский ездили летом или на рынду/воеводу или на Тобизина ходили. Ну или тупо на Вятлина когда впадлу далеко ехать.
Давно в России не был, не знал что там теперь есть ресторан "Токио" во Владике 😋
Оффтоп: Кстати, особенно доставило год назад когда мне родственники скинули фотку сушачеченой "Тоёсу", а это именно ровно моя станция метро где сейчас живу. 🤣
Вот именно. Писал уже несколько раз на хабре в комментах. Есть полностью безлимитный доступ к фронтирным моделям на работе, даже миллиона токенов в месяц не использую. Руками гуглю, глазами читаю документацию по всем библиотекам, руками пишу весь код.
Что стало удобнее - ну, теперь можно не из браузера копировать куски если надо отрефакторить старый проект из лапши а оно само внутри vscode может это сделать. Потом все равно все вычитываю и руками правлю. Никаких автотестов, автодеплоев, итд - всё руками. Запустил, скопировал ошибку в чат, это максимум.
Не понимаю на что люди тратят дневные лимиты за час. Типа "придумай, напиши, собери, задеплой, что ли?"
Но, справедливости ради, я и бесплатный чатгпт использую хорошо если пару раз в месяц - обычно любые вопросы предпочитаю гуглить, шерстить реддиты/стековерфлоу/багтрекеры и спрашиваю ЧГ только если уже несколько часов потрачено а ответа не найти. Удивляет как некоторые коллеги уже сходу спрашивают ЧГ и ничего не гуглят.
Самый главный вопрос не раскрыли (который меня всегда интересовал) - зачем вообще коаксиальный кабель нужен и чем он лучше тупо двух проводов рядом, как в телефонном кабеле?
Вопрос был не про нативность а про ускорение на нвидии, все аи плюшки и вообще производительность. Еще скажу что в линупсе очень плохо с поддержкой HDR мониторов а мне это важно - имею дело с хдр контентом.
И RawTherapee по функционалу уделывает Лайтрум
И аи маски есть в два клика? Да ладно. Еще сравнил бы убогий равтерапи с Capture One, вот хохма будет.
Кстати, у вас же весь софт лицензионный, правда? Исправно платите взносы в Adobe, и всё такое... 😉
Да, весь полностью лицензионный - я за бугром живу, тут иначе никак. Да, подписка на адоб, вот это всё. Резолв студио тоже лицензионный (ключ в комплекте с камерой прилагался).
Тут и сайты онлайн банкинга прямо из 90х, веб 1.0, вот это всё. Мобильные приложения выглядят более-менее современно, но с компа зайти на сайт - то ужас.
Я за базар отвечаю, если что. А кому надо только браузер и вим от системы, тому стало лучше, конечно. Вайфай теперь работает без правки конфигов wpa_supplicant!
Плазма не падает больше, да.
Но с ACPI как были танцы с бубном так и продолжаются, тот же сон от которого комп не просыпается (вернее, грузится с нуля каждый раз). Как не определяло беспроводную клавиатуру в консоли без гуи сессии, так и не определяет. Сколько ни гуглил, все сводится к пердолингу и подбору параметров usb quirks в грабе при загрузке ядра.
А если загрузить на stick pc на атоме (на котором винда 10 работает стабильно хоть и медленно) - рандомные висяки намертво через 5-10 минут даже в консоли потому что баг с C-state процессора в ядре до сих пор не поправлен. И даже openwrt виснет. И надо гуглить и пердолиться с грабом, подбирать бут параметры, отключать c-state просто чтобы оно НЕ ВИСЛО.
Монтирование виндовых шар снова не завезли в гуи, вернее оно не работает и вылетает с ошибкой. Тряси стариной, лезь в консоль и монтируй руками через mount -t cifs и опции самбы вспоминай.
Подключения к блютус устройствам как работали через жопу так и работают. Делаешь bluez pairing через bluetoothctl (ага, и тут в консоль), оно даже в режиме scan находит устройство (bmpcc6k) в метре от себя только один раз из 10. Винда и даже андроид (потому что другой блютус стек) находят каждый раз и стабильно.
Ага, все работает. На твоем юзкейсе может быть, но не значит что у всех. А я вижу что даже базовые вещи не работают или никак или через жопу с бубном. В итоге тыкаешь, оно так же требует красных глаз как и в 2006 чтобы делать вещи которые в нормальных осях НЕЗАМЕТНЫ.
Сама плазма (лучшее что есть из линупс десктопов) тоже - по уровню удобства с виндой 11 (да даже 10) и близко не стояла. Про дизайнера и UX также не слышал никто, софт от программистов для программистов. Гномощель/циннамон - вообще неюзабельное нечто, можно и не упоминать.
И это еще про необходимый софт не говорили (до него дело так и не дошло особо):
Фотошоп есть нативный? Не убогий гимп, а нормальный, человеческий ФШ с гпу ускорением, аи масками и генеративными плюшками по подписке? Лайтрум с афтером тоже. Davinci Resolve нормально работает? Со всем желеным ускорением видеокартой и всеми аи плюшками? Maya, Nuke, Houdini? Стим есть с полной библиотекой? А как по фпс? А как работает нвидия? А CUDA? Topaz Video AI работает? А софт для аи ретуши фоток типа Retouch4Me и Reblum?
Но софт уже не тестил, выкинул это опенсорсное недоразумение и пошел дальше на винду жить как белый человек. 🤣
Пишу сам руками всё, гуглю, доки читаю глазами.
В доступе на работе, если что, есть полностью безлимитные кодекс и опус - пользуйся не хочу.
Решительно не понимаю на что люди тратят миллионы токенов в день - я хорошо если в месяц сотню тысяч трачу.
В повседневной жизни, кстати, тоже почти не пользуюсь нейронками - в том числе бесплатным чатгпт, хорошо если пару раз в месяц - мне просто незачем. Считаю что проще и быстрее нагуглить, если надо разобраться в какой-то теме.
Спрашиваю нейронки только если уже несколько часов потратил и до ответа не докопаться.
Это же MoE модель, а у них фишечка - экспертов (или даже просто up|down тензоры) можно сгрузить в оперативку и не иметь особо просадки производительности если все плотные слои влезли в видеопамять (а у вас они точно влезут).
Не знаю как у vllm и умеет ли оно инференсить экспертов из оперативки, но я лично пробовал тот же дипсик v4 флеш (пришлось собрать форк лламыцпп с его поддержкой) на 3090 24gb + 128gb ram - впритык, но работало. При 96 вирама и 256 оперативки вообще должно летать.
Также пробовал kimi k2 на 2хА4000 и 2тб оперативки на ik_llamacpp - медленно, но вполне работает.
Скрытый текст
о̶̓͐ͩ̐̀̀̚͏̝͍͈̘͕н̶̦̞̲̲̰̿ͪͤͮͮ́͜͞й̸̢̡͉̻̲͓͙̂̓̊̆͘ ͂̐ͫ̍̒́͠͞҉͖͍̩̦̜и̶̗̠̰̭̬ͨͩ̈ͣͫ́͢͡д̸̷̵͇̺͇̲̝̾̊̈̅̇̕ӯ̴̥̫̥̭̻͒̀̿ͨ͟͢͠т̡̧̻̼̣ͥͤͪ̽̅̀̀ͅͅ
Дизайна интерфейса уровня анналов (оба варианта "н") опенсорса 🤣
Я же написал что не бесплатные использую на работе. Гпт 5.5, опус 4.7 - все равно руками всё делаю
О, Новик. Ни разу там не купался, но друзья на сапах катаются. Мы обычно когда на Русский ездили летом или на рынду/воеводу или на Тобизина ходили. Ну или тупо на Вятлина когда впадлу далеко ехать.
Давно в России не был, не знал что там теперь есть ресторан "Токио" во Владике 😋
Оффтоп:
Кстати, особенно доставило год назад когда мне родственники скинули фотку сушачеченой "Тоёсу", а это именно ровно моя станция метро где сейчас живу. 🤣
Тоёсу прямо сейчас
Как жителю Токио вы мне мозг сломали. При том что я жил до этого несколько лет и во Владивостоке тоже. 🫠
Вот для этого я сам есть, зачем мне нейронка? Тем более что после нее в голове ничего не останется, а после ручного изучения темы - знания.
Вот именно. Писал уже несколько раз на хабре в комментах. Есть полностью безлимитный доступ к фронтирным моделям на работе, даже миллиона токенов в месяц не использую. Руками гуглю, глазами читаю документацию по всем библиотекам, руками пишу весь код.
Что стало удобнее - ну, теперь можно не из браузера копировать куски если надо отрефакторить старый проект из лапши а оно само внутри vscode может это сделать. Потом все равно все вычитываю и руками правлю. Никаких автотестов, автодеплоев, итд - всё руками. Запустил, скопировал ошибку в чат, это максимум.
Не понимаю на что люди тратят дневные лимиты за час. Типа "придумай, напиши, собери, задеплой, что ли?"
Но, справедливости ради, я и бесплатный чатгпт использую хорошо если пару раз в месяц - обычно любые вопросы предпочитаю гуглить, шерстить реддиты/стековерфлоу/багтрекеры и спрашиваю ЧГ только если уже несколько часов потрачено а ответа не найти. Удивляет как некоторые коллеги уже сходу спрашивают ЧГ и ничего не гуглят.
И эта игра называется Constructor (и был недавно очень-очень годный ремейк Constructor Plus 2019 года)
И rtx5090 с 32гб под новые большие модели даже в квантизаци не хватает. Надо было брать мак студио на 512 когда были дешевле
Сейчас аишку разрешат и будут удваивать каждые два месяца. И всё будет на TypeScript 🤡
Недавно в репу openclaw зашёл - там в среднем коммит раз в пару минут и сама репа уже под гигабайт весит (хотя ей три месяца).
Линупс не должен отставать! 🤣
Самый главный вопрос не раскрыли (который меня всегда интересовал) - зачем вообще коаксиальный кабель нужен и чем он лучше тупо двух проводов рядом, как в телефонном кабеле?
Вопрос был не про нативность а про ускорение на нвидии, все аи плюшки и вообще производительность. Еще скажу что в линупсе очень плохо с поддержкой HDR мониторов а мне это важно - имею дело с хдр контентом.
И аи маски есть в два клика? Да ладно. Еще сравнил бы убогий равтерапи с Capture One, вот хохма будет.
Да, весь полностью лицензионный - я за бугром живу, тут иначе никак. Да, подписка на адоб, вот это всё. Резолв студио тоже лицензионный (ключ в комплекте с камерой прилагался).
Тут и сайты онлайн банкинга прямо из 90х, веб 1.0, вот это всё. Мобильные приложения выглядят более-менее современно, но с компа зайти на сайт - то ужас.
Тоже не в курсе, давно в россии не жил. Нагуглить не смог 😅
Я за базар отвечаю, если что. А кому надо только браузер и вим от системы, тому стало лучше, конечно. Вайфай теперь работает без правки конфигов wpa_supplicant!
Плазма не падает больше, да.
Но с ACPI как были танцы с бубном так и продолжаются, тот же сон от которого комп не просыпается (вернее, грузится с нуля каждый раз). Как не определяло беспроводную клавиатуру в консоли без гуи сессии, так и не определяет. Сколько ни гуглил, все сводится к пердолингу и подбору параметров usb quirks в грабе при загрузке ядра.
А если загрузить на stick pc на атоме (на котором винда 10 работает стабильно хоть и медленно) - рандомные висяки намертво через 5-10 минут даже в консоли потому что баг с C-state процессора в ядре до сих пор не поправлен. И даже openwrt виснет. И надо гуглить и пердолиться с грабом, подбирать бут параметры, отключать c-state просто чтобы оно НЕ ВИСЛО.
Монтирование виндовых шар снова не завезли в гуи, вернее оно не работает и вылетает с ошибкой. Тряси стариной, лезь в консоль и монтируй руками через mount -t cifs и опции самбы вспоминай.
Подключения к блютус устройствам как работали через жопу так и работают. Делаешь bluez pairing через bluetoothctl (ага, и тут в консоль), оно даже в режиме scan находит устройство (bmpcc6k) в метре от себя только один раз из 10. Винда и даже андроид (потому что другой блютус стек) находят каждый раз и стабильно.
Ага, все работает. На твоем юзкейсе может быть, но не значит что у всех. А я вижу что даже базовые вещи не работают или никак или через жопу с бубном. В итоге тыкаешь, оно так же требует красных глаз как и в 2006 чтобы делать вещи которые в нормальных осях НЕЗАМЕТНЫ.
Сама плазма (лучшее что есть из линупс десктопов) тоже - по уровню удобства с виндой 11 (да даже 10) и близко не стояла. Про дизайнера и UX также не слышал никто, софт от программистов для программистов. Гномощель/циннамон - вообще неюзабельное нечто, можно и не упоминать.
И это еще про необходимый софт не говорили (до него дело так и не дошло особо):
Фотошоп есть нативный? Не убогий гимп, а нормальный, человеческий ФШ с гпу ускорением, аи масками и генеративными плюшками по подписке? Лайтрум с афтером тоже. Davinci Resolve нормально работает? Со всем желеным ускорением видеокартой и всеми аи плюшками? Maya, Nuke, Houdini? Стим есть с полной библиотекой? А как по фпс? А как работает нвидия? А CUDA? Topaz Video AI работает? А софт для аи ретуши фоток типа Retouch4Me и Reblum?
Но софт уже не тестил, выкинул это опенсорсное недоразумение и пошел дальше на винду жить как белый человек. 🤣
И соревнуются в retardmaxxing, да
Ну так руками пиши. Или мозг атрофировался и наступила полная профнепригодность что без аишки импотент?
На что они там расходуют-то их день и ночь?
У меня на работе безлимитный доступ к топовым моделям, кроме как пофиксить какой-то очень древний баг в коде который уже не помню и не использую.
Ну спросил ты ее насчёт чего-то, все равно потом сам всё пишешь руками и гуглишь когда надо.
В месяц хорошо если миллион токенов уходит, какие там лимиты, до них как до луны.
Или они там дают задания рою агентов типа "придумай стартап, изучи рынок, напиши весь код, задеплой, деньги класть сюда" и идут в потолок плевать?
ЗЫ.
Так-то и бесплатным чатгпт раз в месяц пользуюсь, обычно всё предпочитаю гуглить и изучать документации/стековерфлоу.
Если честно, не в теме о чем речь. Что за сервис?