Ну, и, да, hermes использую и сам - но квен27 для ежедневных задач (не кодинг) слишком туп. В итоге просто плачу гуглу за гемини 3.5 флеш по токенам и все равно выходит довольно дёшево.
А если у сяоми купить за 5 баксов план mimo-v2.5-pro то там такое количество токенов что жопой жрать не выжрать.
Можно ли запустить современную 27-миллиардную модель и полноценного автономного агента на паре серверных ускорителей 2017 года, установленных в обычный десктоп через переходники?
Но зачем эти пляски с некрожелезом если на 5090 на банальной ламецпп на квене 3.6-27b-UD-4_K_XL спокойно у меня выдает 100 токенов/с с mtp на 128к контексте (q8_0+q8_0) или даже на 256 контексте если собрать с форком turboquant и использовать turbo4+turbo3 квантизацию контекста.
На 4090 выдает 75 т/с. На 3090 примерно 50, но стоит поддержанная 3090 уже просто копейки.
Ну вот хоть мы с женой за них не голосуем и смотрим ютуб, но на фоне всей родни мы меньшинство и отщепенцы. Реально все оставшиеся в России родственниики не только голосуют за Пу и ЕР но еще и активно агитируют и нахваливают.
А по соцсетям расклад такой:
Мама перешла на вк и яндекс дзен как только заблочили ютуб. Выдал ей КВН, не использует - "вдруг чего, я не хочу быть в списках предателей", от греха подальше и "раз сказали нельзя значит нельзя". Плюс смотрит телевизор.
Бабушка смотрит только телевизор и читает "комсомольскую правду"
Тёща смотрит ютуб через КВН, но в основном всяких Z-блоггеров которых на отечественных ресурсах забанили.
Тесть принципиально (и С ГОРДОСТЬЮ) смотрит рутуб и говорит что "и правильно эту грязь западную запретили всю"
Моя родня и родня жены вообще живут в противоположных концах страны. Но лоялисты все поголовно.
Буквально вчера появились ггуфы с мтп головами для квена и геммы, а в ламе близок к мержу пиар по мтп. Собрал, погонял, на 3.6-27B производительность х2 почти. Шикарно.
В доступе на работе, если что, есть полностью безлимитные кодекс и опус - пользуйся не хочу.
Решительно не понимаю на что люди тратят миллионы токенов в день - я хорошо если в месяц сотню тысяч трачу.
В повседневной жизни, кстати, тоже почти не пользуюсь нейронками - в том числе бесплатным чатгпт, хорошо если пару раз в месяц - мне просто незачем. Считаю что проще и быстрее нагуглить, если надо разобраться в какой-то теме.
Спрашиваю нейронки только если уже несколько часов потратил и до ответа не докопаться.
О, Новик. Ни разу там не купался, но друзья на сапах катаются. Мы обычно когда на Русский ездили летом или на рынду/воеводу или на Тобизина ходили. Ну или тупо на Вятлина когда впадлу далеко ехать.
Давно в России не был, не знал что там теперь есть ресторан "Токио" во Владике 😋
Оффтоп: Кстати, особенно доставило год назад когда мне родственники скинули фотку сушачеченой "Тоёсу", а это именно ровно моя станция метро где сейчас живу. 🤣
Вот именно. Писал уже несколько раз на хабре в комментах. Есть полностью безлимитный доступ к фронтирным моделям на работе, даже миллиона токенов в месяц не использую. Руками гуглю, глазами читаю документацию по всем библиотекам, руками пишу весь код.
Что стало удобнее - ну, теперь можно не из браузера копировать куски если надо отрефакторить старый проект из лапши а оно само внутри vscode может это сделать. Потом все равно все вычитываю и руками правлю. Никаких автотестов, автодеплоев, итд - всё руками. Запустил, скопировал ошибку в чат, это максимум.
Не понимаю на что люди тратят дневные лимиты за час. Типа "придумай, напиши, собери, задеплой, что ли?"
Но, справедливости ради, я и бесплатный чатгпт использую хорошо если пару раз в месяц - обычно любые вопросы предпочитаю гуглить, шерстить реддиты/стековерфлоу/багтрекеры и спрашиваю ЧГ только если уже несколько часов потрачено а ответа не найти. Удивляет как некоторые коллеги уже сходу спрашивают ЧГ и ничего не гуглят.
А как тогда переезжают приличные люди? У меня большинство знакомых кто переехал в штаты - это только либо гринка либо H1-B.
Или вы всякие O-1 имели в виду?
Спасибо! 🙏🏻🙏🏻🙏🏻
Облачные пробовали, качество сравнивали? Seedance, Gemini, Veo3 итд?
Чем смотрите репутацию айпи?
Ну, и, да, hermes использую и сам - но квен27 для ежедневных задач (не кодинг) слишком туп. В итоге просто плачу гуглу за гемини 3.5 флеш по токенам и все равно выходит довольно дёшево.
А если у сяоми купить за 5 баксов план mimo-v2.5-pro то там такое количество токенов что
жопой жратьне выжрать.Экономику своего решения посчитайте
Но зачем эти пляски с некрожелезом если на 5090 на банальной ламецпп на квене 3.6-27b-UD-4_K_XL спокойно у меня выдает 100 токенов/с с mtp на 128к контексте (q8_0+q8_0) или даже на 256 контексте если собрать с форком turboquant и использовать turbo4+turbo3 квантизацию контекста.
На 4090 выдает 75 т/с. На 3090 примерно 50, но стоит поддержанная 3090 уже просто копейки.
У родственников во Владивостоке уже год как даже не резолвится днс у него на проводном интернете. Уже давно заблокирован а не замедлен.
Ну вот хоть мы с женой за них не голосуем и смотрим ютуб, но на фоне всей родни мы меньшинство и отщепенцы. Реально все оставшиеся в России родственниики не только голосуют за Пу и ЕР но еще и активно агитируют и нахваливают.
А по соцсетям расклад такой:
Мама перешла на вк и яндекс дзен как только заблочили ютуб. Выдал ей КВН, не использует - "вдруг чего, я не хочу быть в списках предателей", от греха подальше и "раз сказали нельзя значит нельзя". Плюс смотрит телевизор.
Бабушка смотрит только телевизор и читает "комсомольскую правду"
Тёща смотрит ютуб через КВН, но в основном всяких Z-блоггеров которых на отечественных ресурсах забанили.
Тесть принципиально (и С ГОРДОСТЬЮ) смотрит рутуб и говорит что "и правильно эту грязь западную запретили всю"
Моя родня и родня жены вообще живут в противоположных концах страны. Но лоялисты все поголовно.
Моя любимая игра детства! Но есть нюанс: в переводе про Ленина.
Там где "патрончики", "ГОРЮ ГОРЮ ААААА", переведены все надписи типа "лепрозорий", итд.
До сих пор храню ее на своем компе, иногда поигрываю. 🥰
https://youtu.be/7G3mpjxiAjo?si=1qn8kfZlmtW8molW
Скрытый текст
Почему-то ютуб видео не вставляется
Буквально вчера появились ггуфы с мтп головами для квена и геммы, а в ламе близок к мержу пиар по мтп. Собрал, погонял, на 3.6-27B производительность х2 почти. Шикарно.
Пишу сам руками всё, гуглю, доки читаю глазами.
В доступе на работе, если что, есть полностью безлимитные кодекс и опус - пользуйся не хочу.
Решительно не понимаю на что люди тратят миллионы токенов в день - я хорошо если в месяц сотню тысяч трачу.
В повседневной жизни, кстати, тоже почти не пользуюсь нейронками - в том числе бесплатным чатгпт, хорошо если пару раз в месяц - мне просто незачем. Считаю что проще и быстрее нагуглить, если надо разобраться в какой-то теме.
Спрашиваю нейронки только если уже несколько часов потратил и до ответа не докопаться.
Скрытый текст
о̶̓͐ͩ̐̀̀̚͏̝͍͈̘͕н̶̦̞̲̲̰̿ͪͤͮͮ́͜͞й̸̢̡͉̻̲͓͙̂̓̊̆͘ ͂̐ͫ̍̒́͠͞҉͖͍̩̦̜и̶̗̠̰̭̬ͨͩ̈ͣͫ́͢͡д̸̷̵͇̺͇̲̝̾̊̈̅̇̕ӯ̴̥̫̥̭̻͒̀̿ͨ͟͢͠т̡̧̻̼̣ͥͤͪ̽̅̀̀ͅͅ
Дизайна интерфейса уровня анналов (оба варианта "н") опенсорса 🤣
Я же написал что не бесплатные использую на работе. Гпт 5.5, опус 4.7 - все равно руками всё делаю
О, Новик. Ни разу там не купался, но друзья на сапах катаются. Мы обычно когда на Русский ездили летом или на рынду/воеводу или на Тобизина ходили. Ну или тупо на Вятлина когда впадлу далеко ехать.
Давно в России не был, не знал что там теперь есть ресторан "Токио" во Владике 😋
Оффтоп:
Кстати, особенно доставило год назад когда мне родственники скинули фотку сушачеченой "Тоёсу", а это именно ровно моя станция метро где сейчас живу. 🤣
Тоёсу прямо сейчас
Как жителю Токио вы мне мозг сломали. При том что я жил до этого несколько лет и во Владивостоке тоже. 🫠
Вот для этого я сам есть, зачем мне нейронка? Тем более что после нее в голове ничего не останется, а после ручного изучения темы - знания.
Вот именно. Писал уже несколько раз на хабре в комментах. Есть полностью безлимитный доступ к фронтирным моделям на работе, даже миллиона токенов в месяц не использую. Руками гуглю, глазами читаю документацию по всем библиотекам, руками пишу весь код.
Что стало удобнее - ну, теперь можно не из браузера копировать куски если надо отрефакторить старый проект из лапши а оно само внутри vscode может это сделать. Потом все равно все вычитываю и руками правлю. Никаких автотестов, автодеплоев, итд - всё руками. Запустил, скопировал ошибку в чат, это максимум.
Не понимаю на что люди тратят дневные лимиты за час. Типа "придумай, напиши, собери, задеплой, что ли?"
Но, справедливости ради, я и бесплатный чатгпт использую хорошо если пару раз в месяц - обычно любые вопросы предпочитаю гуглить, шерстить реддиты/стековерфлоу/багтрекеры и спрашиваю ЧГ только если уже несколько часов потрачено а ответа не найти. Удивляет как некоторые коллеги уже сходу спрашивают ЧГ и ничего не гуглят.
И эта игра называется Constructor (и был недавно очень-очень годный ремейк Constructor Plus 2019 года)
И rtx5090 с 32гб под новые большие модели даже в квантизаци не хватает. Надо было брать мак студио на 512 когда были дешевле
Сейчас аишку разрешат и будут удваивать каждые два месяца. И всё будет на TypeScript 🤡
Недавно в репу openclaw зашёл - там в среднем коммит раз в пару минут и сама репа уже под гигабайт весит (хотя ей три месяца).
Линупс не должен отставать! 🤣