И что ты с такой ерундой решаешь? Ну я запускал на i5-8350u и оно работает, только смысла от этого? Бесполезное сжигание времени и электричества.
Llama 3 70b он вспомнил старую, там только одни веса в q4 35 гб, а надо же ещё место под контекст, а лучше не q4... и придёшь к тому, что мак на 64 гб не решает этот вопрос никак. Много сейчас люди покупают маков на 128 гб, миллионы поди ;)) миллиарды.
А про электричество, тоже смотри дальше своего носа. У меня знакомый программист второй экран не ставит себе, потому что счёт за электричество будет дороже. Не у всех в мире оно стоит как у тебя копейки.
Вот когда майнили, почему по твоему в Европе это делали сильно меньше, чем в Сибири? Толщину подошвы считали или это тупо было не так выгодно?
Мои подсчёты, что не выгодно запускать ИИ дома. Это может быть интересно, увлекательно, залипательно, но не выгодно.
И да есть конечно случаи, когда или локально, или никак. Тут уже вопрос выгоды, дело второе, и снова я с тем что 8-16-32 гб это очень мало. Так только поиграться. И даже 64 гб тоже ерунда. А больше миллионы явно позволить не могут.
скажу даже больше как обладатель M1 Max 64 gb - все равно так только поиграться хватает )))) хотя и скорости лучше 400 ГБ/с по памяти. Тут недавно статья была - кластеры собирают из 2 макбуков по 16 гб оперативки... Вообщем баловство это все, почти как майнингом биткойна сейчас заниматься на ноутбуке - что то будет, но потери на электричестве - больше.
Те люди, кто у вас это спрашивают, не в теме... и все равно не разберутся скорее всего. Они только одно знают, "ооо, можно локально запустить и все будет дома, и "бесплатно" "))) а то что они получат так себе результат, их как будто не касается. Не тратьте на таких время.
В целом да, есть куча сайтов и да, как правило достаточно знать скорость памяти и провести несложный расчёт.
А так в целом, 16 гб очень мало, и 32 маловато, но что то уже можно запускать. Так в целом этот вопрос почти такой же как на уровне, а сколько intel 5 8350u генерирует токенов? 3-5 токенов с маленькой LLM, вопрос зачем оно вам?
Зачем это делается - понятно, видимо у вас реально малые потребности, что вам хватает и M1 у которого в целом пропускная способность памяти маленькая + объединяете. Мне интересно было для программирования и в целом готов сказать, что 27B модели еще пока не тянут нормально + квантизацию лучше использовать не 4, а 6 или 8 бит.
Понятно, что я даже решал что то на процессоре i5-8350U, но в целом если нет необходимости отказываться от внешних ИИ сетей - как бы не выгодно даже с точки зрения электричества использовать ИИ на своем железе. А если занавес, то да, тут без вариантов.
Какие потери из за сети? Я смотрел на подобное ролик примерное 3 месяца назад и там было 4 mac studio. И скажем так 4 компьютера были отнюдь не равны производительности каждого из них умноженного на 4. Вполне вероятно, что за это время реализация таких вычислений потянулась, но так или иначе сеть для этого - бутылочное горлышко.
P.s. вообще 28 гб мало, я вот так мак взял на 64 гб, думал, ну сейчас то что то произойдёт:). Ровным счётом 64 тоже мало, как и 32, что было до этого.
Тут я слегка не соглашусь, нормальные налоги. Куда важнее, на что они идут. Вот например институт бесплатно, это хорошо, или лучше платить меньше налогов немного и иметь возможность пойти туда?
P.s. речь не про то, что в Германии налоги идут только куда надо, я могу примеры плохие привести и со стороны России в том числе, а не целевом использовании средств, так и со стороны Германии.
Да, отлично, когда моей дочке немецкие дети говорят, что Гитлер русский, и типа все враки. То, что надо, зато про стену на каждом шагу что то есть, столбик, плакат и прочее.
Я эту статью читал и оригинал был не вконтакте. Касаемо стены, я сейчас живу в Берлине и посетил несколько музеев и так далее в том числе про стену. Так вот немцы прям превозносят ее как символ страданий. Но при этом молодёжь (дочка в школу ходит) напрочь забыла про Гитлера и прочее, считает это выдумкой. Они тупо заместили одно, другим.
В том то и дело, что в ней нет никакого лайфхака или чего то еще. Она сводится к громкому заголовку, а внутри просто, что бы запустить локалку - надо ее запустить. Вы что то новое узнали из нее?
P.s. у меня железо рядом 5500u и да я сначала такой, о, может мне про что то расскажут, про новый ROCm или что то еще, настройку видео памяти секретную. Шиш
Статья класная. Не хватает про: MLX и другие производные (типа oq4). И не хватает новинки рассказать, что там придумала Google (turbocache) и как в целом это уже реализовано (то есть даже в том же lm studio можно настроить kv cache). И если идти в эту сторону, что за что он отвечает и что же Google пытается решить.
И это смешно: "Уточнённые характеристики по результатам тестирования", то есть чтобы понять что это 1235u и так далее пришлось провести тесты, без них никак? ;)
"От батарейки PocketBook InkPad Eo работает от недели до десяти дней – при умеренной эксплуатации, то есть чтение + писанина по паре-тройке часов в день. Для сравнения: планшет с обычным ЖК-экраном при такой модели использования разрядится к вечеру. " - как то не получается. Уверен, что любой планшет не разрядится за 3 часа работы в день к вечеру. Я думаю какого нибудь iPad хватит дня на 4-5, может и больше. И тогда сравнение 5 дней против 7 дней уже не кажется таким колоссальным.
Не реклама, но все уже давно придумано и сделано, тот же VBR и он бесплатный до 10 пк. Проверка бекапов в нем встроена.
Так что твоё мнение - мнение дилетанта или новичка. Учи матчасть.
И что ты с такой ерундой решаешь? Ну я запускал на i5-8350u и оно работает, только смысла от этого? Бесполезное сжигание времени и электричества.
Llama 3 70b он вспомнил старую, там только одни веса в q4 35 гб, а надо же ещё место под контекст, а лучше не q4... и придёшь к тому, что мак на 64 гб не решает этот вопрос никак. Много сейчас люди покупают маков на 128 гб, миллионы поди ;)) миллиарды.
Да не ври ты про миллионы людей. Единицы
А про электричество, тоже смотри дальше своего носа. У меня знакомый программист второй экран не ставит себе, потому что счёт за электричество будет дороже. Не у всех в мире оно стоит как у тебя копейки.
Вот когда майнили, почему по твоему в Европе это делали сильно меньше, чем в Сибири? Толщину подошвы считали или это тупо было не так выгодно?
Мои подсчёты, что не выгодно запускать ИИ дома. Это может быть интересно, увлекательно, залипательно, но не выгодно.
И да есть конечно случаи, когда или локально, или никак. Тут уже вопрос выгоды, дело второе, и снова я с тем что 8-16-32 гб это очень мало. Так только поиграться. И даже 64 гб тоже ерунда. А больше миллионы явно позволить не могут.
скажу даже больше как обладатель M1 Max 64 gb - все равно так только поиграться хватает )))) хотя и скорости лучше 400 ГБ/с по памяти. Тут недавно статья была - кластеры собирают из 2 макбуков по 16 гб оперативки... Вообщем баловство это все, почти как майнингом биткойна сейчас заниматься на ноутбуке - что то будет, но потери на электричестве - больше.
Те люди, кто у вас это спрашивают, не в теме... и все равно не разберутся скорее всего. Они только одно знают, "ооо, можно локально запустить и все будет дома, и "бесплатно" "))) а то что они получат так себе результат, их как будто не касается. Не тратьте на таких время.
В целом да, есть куча сайтов и да, как правило достаточно знать скорость памяти и провести несложный расчёт.
А так в целом, 16 гб очень мало, и 32 маловато, но что то уже можно запускать. Так в целом этот вопрос почти такой же как на уровне, а сколько intel 5 8350u генерирует токенов? 3-5 токенов с маленькой LLM, вопрос зачем оно вам?
Зачем это делается - понятно, видимо у вас реально малые потребности, что вам хватает и M1 у которого в целом пропускная способность памяти маленькая + объединяете. Мне интересно было для программирования и в целом готов сказать, что 27B модели еще пока не тянут нормально + квантизацию лучше использовать не 4, а 6 или 8 бит.
Понятно, что я даже решал что то на процессоре i5-8350U, но в целом если нет необходимости отказываться от внешних ИИ сетей - как бы не выгодно даже с точки зрения электричества использовать ИИ на своем железе. А если занавес, то да, тут без вариантов.
Какие потери из за сети? Я смотрел на подобное ролик примерное 3 месяца назад и там было 4 mac studio. И скажем так 4 компьютера были отнюдь не равны производительности каждого из них умноженного на 4. Вполне вероятно, что за это время реализация таких вычислений потянулась, но так или иначе сеть для этого - бутылочное горлышко.
P.s. вообще 28 гб мало, я вот так мак взял на 64 гб, думал, ну сейчас то что то произойдёт:). Ровным счётом 64 тоже мало, как и 32, что было до этого.
Как же нет, а в 2022 что произошло, вот сколько беженцев, некоторые до сих пор не работают.
Тут я слегка не соглашусь, нормальные налоги. Куда важнее, на что они идут. Вот например институт бесплатно, это хорошо, или лучше платить меньше налогов немного и иметь возможность пойти туда?
P.s. речь не про то, что в Германии налоги идут только куда надо, я могу примеры плохие привести и со стороны России в том числе, а не целевом использовании средств, так и со стороны Германии.
Да, отлично, когда моей дочке немецкие дети говорят, что Гитлер русский, и типа все враки. То, что надо, зато про стену на каждом шагу что то есть, столбик, плакат и прочее.
Я эту статью читал и оригинал был не вконтакте. Касаемо стены, я сейчас живу в Берлине и посетил несколько музеев и так далее в том числе про стену. Так вот немцы прям превозносят ее как символ страданий. Но при этом молодёжь (дочка в школу ходит) напрочь забыла про Гитлера и прочее, считает это выдумкой. Они тупо заместили одно, другим.
В том то и дело, что в ней нет никакого лайфхака или чего то еще. Она сводится к громкому заголовку, а внутри просто, что бы запустить локалку - надо ее запустить. Вы что то новое узнали из нее?
P.s. у меня железо рядом 5500u и да я сначала такой, о, может мне про что то расскажут, про новый ROCm или что то еще, настройку видео памяти секретную. Шиш
Больше не делайте такие посты - это мусор, в нем нет ничего полезного.
Если я использую LLM, то мои промпты никуда не уходят. Поэтому название статьи неверное.
macbook на M1+ уже стал доступным вполне. Да, начальный уровень будет 16 гб, но в целом и M1 Max 32 Gb уже не так дорог.
Статья класная. Не хватает про: MLX и другие производные (типа oq4). И не хватает новинки рассказать, что там придумала Google (turbocache) и как в целом это уже реализовано (то есть даже в том же lm studio можно настроить kv cache). И если идти в эту сторону, что за что он отвечает и что же Google пытается решить.
И это смешно: "Уточнённые характеристики по результатам тестирования", то есть чтобы понять что это 1235u и так далее пришлось провести тесты, без них никак? ;)
Bios то зачем перевели? Чтобы в ТЗ писать некому не нужный, но обязательный пункт, "интерфейс базового вывода должен быть на русском языке"?
Работал я по тендерам с вами и без вас - это очень низко.
"От батарейки PocketBook InkPad Eo работает от недели до десяти дней – при умеренной эксплуатации, то есть чтение + писанина по паре-тройке часов в день. Для сравнения: планшет с обычным ЖК-экраном при такой модели использования разрядится к вечеру. " - как то не получается. Уверен, что любой планшет не разрядится за 3 часа работы в день к вечеру. Я думаю какого нибудь iPad хватит дня на 4-5, может и больше. И тогда сравнение 5 дней против 7 дней уже не кажется таким колоссальным.