скажу даже больше как обладатель M1 Max 64 gb - все равно так только поиграться хватает )))) хотя и скорости лучше 400 ГБ/с по памяти. Тут недавно статья была - кластеры собирают из 2 макбуков по 16 гб оперативки... Вообщем баловство это все, почти как майнингом биткойна сейчас заниматься на ноутбуке - что то будет, но потери на электричестве - больше.
Те люди, кто у вас это спрашивают, не в теме... и все равно не разберутся скорее всего. Они только одно знают, "ооо, можно локально запустить и все будет дома, и "бесплатно" "))) а то что они получат так себе результат, их как будто не касается. Не тратьте на таких время.
В целом да, есть куча сайтов и да, как правило достаточно знать скорость памяти и провести несложный расчёт.
А так в целом, 16 гб очень мало, и 32 маловато, но что то уже можно запускать. Так в целом этот вопрос почти такой же как на уровне, а сколько intel 5 8350u генерирует токенов? 3-5 токенов с маленькой LLM, вопрос зачем оно вам?
Зачем это делается - понятно, видимо у вас реально малые потребности, что вам хватает и M1 у которого в целом пропускная способность памяти маленькая + объединяете. Мне интересно было для программирования и в целом готов сказать, что 27B модели еще пока не тянут нормально + квантизацию лучше использовать не 4, а 6 или 8 бит.
Понятно, что я даже решал что то на процессоре i5-8350U, но в целом если нет необходимости отказываться от внешних ИИ сетей - как бы не выгодно даже с точки зрения электричества использовать ИИ на своем железе. А если занавес, то да, тут без вариантов.
Какие потери из за сети? Я смотрел на подобное ролик примерное 3 месяца назад и там было 4 mac studio. И скажем так 4 компьютера были отнюдь не равны производительности каждого из них умноженного на 4. Вполне вероятно, что за это время реализация таких вычислений потянулась, но так или иначе сеть для этого - бутылочное горлышко.
P.s. вообще 28 гб мало, я вот так мак взял на 64 гб, думал, ну сейчас то что то произойдёт:). Ровным счётом 64 тоже мало, как и 32, что было до этого.
Тут я слегка не соглашусь, нормальные налоги. Куда важнее, на что они идут. Вот например институт бесплатно, это хорошо, или лучше платить меньше налогов немного и иметь возможность пойти туда?
P.s. речь не про то, что в Германии налоги идут только куда надо, я могу примеры плохие привести и со стороны России в том числе, а не целевом использовании средств, так и со стороны Германии.
Да, отлично, когда моей дочке немецкие дети говорят, что Гитлер русский, и типа все враки. То, что надо, зато про стену на каждом шагу что то есть, столбик, плакат и прочее.
Я эту статью читал и оригинал был не вконтакте. Касаемо стены, я сейчас живу в Берлине и посетил несколько музеев и так далее в том числе про стену. Так вот немцы прям превозносят ее как символ страданий. Но при этом молодёжь (дочка в школу ходит) напрочь забыла про Гитлера и прочее, считает это выдумкой. Они тупо заместили одно, другим.
В том то и дело, что в ней нет никакого лайфхака или чего то еще. Она сводится к громкому заголовку, а внутри просто, что бы запустить локалку - надо ее запустить. Вы что то новое узнали из нее?
P.s. у меня железо рядом 5500u и да я сначала такой, о, может мне про что то расскажут, про новый ROCm или что то еще, настройку видео памяти секретную. Шиш
Статья класная. Не хватает про: MLX и другие производные (типа oq4). И не хватает новинки рассказать, что там придумала Google (turbocache) и как в целом это уже реализовано (то есть даже в том же lm studio можно настроить kv cache). И если идти в эту сторону, что за что он отвечает и что же Google пытается решить.
И это смешно: "Уточнённые характеристики по результатам тестирования", то есть чтобы понять что это 1235u и так далее пришлось провести тесты, без них никак? ;)
"От батарейки PocketBook InkPad Eo работает от недели до десяти дней – при умеренной эксплуатации, то есть чтение + писанина по паре-тройке часов в день. Для сравнения: планшет с обычным ЖК-экраном при такой модели использования разрядится к вечеру. " - как то не получается. Уверен, что любой планшет не разрядится за 3 часа работы в день к вечеру. Я думаю какого нибудь iPad хватит дня на 4-5, может и больше. И тогда сравнение 5 дней против 7 дней уже не кажется таким колоссальным.
скажу даже больше как обладатель M1 Max 64 gb - все равно так только поиграться хватает )))) хотя и скорости лучше 400 ГБ/с по памяти. Тут недавно статья была - кластеры собирают из 2 макбуков по 16 гб оперативки... Вообщем баловство это все, почти как майнингом биткойна сейчас заниматься на ноутбуке - что то будет, но потери на электричестве - больше.
Те люди, кто у вас это спрашивают, не в теме... и все равно не разберутся скорее всего. Они только одно знают, "ооо, можно локально запустить и все будет дома, и "бесплатно" "))) а то что они получат так себе результат, их как будто не касается. Не тратьте на таких время.
В целом да, есть куча сайтов и да, как правило достаточно знать скорость памяти и провести несложный расчёт.
А так в целом, 16 гб очень мало, и 32 маловато, но что то уже можно запускать. Так в целом этот вопрос почти такой же как на уровне, а сколько intel 5 8350u генерирует токенов? 3-5 токенов с маленькой LLM, вопрос зачем оно вам?
Зачем это делается - понятно, видимо у вас реально малые потребности, что вам хватает и M1 у которого в целом пропускная способность памяти маленькая + объединяете. Мне интересно было для программирования и в целом готов сказать, что 27B модели еще пока не тянут нормально + квантизацию лучше использовать не 4, а 6 или 8 бит.
Понятно, что я даже решал что то на процессоре i5-8350U, но в целом если нет необходимости отказываться от внешних ИИ сетей - как бы не выгодно даже с точки зрения электричества использовать ИИ на своем железе. А если занавес, то да, тут без вариантов.
Какие потери из за сети? Я смотрел на подобное ролик примерное 3 месяца назад и там было 4 mac studio. И скажем так 4 компьютера были отнюдь не равны производительности каждого из них умноженного на 4. Вполне вероятно, что за это время реализация таких вычислений потянулась, но так или иначе сеть для этого - бутылочное горлышко.
P.s. вообще 28 гб мало, я вот так мак взял на 64 гб, думал, ну сейчас то что то произойдёт:). Ровным счётом 64 тоже мало, как и 32, что было до этого.
Как же нет, а в 2022 что произошло, вот сколько беженцев, некоторые до сих пор не работают.
Тут я слегка не соглашусь, нормальные налоги. Куда важнее, на что они идут. Вот например институт бесплатно, это хорошо, или лучше платить меньше налогов немного и иметь возможность пойти туда?
P.s. речь не про то, что в Германии налоги идут только куда надо, я могу примеры плохие привести и со стороны России в том числе, а не целевом использовании средств, так и со стороны Германии.
Да, отлично, когда моей дочке немецкие дети говорят, что Гитлер русский, и типа все враки. То, что надо, зато про стену на каждом шагу что то есть, столбик, плакат и прочее.
Я эту статью читал и оригинал был не вконтакте. Касаемо стены, я сейчас живу в Берлине и посетил несколько музеев и так далее в том числе про стену. Так вот немцы прям превозносят ее как символ страданий. Но при этом молодёжь (дочка в школу ходит) напрочь забыла про Гитлера и прочее, считает это выдумкой. Они тупо заместили одно, другим.
В том то и дело, что в ней нет никакого лайфхака или чего то еще. Она сводится к громкому заголовку, а внутри просто, что бы запустить локалку - надо ее запустить. Вы что то новое узнали из нее?
P.s. у меня железо рядом 5500u и да я сначала такой, о, может мне про что то расскажут, про новый ROCm или что то еще, настройку видео памяти секретную. Шиш
Больше не делайте такие посты - это мусор, в нем нет ничего полезного.
Если я использую LLM, то мои промпты никуда не уходят. Поэтому название статьи неверное.
macbook на M1+ уже стал доступным вполне. Да, начальный уровень будет 16 гб, но в целом и M1 Max 32 Gb уже не так дорог.
Статья класная. Не хватает про: MLX и другие производные (типа oq4). И не хватает новинки рассказать, что там придумала Google (turbocache) и как в целом это уже реализовано (то есть даже в том же lm studio можно настроить kv cache). И если идти в эту сторону, что за что он отвечает и что же Google пытается решить.
И это смешно: "Уточнённые характеристики по результатам тестирования", то есть чтобы понять что это 1235u и так далее пришлось провести тесты, без них никак? ;)
Bios то зачем перевели? Чтобы в ТЗ писать некому не нужный, но обязательный пункт, "интерфейс базового вывода должен быть на русском языке"?
Работал я по тендерам с вами и без вас - это очень низко.
"От батарейки PocketBook InkPad Eo работает от недели до десяти дней – при умеренной эксплуатации, то есть чтение + писанина по паре-тройке часов в день. Для сравнения: планшет с обычным ЖК-экраном при такой модели использования разрядится к вечеру. " - как то не получается. Уверен, что любой планшет не разрядится за 3 часа работы в день к вечеру. Я думаю какого нибудь iPad хватит дня на 4-5, может и больше. И тогда сравнение 5 дней против 7 дней уже не кажется таким колоссальным.
Тогда может вы там "наворотили" если такое в доке не прочитали :)? Придумали "велосипеды"
Claude code с glm работает как родной, и это появилось сильно раньше новости про ollama
Можно было и не тестировать, так как 8080 был близок (немного отставал) от Z80, а его мы знаем по многим проектам, но только ZX Spectrum.
5700u это уже не производительный. Хотя бы 5725u/5800u, они на других ядрах.