Эх, я вспоминаю был у меня мак мини 2013 кажется, а может 2012. В нём была планка памяти на 4, я поставил 2 по 8 и стало 16. С завода стоял жёсткий диск, а я поставил ссд 2.5, но это не всё, продавался шлейф чтобы второй диск поставить и я террабайт hdd поставил. В общем в таком маленьком корпусе пк прокачал и он несколько лет меня радовал, вот такие времена, а сейчас всё запаяно везде.
Недавно купил бу делл 3420, тоже на удивление и память и диск, даже батарейка расширенная, весь его пересобрал, ща красивый помощник переносной и Ethernet и hdmi без переходников, но сейчас такое редко, виндобуки тоже все распаяны, ссд только меняется.
Я пытался запустить 3.8 27B, может не ту сборку скачал - выкачивал на lm studio а потом подкладывал в llama, MTP тоже подкладывал, при заполнении контекста на 15000 токенов она выдает 7 т/сек, но тут уже люди покидали ссылки на разные модели и инструкции по их запуску, следующие выходные буду снова ставить опыты. И спасибо за совет, попробую.
Я даже на десктопе отказался от Windows, т.к. с 11й ну очень любит бустить мой процессор по пустякам, то там атималвари сервис активируется, то какие то обновления в фоне качает и устанавливает. На данный момент под нагрузкой вижу потребление около 60 ватт (только видяха нагружена) и температура выше 55 не поднимается. Я кстати на своем аппарате менял термопасту, начитался отзывов что там она вся просохла, на памяти термопрокладки, их не трогал.
Меня наверное обманули поисковики, сказав что mtp модели на вулкане нестабильные. По моим тестам rocm в 1.5-2 раза быстрее prefill делает на квен кодер, но он вероятно старый, не умеет с этим работать. В общем, оба варианта сосуществуют идеально.
Я столкнулся с интересной штукой, когда ставил compute, то у меня amdgpu в blacklist добавился, хотя может просто глюк, разные версии перебирал, изначально из статьи амд про кластер на minisforum с таким же процессором
Я сталкивался когда ии не может решить проблему которую создал и когда сам хочешь починить то ничего не понимаешь и ии тоже не понимает что тут происходит.
А контекст пробовали на 15000 хотя бы загрузить? Я просто подключаю это к плагину на vscode, пишу ему сделать это и то, тз такое с указанием всей логики, используемых библиотек, в какой папке конфиги, а в какой шаблоны и он пошёл там шуршать, сам папки создает, файлы, заполняет, инициализирует venv... И вполне терпимо по скорости.
Это еще хорошо что такие как вы остались, а то сейчас sdd все внедряют, ну типа спеки накидал, код не вычитывать просто покрыть тестами, в идеале аналитик что-то пишет и всё само до прома едет. А где выстрелит это уже не важно, главное тесты проходят успешно, иногда и тесты тем же ии накатаны и спека. И главный посыл - если ты пишешь код руками значит устарел. Даже вон Р Мартин призвал код не вычитывать. Я понимаю если тестов х10 больше чем кода и всё руками покрыто, то можно 90% багов покрыть, но тогда эффективность как будто не растет, чем меньше доверия к коду тем сильнее его тестировать. И чем тупее исполнитель, тем больше слов в аналитике/спеке нужно. Особенно когда малюсенькая ошибка это кучи денег в финтехе.
Qwen A3B, вчера вот я даже не то что своими инференсами (и на работе), а облачные использовал чтобы решить проблему на своем компе... Ситуация такая, у меня amd c ai встройкой, там вместо CUDA используется Rocm или Vulkan, я просто сделал apt update и всё перестало работать... Если бы я просто погуглил, нашел пару постов на реддите, нашел бы на гитхабе скрипты запуска с особыми параметрами на всякие LD_DIR (откуда брать библиотеки), то я бы это решил ну за минут 40... Но я по своей лени решил пообщаться с облачными ИИ, гугл в режиме ИИ, квен, дипсик... Модели утверждали что у меня версия драйвера 10, а надо 7.2 ставить, оно будет работать, они советовали мне с разными флагами стартануть, потом вообще модель говорила что системные библиотеки мешают, т.к. в llama есть свои, но она из системы берет если там есть и тогда не состыковывается, мне советовало разные параметры запуска в GRUB прописать, мы даже ядро перезаписывали, мы всяко вычищали систему от лишних пакетов... В общем рассказывать долго, но с полной уверенностью, со всякими обоснованиями разные ИИ давали мне разные советы. Я в итоге даже линукс переустановил и всё с нуля настроил, но оно не работает. Прошло примерно 8 часов, я уже досадно злой, истощенный, решаю проблему сам наткнувшись на реддит, скотпты запускаторы на хабре, и о чудо, работает))) Кажется, мои опыты стоят очередной статьи, чтобы другие люди не мучались, я еще сравню разные модели на разных llama)))
Мне особенно страшно что ты можешь часами не хоткеи нажимать, а строчить сообщения на естественном языке, как с собеседником. Sout в idea превращается в 3 слова, конструкторы, исключения, гетеры и сеттеры быстро пишутся, а вот ии думает долго и пытаешься следить что тут наворотили, и писать ой это исправить и то... И чтобы сделать быстрое действие ты пишешь поэмы русским текстом или английским, но он длиннее кода, сложнее набирается и ещё требует ожидания... Ещё иногда он говорит прости, извини, я знаю в чем дело, исправляет, ты ждёшь, а не помогает и он способен 20 часов тебя держать типа ещё немного и в финале сам зайдёшь в этот код, а он огромный и непонятный и ты его тоже не можешь исправить. А потом ещё и ещё итерации, ты переписываешься как с живым человеком часами, днями, и начинаешь уже ругаться с ним, он не понимает спеки, плывёт в тз, для общения с ним ты меняешь стиль общения, становишься многословным и избыточным, потом с живыми людьми общаешься как с тупыми роботами))) У меня была ситуация когда он такой ща удалю лишнее и снёс десятки функций, потом говорит ой я лишнее сделал, восстаналивать и по памяти символы путать.
Это навык 2025 года, сейчас уже всякие спеки люди учатся писать не для людей, а для роботов, иногда надо 20 раз переформулировать, чтобы тебя как надо поняли и сделали то что нужно.
Мне не очень идея звонить в мессенджер, может я устарел...
Смс и мессенджеры это когда не хочешь отвлекать людей, написал, как удобно так и ответят.
А если человек не читает сообщения, тогда и набрал его.
Ну и качество звонков в моем городе редко где было хорошим по интернету, там же надо хороший пинг и скорость чтобы не крякало, а вот голосовая связь всегда стабильно, даже если в этом парке ловит только Е.
Я тоже продавал харды с файлопомойки - /dev/random через dd проходил, рабочая тема)
Только вот файлопомойку желательно бы зеркалировать, но такдля неважных данных пойдёт.
Эх, я вспоминаю был у меня мак мини 2013 кажется, а может 2012. В нём была планка памяти на 4, я поставил 2 по 8 и стало 16. С завода стоял жёсткий диск, а я поставил ссд 2.5, но это не всё, продавался шлейф чтобы второй диск поставить и я террабайт hdd поставил. В общем в таком маленьком корпусе пк прокачал и он несколько лет меня радовал, вот такие времена, а сейчас всё запаяно везде.
Недавно купил бу делл 3420, тоже на удивление и память и диск, даже батарейка расширенная, весь его пересобрал, ща красивый помощник переносной и Ethernet и hdmi без переходников, но сейчас такое редко, виндобуки тоже все распаяны, ссд только меняется.
Я пытался запустить 3.8 27B, может не ту сборку скачал - выкачивал на lm studio а потом подкладывал в llama, MTP тоже подкладывал, при заполнении контекста на 15000 токенов она выдает 7 т/сек, но тут уже люди покидали ссылки на разные модели и инструкции по их запуску, следующие выходные буду снова ставить опыты. И спасибо за совет, попробую.
Я даже на десктопе отказался от Windows, т.к. с 11й ну очень любит бустить мой процессор по пустякам, то там атималвари сервис активируется, то какие то обновления в фоне качает и устанавливает. На данный момент под нагрузкой вижу потребление около 60 ватт (только видяха нагружена) и температура выше 55 не поднимается. Я кстати на своем аппарате менял термопасту, начитался отзывов что там она вся просохла, на памяти термопрокладки, их не трогал.
Меня наверное обманули поисковики, сказав что mtp модели на вулкане нестабильные. По моим тестам rocm в 1.5-2 раза быстрее prefill делает на квен кодер, но он вероятно старый, не умеет с этим работать. В общем, оба варианта сосуществуют идеально.
Я столкнулся с интересной штукой, когда ставил compute, то у меня amdgpu в blacklist добавился, хотя может просто глюк, разные версии перебирал, изначально из статьи амд про кластер на minisforum с таким же процессором
Я сталкивался когда ии не может решить проблему которую создал и когда сам хочешь починить то ничего не понимаешь и ии тоже не понимает что тут происходит.
Я недавно на ностальгии купил плеер который был у меня в молодости, есть в этом что-то, достать коробочку красивую, вставить диск и включить...
А контекст пробовали на 15000 хотя бы загрузить? Я просто подключаю это к плагину на vscode, пишу ему сделать это и то, тз такое с указанием всей логики, используемых библиотек, в какой папке конфиги, а в какой шаблоны и он пошёл там шуршать, сам папки создает, файлы, заполняет, инициализирует venv... И вполне терпимо по скорости.
Это которая а3b? Тоже ее хочу испытать, и за ссылку спасибо, там даже 3.8 27b умудряются на 50 токенов запустить, попробую оламу вместо ламы.
Посмотрел картинку с бенчмарками, интересно что мой любимый php не на самом низу и даже обгоняет питон
Это еще хорошо что такие как вы остались, а то сейчас sdd все внедряют, ну типа спеки накидал, код не вычитывать просто покрыть тестами, в идеале аналитик что-то пишет и всё само до прома едет. А где выстрелит это уже не важно, главное тесты проходят успешно, иногда и тесты тем же ии накатаны и спека. И главный посыл - если ты пишешь код руками значит устарел. Даже вон Р Мартин призвал код не вычитывать. Я понимаю если тестов х10 больше чем кода и всё руками покрыто, то можно 90% багов покрыть, но тогда эффективность как будто не растет, чем меньше доверия к коду тем сильнее его тестировать. И чем тупее исполнитель, тем больше слов в аналитике/спеке нужно. Особенно когда малюсенькая ошибка это кучи денег в финтехе.
Мне больше фф 3й нравился, а до этого были версии типа 1.4... А потом пошло поехало в день по три раза обновление качать.
Qwen A3B, вчера вот я даже не то что своими инференсами (и на работе), а облачные использовал чтобы решить проблему на своем компе... Ситуация такая, у меня amd c ai встройкой, там вместо CUDA используется Rocm или Vulkan, я просто сделал apt update и всё перестало работать... Если бы я просто погуглил, нашел пару постов на реддите, нашел бы на гитхабе скрипты запуска с особыми параметрами на всякие LD_DIR (откуда брать библиотеки), то я бы это решил ну за минут 40...
Но я по своей лени решил пообщаться с облачными ИИ, гугл в режиме ИИ, квен, дипсик...
Модели утверждали что у меня версия драйвера 10, а надо 7.2 ставить, оно будет работать, они советовали мне с разными флагами стартануть, потом вообще модель говорила что системные библиотеки мешают, т.к. в llama есть свои, но она из системы берет если там есть и тогда не состыковывается, мне советовало разные параметры запуска в GRUB прописать, мы даже ядро перезаписывали, мы всяко вычищали систему от лишних пакетов... В общем рассказывать долго, но с полной уверенностью, со всякими обоснованиями разные ИИ давали мне разные советы. Я в итоге даже линукс переустановил и всё с нуля настроил, но оно не работает. Прошло примерно 8 часов, я уже досадно злой, истощенный, решаю проблему сам наткнувшись на реддит, скотпты запускаторы на хабре, и о чудо, работает))) Кажется, мои опыты стоят очередной статьи, чтобы другие люди не мучались, я еще сравню разные модели на разных llama)))
Мне особенно страшно что ты можешь часами не хоткеи нажимать, а строчить сообщения на естественном языке, как с собеседником. Sout в idea превращается в 3 слова, конструкторы, исключения, гетеры и сеттеры быстро пишутся, а вот ии думает долго и пытаешься следить что тут наворотили, и писать ой это исправить и то... И чтобы сделать быстрое действие ты пишешь поэмы русским текстом или английским, но он длиннее кода, сложнее набирается и ещё требует ожидания... Ещё иногда он говорит прости, извини, я знаю в чем дело, исправляет, ты ждёшь, а не помогает и он способен 20 часов тебя держать типа ещё немного и в финале сам зайдёшь в этот код, а он огромный и непонятный и ты его тоже не можешь исправить. А потом ещё и ещё итерации, ты переписываешься как с живым человеком часами, днями, и начинаешь уже ругаться с ним, он не понимает спеки, плывёт в тз, для общения с ним ты меняешь стиль общения, становишься многословным и избыточным, потом с живыми людьми общаешься как с тупыми роботами))) У меня была ситуация когда он такой ща удалю лишнее и снёс десятки функций, потом говорит ой я лишнее сделал, восстаналивать и по памяти символы путать.
Уже ии нас заменил, есть у вас курсы сварщика или сантехника, плиточника?
Это навык 2025 года, сейчас уже всякие спеки люди учатся писать не для людей, а для роботов, иногда надо 20 раз переформулировать, чтобы тебя как надо поняли и сделали то что нужно.
Мне не очень идея звонить в мессенджер, может я устарел...
Смс и мессенджеры это когда не хочешь отвлекать людей, написал, как удобно так и ответят.
А если человек не читает сообщения, тогда и набрал его.
Ну и качество звонков в моем городе редко где было хорошим по интернету, там же надо хороший пинг и скорость чтобы не крякало, а вот голосовая связь всегда стабильно, даже если в этом парке ловит только Е.
Ну когда видео драйвера сделают, тогда и куплю себе макбук.