Потреб материнки не умеют прямой обмен GPU - CPU - GPU, они все обязательно гонят через ОЗУ.
Сейчас проще взять серверную мат плату и эпик прошлых поколений, вы получаете полноценные слоты PCIe 4x16, эпики отлично держать все эти линии и соответственно поддержка всех серверных фич на уровне инференсов vLLM и т.п.
Для меня локальный инференс это не экономия на токенах, а подстелить соломки если отрубят интернет. Тот же claude code за 100$ в месяц может кодить 24/7, но нужна нормальная обвязка в виде vpn, gmail и карта американская для оплаты, что очень затруднительно в современных реалиях. В остальных случаях можно улететь в бан. Но ребята из kimi спасают, есть проблема с оплатой, но за то не надо парится с региональной маскировкой.
Сейчас мой топ QWEN 3.6 27B, квант Q6 на llama.cpp с включенным MTP на двух 5070 ti выдает 60-70t/s генерации на задаче кодирования, творческие ~45t/s. Когда замержат турбоквант от гугла и MTP в основную ветку, тогда на том же оборудовании контекст будет под сотку и запускаться будет без танцев с бубном.
Я выбрал 5070 ti так как сейчас они дороже 3090 всего на 20-30тыс, и я покупаю их новые с гарантией, плюс новые чипы поддерживают все новые фишки, что может значительно ускорять инференс. И существует опасность того, что в ближашие годы 3090 просто выпилят из новых библиотек и будем мучаться собирая все из исходников, как случилось с tesla v100.
В общем всем удачи, а я же чуть позже докуплю еще пару 5070 ti и поставлю всю сборку на кастомную воду.
Всегда интересны статьи такого толка и комментарии, все дружно обсуждают как автор прав, а стоит выразить мнение отличное от автора, так сразу куча минусов. И обычно я захожу в профиль человека, смотрю о чем он пишет, может он 30 лет живет в Китае и знает изнутри всю историю WeChat, или просто ему статью написал ChatGPT следуя текущим общепризнанным наративам, чтобы влететь в топ на хайповой теме. По мне статья написана для хайпа, и именно для него, а если вы думаете иначе, можете аргументировать свое мнение. Пока же я вижу, что автор "человек-оркестр".
Давно не пишу тут комментарии, токсичность людей просто зашкаливает. Особенно в определенных темах. Да и вообще почти перестал читать этот портал, лучше уж книги.
Сразу скажу, я не защитник сбера, их ИИ модели слабоваты, но я не тестил только что вышедшие, говорят новые эмбеддинги топ с русским языком, но это надо перепроверить. Но вот ваши утверждения про 1060 и никому это не надо, такой себе аргумент, который легко опровергается если заглянуть на huggingface. Плюс их новая TTS модель, правда не opensource, легко затыкает за пояс практически любые зарубежные аналоги.
Ну вот видим, что не так страшен черт, как его малюют. Человека заминусовали, а он то по факту прав. Тем более никто при обновлении платформы не заставляет повышать режим совместимости.
А можно конкретнее, никогда не сталкивался с проблемами при обновлении платформы. Мы же конфигурацию не трогаем, внутри режим совместимости так и остается.
1С не ЯП, и он создавался не для программистов в нормальном понимании этого слова.
А что значит "в нормальном понимании этого слова" или это ваше субьективное мнение, можно прямо определение нормального ЯП для программистов.
1С это черная коробка, по всем понятиям.
По каким понятиям?
на 1С легко написать плохо именно потому, что 1С плоха во всем (дизайне, архитектуре, инструментах)
Ну то есть на других ЯП нельзя написать запрос в цикле? Положить базу корявым sql запросом? Все это можно и очень просто.
реальности, написать быстро можно на многих стеках, без особой подготовки, JS / Python / Java / GO / PHP
Лично я сейчас часто пишу реально быстро простотип на 1С, а потом переношу в Nuxt + Django. И без особой подготовки и тем более опыта, вы не напишите с такой же скоростью как на 1С, особенно фронт. Допустим, чтобы добавить кнопку вам надо написать тег, стилизовать его при помощи css плюс привязать js функцию обработчик нажатия. В 1С это делается в несколько кликов вообще без написания кода. И таких примеров много.
Мне вот про нападения интересно. Вы в полиции работаете, чтобы делать такие выводы? Или это ваше субъективное мнение никак не коррелируещее с цифрами? А то "диваном" прямо попахивает. Я лично не спец в этом вопросе, вот и не пишу комменты.
Зачем все эти переводы кода на другой язык? Ведь если взять носителя английского языка, то он при чтении кода на английском, видит по факту то же, что и носитель русского языка при чтении кода на русском. А тут получается ради эфимерной возможности продать конфигурацию за рубеж, 1с подстраивается под англоязычных разработчиков.
Честно говоря, то что вы описали — это не бизнес. Это самозянятость и тут устать можно очень быстро. Бизнес — это когда уже нанял сотрудников и занимаешься не настройкой директа, а стратегическим планированием. Сам нахожусь в переходном этапе, от самозанятости к бизнесу. Многие ваши советы в статье просто +++, особенно договорные отношения.
1. На своих 6 сотках выращиваю селекционный картофель, каждый год дает отличнейший урожай, потери свойств за более чем 10 лет использования не заметил. Жуки его едят с удовольствием, так что приходится бороться химией. Вот и думай что хуже, химия или ГМО )
Это как гонка природы и фармацевтов. Вроде недавно нашли кишечную палочку устойчивую к антибиотикам, как пример. Получили денег, сделали картофель который не едят жуки, прошло 2-3 года, жуки опять едят, опять получили денег, сделали картофель который не едят жуки. Меня вот не прельщает перспектива раз в год идти в аптеку за новой порцией модифицированных семян стоимостью N тыс рублей, да и многим сельхозпроизводителям думаю это тоже не понравится. Первые убежали тараканы, кто следующий?
1. В ГМО меня беспокоит только то, что выращенные продукты не дают потомство, по крайней мере это настораживает.
2. Выше писали что организму безразлично что переваривать. Вы это скажите ожиревшим людям, которых в этом году по статистике стало больше худых.
Как бы картинка из мультика Валли не стала реальностью. Поправьте если я не прав.
Можете подсказать какая точно модель использовалась и параметры сборки инференса. А то у меня такие показатели только вот так получаются:
cmake -B build
-DGGML_CUDA=ON
-DGGML_NATIVE=ON
-DGGML_OPENMP=ON
-DGGML_CUDA_F16=ON
-DGGML_CUDA_FA=ON
-DGGML_CUDA_GRAPHS=ON
-DGGML_CUDA_NCCL=ON
-DCMAKE_BUILD_TYPE=Release
-DLLAMA_BUILD_BORINGSSL=ON
-DLLAMA_OPENSSL=ON
-DCMAKE_CUDA_COMPILER=/usr/local/cuda/bin/nvcc
-DCMAKE_CUDA_ARCHITECTURES=120
CUDA_VISIBLE_DEVICES=0,1 ./build/bin/llama-server -hf g0chu/Qwen3.6-27B-NVFP4-gguf --host 0.0.0.0 --port 8000 --n-gpu-layers 99 --ctx-size 8096 --flash-attn on --spec-draft-n-max 4 --spec-type draft-mtp --split-mode tensor
Потреб сборки имеют много нюансов:
Количество PCIe слотов, линий и их скорость.
Потреб материнки не умеют прямой обмен GPU - CPU - GPU, они все обязательно гонят через ОЗУ.
Сейчас проще взять серверную мат плату и эпик прошлых поколений, вы получаете полноценные слоты PCIe 4x16, эпики отлично держать все эти линии и соответственно поддержка всех серверных фич на уровне инференсов vLLM и т.п.
Для меня локальный инференс это не экономия на токенах, а подстелить соломки если отрубят интернет. Тот же claude code за 100$ в месяц может кодить 24/7, но нужна нормальная обвязка в виде vpn, gmail и карта американская для оплаты, что очень затруднительно в современных реалиях. В остальных случаях можно улететь в бан. Но ребята из kimi спасают, есть проблема с оплатой, но за то не надо парится с региональной маскировкой.
Сейчас мой топ QWEN 3.6 27B, квант Q6 на llama.cpp с включенным MTP на двух 5070 ti выдает 60-70t/s генерации на задаче кодирования, творческие ~45t/s. Когда замержат турбоквант от гугла и MTP в основную ветку, тогда на том же оборудовании контекст будет под сотку и запускаться будет без танцев с бубном.
Я выбрал 5070 ti так как сейчас они дороже 3090 всего на 20-30тыс, и я покупаю их новые с гарантией, плюс новые чипы поддерживают все новые фишки, что может значительно ускорять инференс. И существует опасность того, что в ближашие годы 3090 просто выпилят из новых библиотек и будем мучаться собирая все из исходников, как случилось с tesla v100.
В общем всем удачи, а я же чуть позже докуплю еще пару 5070 ti и поставлю всю сборку на кастомную воду.
Бессонницу то победили в итоге?
Всегда интересны статьи такого толка и комментарии, все дружно обсуждают как автор прав, а стоит выразить мнение отличное от автора, так сразу куча минусов. И обычно я захожу в профиль человека, смотрю о чем он пишет, может он 30 лет живет в Китае и знает изнутри всю историю WeChat, или просто ему статью написал ChatGPT следуя текущим общепризнанным наративам, чтобы влететь в топ на хайповой теме. По мне статья написана для хайпа, и именно для него, а если вы думаете иначе, можете аргументировать свое мнение. Пока же я вижу, что автор "человек-оркестр".
Давно не пишу тут комментарии, токсичность людей просто зашкаливает. Особенно в определенных темах. Да и вообще почти перестал читать этот портал, лучше уж книги.
Сразу скажу, я не защитник сбера, их ИИ модели слабоваты, но я не тестил только что вышедшие, говорят новые эмбеддинги топ с русским языком, но это надо перепроверить. Но вот ваши утверждения про 1060 и никому это не надо, такой себе аргумент, который легко опровергается если заглянуть на huggingface. Плюс их новая TTS модель, правда не opensource, легко затыкает за пояс практически любые зарубежные аналоги.
Я перестал читать портал больше из-за токсичности в комментариях. При том по большей части от людей, которые возводят свободу в абсолют.
Я конечно в тему не вникал, а где на гите сотни репозиториев с исходниками ERP и ЗУП?
А в рашке это где?
Ну вот видим, что не так страшен черт, как его малюют. Человека заминусовали, а он то по факту прав. Тем более никто при обновлении платформы не заставляет повышать режим совместимости.
А можно конкретнее, никогда не сталкивался с проблемами при обновлении платформы. Мы же конфигурацию не трогаем, внутри режим совместимости так и остается.
А что значит "в нормальном понимании этого слова" или это ваше субьективное мнение, можно прямо определение нормального ЯП для программистов.
По каким понятиям?
Ну то есть на других ЯП нельзя написать запрос в цикле? Положить базу корявым sql запросом? Все это можно и очень просто.
Лично я сейчас часто пишу реально быстро простотип на 1С, а потом переношу в Nuxt + Django. И без особой подготовки и тем более опыта, вы не напишите с такой же скоростью как на 1С, особенно фронт. Допустим, чтобы добавить кнопку вам надо написать тег, стилизовать его при помощи css плюс привязать js функцию обработчик нажатия. В 1С это делается в несколько кликов вообще без написания кода. И таких примеров много.
В нашем городе раньше были районы где по вечерам гулять было не безопасно, сейчас все гораздо лучше стало.
Мне вот про нападения интересно. Вы в полиции работаете, чтобы делать такие выводы? Или это ваше субъективное мнение никак не коррелируещее с цифрами? А то "диваном" прямо попахивает. Я лично не спец в этом вопросе, вот и не пишу комменты.
О чем же будут писать адепты Илона, когда он объявит "частный" SpaseX банкротом.
2. Выше писали что организму безразлично что переваривать. Вы это скажите ожиревшим людям, которых в этом году по статистике стало больше худых.
Как бы картинка из мультика Валли не стала реальностью. Поправьте если я не прав.