Pull to refresh
29
Михаил Соколов@debagger

Инженер и программист

0,5
Rating
2
Subscribers
Send message

Я H12D-8D за 39тр купил на ВБ. Приехала. Не работает.

Купил я на ВБ эту хваленую HUANANZHI H12D-8D, а оно не работает. Теперь как-то надо вернуть.

Добиться того, чтобы RAG вытаскивал из документации релевантные фрагменты и не добавлял в контекст мусор - это непростая задача. А просто пихать top-k непонятно как нарезанных чанков, такое себе. Чем вам не нравится вариант, чтобы агент читал документацию? Если она хорошо структурирована, он там найдет все, что надо для решения задачи. А если документация плохая, то и RAG уже не поможет.

Это уже неактуально для современных моделей. Они сами понимают, какая информация им нужна и находят ее, достаточно объяснить, где что лежит и как лучше искать.

Ну так это и есть сервер с видеокартой. В некотором роде... )))

Strata стоит попробовать. Там много нюансов, и настройки по умолчанию могут быть неоптимальны. Я подключал облачный Deepseek и просил настроить ее на максимальную производительность. Объяснил, какие приоритеты, и как тестировать. Он долго крутил тесты, читал исходники, в итоге выдал несколько конфигураций, которые по производительности заметно обошли то, что было настроено скриптами, идущими в комплекте.

Похоже это свойственно всей линейке Qwen, да и DeepSeek этим страдает. Подозреваю, что китайцы больше сосредоточились в обучении на программировании и агентских задачах, а диалогу и мультиязычности обучают по остаточному принципу.
У меня в проекте есть скрипт, которым модель проверяет в файлах омографы, иероглифы и слова где смешана латиница и кириллица. Пока все не исправит коммит нельзя сделать. Чем меньше в тексте, с которым модель работает таких ошибок, тем реже она сама их делает.

Промышленная разработка. Сложный проект, обложенный кучей требований, тестов и ограничений.

Если под нестабильностью понимается недетерминизм, то спору нет, Strata его и не обещает. Часть экспертов считается на CPU часть на GPU, причем они постоянно меняются. Округление там немного отличается, поэтому ожидать битовой точности на двух прогонах не стоит.

Да. Плюс побрить и обезжирить хомячков.

Кто-то методично подрубает ствол дерева индустрии ИИ, чтобы оно упало в нужное время и в нужную сторону. Потом его методично ошкурят, распилят, а хомячки, которые жили в его ветвях останутся ни с чем.

А а как проявляется нестабильность? Просто у меня Strata уже около месяц наверно работает практически круглосуточно, проблем с ней не больше, чем с llama.cpp. Или это специфические проблемы для AI Max+ 395? (У меня CUDA).

У меня в метро Шанхая проходила. Другой вопрос что там в подземке рядом с автоматами не везде работала мобильная связь. Потом я разобрался как в Alipay настроить оплату по QR-коду в метро и больше не пользовался этими автоматами.

Qwen3.8 очень хорошие для кодинга и агентских задач, что 27b, что flash next. Но тексты на русском она пишет плохо, как будто подстрочник с английского читаешь (при этом понимает она по-русски хорошо). Это, пожалуй, единственная к ней претензия. Может, кстати, это проблема квантованной версии, не знаю.

Это не совсем "китайский" кошелек. Я пробовал оплатить через такой же кошелек (зареганый на российский номер) доступ к апи qwen - получил отказ, потому что этот кошелек не относится к материковому Китаю. Из того, что я попробовал только для deepseek оплата прошла. Хотя во время поездки в Китай везде оплата с этого кошелька происходила без проблем.

Самое понятное объяснение принципов фазового автофокуса, которое я читал. Спасибо, классная статья.

Один небезызвестный блоггер иногда развлекается тем, что пишет посты типа "Я пукнул!". По мне - этот пост от Карпатого из того же разряда. Накой про это писать новость, да еще и выставлять ее в топ Хабра, непонятно. Только время на чтение зря потратил.

... разработчики могут самостоятельно запускать модель

Издеваются...

1
23 ...

Information

Rating
2,281-st
Location
Новоуральск (Свердловская обл.), Свердловская обл., Россия
Date of birth
Registered
Activity