Добиться того, чтобы RAG вытаскивал из документации релевантные фрагменты и не добавлял в контекст мусор - это непростая задача. А просто пихать top-k непонятно как нарезанных чанков, такое себе. Чем вам не нравится вариант, чтобы агент читал документацию? Если она хорошо структурирована, он там найдет все, что надо для решения задачи. А если документация плохая, то и RAG уже не поможет.
Это уже неактуально для современных моделей. Они сами понимают, какая информация им нужна и находят ее, достаточно объяснить, где что лежит и как лучше искать.
Strata стоит попробовать. Там много нюансов, и настройки по умолчанию могут быть неоптимальны. Я подключал облачный Deepseek и просил настроить ее на максимальную производительность. Объяснил, какие приоритеты, и как тестировать. Он долго крутил тесты, читал исходники, в итоге выдал несколько конфигураций, которые по производительности заметно обошли то, что было настроено скриптами, идущими в комплекте.
Похоже это свойственно всей линейке Qwen, да и DeepSeek этим страдает. Подозреваю, что китайцы больше сосредоточились в обучении на программировании и агентских задачах, а диалогу и мультиязычности обучают по остаточному принципу. У меня в проекте есть скрипт, которым модель проверяет в файлах омографы, иероглифы и слова где смешана латиница и кириллица. Пока все не исправит коммит нельзя сделать. Чем меньше в тексте, с которым модель работает таких ошибок, тем реже она сама их делает.
Если под нестабильностью понимается недетерминизм, то спору нет, Strata его и не обещает. Часть экспертов считается на CPU часть на GPU, причем они постоянно меняются. Округление там немного отличается, поэтому ожидать битовой точности на двух прогонах не стоит.
Кто-то методично подрубает ствол дерева индустрии ИИ, чтобы оно упало в нужное время и в нужную сторону. Потом его методично ошкурят, распилят, а хомячки, которые жили в его ветвях останутся ни с чем.
А а как проявляется нестабильность? Просто у меня Strata уже около месяц наверно работает практически круглосуточно, проблем с ней не больше, чем с llama.cpp. Или это специфические проблемы для AI Max+ 395? (У меня CUDA).
У меня в метро Шанхая проходила. Другой вопрос что там в подземке рядом с автоматами не везде работала мобильная связь. Потом я разобрался как в Alipay настроить оплату по QR-коду в метро и больше не пользовался этими автоматами.
Qwen3.8 очень хорошие для кодинга и агентских задач, что 27b, что flash next. Но тексты на русском она пишет плохо, как будто подстрочник с английского читаешь (при этом понимает она по-русски хорошо). Это, пожалуй, единственная к ней претензия. Может, кстати, это проблема квантованной версии, не знаю.
Это не совсем "китайский" кошелек. Я пробовал оплатить через такой же кошелек (зареганый на российский номер) доступ к апи qwen - получил отказ, потому что этот кошелек не относится к материковому Китаю. Из того, что я попробовал только для deepseek оплата прошла. Хотя во время поездки в Китай везде оплата с этого кошелька происходила без проблем.
Один небезызвестный блоггер иногда развлекается тем, что пишет посты типа "Я пукнул!". По мне - этот пост от Карпатого из того же разряда. Накой про это писать новость, да еще и выставлять ее в топ Хабра, непонятно. Только время на чтение зря потратил.
Я H12D-8D за 39тр купил на ВБ. Приехала. Не работает.
Купил я на ВБ эту хваленую HUANANZHI H12D-8D, а оно не работает. Теперь как-то надо вернуть.
Добиться того, чтобы RAG вытаскивал из документации релевантные фрагменты и не добавлял в контекст мусор - это непростая задача. А просто пихать top-k непонятно как нарезанных чанков, такое себе. Чем вам не нравится вариант, чтобы агент читал документацию? Если она хорошо структурирована, он там найдет все, что надо для решения задачи. А если документация плохая, то и RAG уже не поможет.
Это уже неактуально для современных моделей. Они сами понимают, какая информация им нужна и находят ее, достаточно объяснить, где что лежит и как лучше искать.
Ну так это и есть сервер с видеокартой. В некотором роде... )))
Strata стоит попробовать. Там много нюансов, и настройки по умолчанию могут быть неоптимальны. Я подключал облачный Deepseek и просил настроить ее на максимальную производительность. Объяснил, какие приоритеты, и как тестировать. Он долго крутил тесты, читал исходники, в итоге выдал несколько конфигураций, которые по производительности заметно обошли то, что было настроено скриптами, идущими в комплекте.
Похоже это свойственно всей линейке Qwen, да и DeepSeek этим страдает. Подозреваю, что китайцы больше сосредоточились в обучении на программировании и агентских задачах, а диалогу и мультиязычности обучают по остаточному принципу.
У меня в проекте есть скрипт, которым модель проверяет в файлах омографы, иероглифы и слова где смешана латиница и кириллица. Пока все не исправит коммит нельзя сделать. Чем меньше в тексте, с которым модель работает таких ошибок, тем реже она сама их делает.
Промышленная разработка. Сложный проект, обложенный кучей требований, тестов и ограничений.
Если под нестабильностью понимается недетерминизм, то спору нет, Strata его и не обещает. Часть экспертов считается на CPU часть на GPU, причем они постоянно меняются. Округление там немного отличается, поэтому ожидать битовой точности на двух прогонах не стоит.
Да. Плюс побрить и обезжирить хомячков.
Кто-то методично подрубает ствол дерева индустрии ИИ, чтобы оно упало в нужное время и в нужную сторону. Потом его методично ошкурят, распилят, а хомячки, которые жили в его ветвях останутся ни с чем.
А а как проявляется нестабильность? Просто у меня Strata уже около месяц наверно работает практически круглосуточно, проблем с ней не больше, чем с llama.cpp. Или это специфические проблемы для AI Max+ 395? (У меня CUDA).
У меня в метро Шанхая проходила. Другой вопрос что там в подземке рядом с автоматами не везде работала мобильная связь. Потом я разобрался как в Alipay настроить оплату по QR-коду в метро и больше не пользовался этими автоматами.
Qwen3.8 очень хорошие для кодинга и агентских задач, что 27b, что flash next. Но тексты на русском она пишет плохо, как будто подстрочник с английского читаешь (при этом понимает она по-русски хорошо). Это, пожалуй, единственная к ней претензия. Может, кстати, это проблема квантованной версии, не знаю.
Это не совсем "китайский" кошелек. Я пробовал оплатить через такой же кошелек (зареганый на российский номер) доступ к апи qwen - получил отказ, потому что этот кошелек не относится к материковому Китаю. Из того, что я попробовал только для deepseek оплата прошла. Хотя во время поездки в Китай везде оплата с этого кошелька происходила без проблем.
Самое понятное объяснение принципов фазового автофокуса, которое я читал. Спасибо, классная статья.
Один небезызвестный блоггер иногда развлекается тем, что пишет посты типа "Я пукнул!". По мне - этот пост от Карпатого из того же разряда. Накой про это писать новость, да еще и выставлять ее в топ Хабра, непонятно. Только время на чтение зря потратил.
Издеваются...
Выкуси Альтман!
del