Спасибо, использовал рекомендации по структурированию, с виду помогает.
Я бы добавил еще - чтобы достичь воспроизводимый многократно результат , для начала надо передать LLM соответсвующие параметры температуру там , top_p, top_k , min_p. Мне к примеру удалось выйти на воспроизводимый результат только на temp 0 , затем отладка промта, получение результат и затем уже рост температуры до требуемой.
Благодарю за систематизацию. Как дополнение — для тех, кто не очень понимает нейронные сети, удобно пользоваться оптимизацией промтов от самой нейронной сети. То есть перед постановкой задачи спрашивать, как могла бы выглядеть её постановка.
А затем проверять доработанный человеком промт на неоднозначность и целостность. Мне реально помогает это, так как я веду диалог на русском, а уже финальные промты перекладываю в английский с помощью LLM. Это помогает и в задачах программирования, и в задачах по формированию промтов.
Спасибо, как наверно многие тоже об этом задумываюсь, но с другой стороны возможно есть какие то способы как вписаться в чей то поход как матрос/ напарник с соответствующим распределеним расходов? Например если я собрался на такой поход я скорее был бы один, может не надолго один-другой друг подключился, а лодкой комфортнее управлять-идти когда хотя-бы пара другая рук есть как мне думается? Особенно если лодка длинее чем 11 футов.
Я видел иностранные ресурсы, где ищут команду, но там не впечатлило, мои знания в иностранных языках невелики.
Спасибо за саммаризацию и первичную сводку идеи. Если вашу логику правда/неправда скорректировать на троичную то точность похоже существенно вырастет и позволит отсеять в ml фильтры то что не пройдёт через true/false . А для определения true/false через нейронные сетки ( вектора) использовать значения не 100% , а 95% ( верхний перцентиль).
Тут я больше для себя это отметил, статья в закладках и рассчитываю вернуться к ней через годик.
Спасибо, было бы еще очень неплохо , если бы вы описали зачем эта ос вообще нужна. Ну к примеру зачем она может пригодится обычному пользователю ubuntu/windows?
Схема в PR делает его технологичным для публикации на хабре, да?
Если прочтут те кто это делал - дайте тех.подробностей как делили, в чем хранили, время обработки, как работает, нагрузка. На чем живет on prem , и в чем бенефиты помимо федерации.
Очень эффективная, ранее заделарированная 40% экономия бюджета на лице, я щитаю ( связанная с вводом всех ебс,есиа, гособлок и прочих интересных монстров).
Как всегда впрочем, странно было бы ожидать иного.
Я предполагаю , что для прода \dev с API по прежнему есть vllm & functionary. Но если у вас дев стек, или вы бедны по VRAM - то вам сюда - https://github.com/ggerganov/llama.cpp/blob/master/grammars/README.md
К сожалению я тоже не смог реализовать рабочий API с GNBF ( правда вчера только начал). Однако с Vllm & functionary вы получите нормальный продукт. внутри там тот же мистраль и он работает.
Статья постоянно выскакивает в поиске когда надо настроить пару микротиков. Было бы здорово еслиб вы ее моглибы освежить и раскрыть на 3 точки когда сеть на A,B,C и к примеру только B с белым. А вообще можно ли собрать одну локалку но в двух точках соеденив микротиком ? (т.е 2 /25 сети в одну /24)
Только поставил новую ubuntu с full disk encryption. через TPM., ее наконец то в экспериментальном режиме реализовали.
Это с одной стороны чуть лучше чем zfs с luks, с другой частичная потеря плюшек от zfs.
Радует что процесс сам по себе стоит условные пару тысяч баксов и мало кому доступен, ибо вот на вскидку все слова понял в статье, но наврядли смогу повторить на своём msi ноуте.
Мне кажется множество задач для instruct моделей решают именно простые логические задачи, когда кидаешь llmке текст и даешь задачу его переписать, что то заменить, чтото добавить. Это и есть простая логическая задача, разве нет?
Ну или даешь задачу на сравнение чего либо достаточно уникального. И потом уже разбираешься и перепроверяешь выводы , для этого кстати успешно используются группы нейросетей/экспертов.
Блин , я вот очень сомневаюсь что при обучении сеток им скормили опасные материалы, мусор, размышления , учебники - да есть, а реальный практикум как сделать чтото опасное это вряд ли, и выдает она правдоподобно написанный мусор.
Как про рецепт борща которым я часто проверяю, если там мало входных текстов например из русской культуры то и результат будет соответственным) иногда попадается всякое конечно:
Про борщ:
Добавьте морковь, картофель, бульон, укроп, пастух и базилик. Посолите и поперчите по вкусу.
Подавайте горячим с овсяными хлопьями или сметаной, если это предпочтительно.
В апи openapi это делают функции если я правильно это понимаю, имея home assistant може это включить , с openapi это работает, локально пока не очень, я надеялся засунуть функции в mixtral через LoacalAI, но видимо не все LLM это умеют.
Не, эта не всегда адекватна, надо адаптацию от openbuddy, которую отквантовал the bloke , когда сам квантую херня получается , модель потом заикой становится.Вот эту, 16.3 , и 32к контекст
Без Лора, 6 бит квантование, в задачах домашнего ассистента и для группы ребят подготовка кода на баше и питоне, и для ещё одной группы( семья) чат бот на каждый день.чуть позже rag запущу по документации локальной. Эта сеть лучшая из 30 тестировавшихся мной, 2е место deepseeker 67b , сайга в конце списка.
Без высоких требований , почти без фейлов если температуру пониже сделать.
За статью спасибо, но с целом mixtral и прочие llm отлично работают на русском если они от openbuddy team. И дан промт системный Промт на русском.использую 7x8 и полностью доволен.
Основная проблема этих llam/falcon/Mistral там очень мало инфы из русскоязычного сегмента в целом. а уж после квантования и того меньше просто в геометрической прогрессии.
Спасибо, использовал рекомендации по структурированию, с виду помогает.
Я бы добавил еще - чтобы достичь воспроизводимый многократно результат , для начала надо передать LLM соответсвующие параметры температуру там , top_p, top_k , min_p.
Мне к примеру удалось выйти на воспроизводимый результат только на temp 0 , затем отладка промта, получение результат и затем уже рост температуры до требуемой.
Благодарю за систематизацию. Как дополнение — для тех, кто не очень понимает нейронные сети, удобно пользоваться оптимизацией промтов от самой нейронной сети. То есть перед постановкой задачи спрашивать, как могла бы выглядеть её постановка.
А затем проверять доработанный человеком промт на неоднозначность и целостность. Мне реально помогает это, так как я веду диалог на русском, а уже финальные промты перекладываю в английский с помощью LLM. Это помогает и в задачах программирования, и в задачах по формированию промтов.
Спасибо, как наверно многие тоже об этом задумываюсь, но с другой стороны возможно есть какие то способы как вписаться в чей то поход как матрос/ напарник с соответствующим распределеним расходов? Например если я собрался на такой поход я скорее был бы один, может не надолго один-другой друг подключился, а лодкой комфортнее управлять-идти когда хотя-бы пара другая рук есть как мне думается? Особенно если лодка длинее чем 11 футов.
Я видел иностранные ресурсы, где ищут команду, но там не впечатлило, мои знания в иностранных языках невелики.
Спасибо за саммаризацию и первичную сводку идеи. Если вашу логику правда/неправда скорректировать на троичную то точность похоже существенно вырастет и позволит отсеять в ml фильтры то что не пройдёт через true/false . А для определения true/false через нейронные сетки ( вектора) использовать значения не 100% , а 95% ( верхний перцентиль).
Тут я больше для себя это отметил, статья в закладках и рассчитываю вернуться к ней через годик.
Спасибо, было бы еще очень неплохо , если бы вы описали зачем эта ос вообще нужна. Ну к примеру зачем она может пригодится обычному пользователю ubuntu/windows?
Схема в PR делает его технологичным для публикации на хабре, да?
Если прочтут те кто это делал - дайте тех.подробностей как делили, в чем хранили, время обработки, как работает, нагрузка. На чем живет on prem , и в чем бенефиты помимо федерации.
Ждём разбора атаки.пока одни отмазки написали.
Очень эффективная, ранее заделарированная 40% экономия бюджета на лице, я щитаю ( связанная с вводом всех ебс,есиа, гособлок и прочих интересных монстров).
Как всегда впрочем, странно было бы ожидать иного.
Я предполагаю , что для прода \dev с API по прежнему есть vllm & functionary.
Но если у вас дев стек, или вы бедны по VRAM - то вам сюда - https://github.com/ggerganov/llama.cpp/blob/master/grammars/README.md
К сожалению я тоже не смог реализовать рабочий API с GNBF ( правда вчера только начал).
Однако с Vllm & functionary вы получите нормальный продукт. внутри там тот же мистраль и он работает.
Я правильно понял что вы бились через API, не вышло и вы начали писать агентов на пайтоне, или вам удалось использовать API в итоге через crewAI ?
Статья постоянно выскакивает в поиске когда надо настроить пару микротиков. Было бы здорово еслиб вы ее моглибы освежить и раскрыть на 3 точки когда сеть на A,B,C и к примеру только B с белым.
А вообще можно ли собрать одну локалку но в двух точках соеденив микротиком ? (т.е 2 /25 сети в одну /24)
Вот что за подстава).
Только поставил новую ubuntu с full disk encryption. через TPM., ее наконец то в экспериментальном режиме реализовали.
Это с одной стороны чуть лучше чем zfs с luks, с другой частичная потеря плюшек от zfs.
Радует что процесс сам по себе стоит условные пару тысяч баксов и мало кому доступен, ибо вот на вскидку все слова понял в статье, но наврядли смогу повторить на своём msi ноуте.
Работает, есть спец подписка для лодок и другой комплект оборудования, существенно дороже наземного.
Мне кажется множество задач для instruct моделей решают именно простые логические задачи, когда кидаешь llmке текст и даешь задачу его переписать, что то заменить, чтото добавить. Это и есть простая логическая задача, разве нет?
Ну или даешь задачу на сравнение чего либо достаточно уникального. И потом уже разбираешься и перепроверяешь выводы , для этого кстати успешно используются группы нейросетей/экспертов.
Что-то на YouTube , или онлайн останется? Очень интересно , но удалённо.
Блин , я вот очень сомневаюсь что при обучении сеток им скормили опасные материалы, мусор, размышления , учебники - да есть, а реальный практикум как сделать чтото опасное это вряд ли, и выдает она правдоподобно написанный мусор.
Как про рецепт борща которым я часто проверяю, если там мало входных текстов например из русской культуры то и результат будет соответственным) иногда попадается всякое конечно:
Про борщ:
Добавьте морковь, картофель, бульон, укроп, пастух и базилик. Посолите и поперчите по вкусу.
Подавайте горячим с овсяными хлопьями или сметаной, если это предпочтительно.
Приятного аппетита!
В апи openapi это делают функции если я правильно это понимаю, имея home assistant може это включить , с openapi это работает, локально пока не очень, я надеялся засунуть функции в mixtral через LoacalAI, но видимо не все LLM это умеют.
Не, эта не всегда адекватна, надо адаптацию от openbuddy, которую отквантовал the bloke , когда сам квантую херня получается , модель потом заикой становится.Вот эту, 16.3 , и 32к контекст
Без Лора, 6 бит квантование, в задачах домашнего ассистента и для группы ребят подготовка кода на баше и питоне, и для ещё одной группы( семья) чат бот на каждый день.чуть позже rag запущу по документации локальной. Эта сеть лучшая из 30 тестировавшихся мной, 2е место deepseeker 67b , сайга в конце списка.
Без высоких требований , почти без фейлов если температуру пониже сделать.
За статью спасибо, но с целом mixtral и прочие llm отлично работают на русском если они от openbuddy team. И дан промт системный Промт на русском.использую 7x8 и полностью доволен.
Основная проблема этих llam/falcon/Mistral там очень мало инфы из русскоязычного сегмента в целом. а уж после квантования и того меньше просто в геометрической прогрессии.