Стоит заметить, что Anthropic не делает изобретений, а кладет в коробку удачные наработки сообщества. Например, вызов инструментов через код давно используется в открытых фреймворках:smolagents, llamaindex и пр.
BPMN большой стандарт, в XML сложно увидеть семантику, её и на диаграмме иногда сложно понять. Поэтому нужно обучение модели под эту задачу. Либо оставить цель, которая требует генерации валидного XML, а делать это в несколько шагов, с передачей обратной связи от валидатора схемы.
Странно видеть в списке кандидатов только модели с малыми размерностями векторов и модели способные работать на CPU. Ведь по словам автора retrieve это ключевой элемент RAG, от которого зависит эффекттвность пайплацна. По моему мнению для эффективного rag нужно брать топовые модели из mteb и запускать их на GPU.
Вопрос по дообучению gemma2, вы упомянули, что учили ее на тех же данных что и обычные модели классифиуации. А все таки как выглядел обучаюший пример? Это фраза плюс вероятности классов или же это фраза плюс наборы близких фраз из классов и ожидаемый класс? Другими словами, вы тренировали модель как classifier или как few shot classifier?
"Существенно повышает эффективность .." заголовок громкий, но деталей нет в статье. Надо идти в arxiv и там искать подробности, в каких бенчмарках и насколько лучше стало.
Когда метрики классификации получаются 0.99, это говорит о том, что что модель скорее всего видела тестовые данные на этапе обучения.
В опубликованном репозитории датасэт содержит тексты только на английском языке, было бы неплохо для полноты картины добавить и тексты на русском языке, на которых проводилось тестирование.
я немного поэкспериментировал с yandexgpt, пробовал подружить с llama index, так вот с дефолтными промптами (в llama index они на английском языке) ответы генерируются совсем нерелевантный, yandex gpt игнорирует инструкции вида "Используй только инофрмацию из контекста и не используй предыдущий знания" в результате в ответах появляется нерелелевантная информация. У кого то получилось подобрать эффективные промпты YandexGPT для RAG?
В Пример № 1 похоже что yandexgpt дает нерелевантный ответ. Было удобнее оценить работу yandexgpt, если бы ответы были разобраны или хотябы помечены как релевантный, полный, точный.
А я подумал, что Document нужно использовать чтобы векторизовать документы, а query для того чтобы векторизовать запросы по поиску документов) В документации ynadexgpt недоработока, ничего не не написано про это ...
С Typescript 2.3.3 и rxjs@5.4.3 приведенный код без импорта оператора не проходит компиляцию.
Если сделать импорт из 'rxjs/Rx' или 'rxjs/add/operator/do', то код компилируется и в runtime отрабатывает без ошибок, сборка webpack.
И вопреки заголовку перечисленные курсы давно доступны. Лично agents course весной проходил, а MCP этим летом.
Что тут революционного? В статье описывается примитивный RAG. А OCR DeepSeek используется для извлечения текста из PDF.
Стоит заметить, что Anthropic не делает изобретений, а кладет в коробку удачные наработки сообщества. Например, вызов инструментов через код давно используется в открытых фреймворках:smolagents, llamaindex и пр.
BPMN большой стандарт, в XML сложно увидеть семантику, её и на диаграмме иногда сложно понять. Поэтому нужно обучение модели под эту задачу. Либо оставить цель, которая требует генерации валидного XML, а делать это в несколько шагов, с передачей обратной связи от валидатора схемы.
Странно видеть в списке кандидатов только модели с малыми размерностями векторов и модели способные работать на CPU. Ведь по словам автора retrieve это ключевой элемент RAG, от которого зависит эффекттвность пайплацна. По моему мнению для эффективного rag нужно брать топовые модели из mteb и запускать их на GPU.
Что ж тут инновационного, когда уже давно всё причастные делают мультиагентные системы?
Статья насыщенна практическими и полезными деталями,спасибо что поделились опытом.
Вопрос по дообучению gemma2, вы упомянули, что учили ее на тех же данных что и обычные модели классифиуации. А все таки как выглядел обучаюший пример? Это фраза плюс вероятности классов или же это фраза плюс наборы близких фраз из классов и ожидаемый класс? Другими словами, вы тренировали модель как classifier или как few shot classifier?
"Существенно повышает эффективность .." заголовок громкий, но деталей нет в статье. Надо идти в arxiv и там искать подробности, в каких бенчмарках и насколько лучше стало.
Когда метрики классификации получаются 0.99, это говорит о том, что что модель скорее всего видела тестовые данные на этапе обучения.
В опубликованном репозитории датасэт содержит тексты только на английском языке, было бы неплохо для полноты картины добавить и тексты на русском языке, на которых проводилось тестирование.
я немного поэкспериментировал с yandexgpt, пробовал подружить с llama index, так вот с дефолтными промптами (в llama index они на английском языке) ответы генерируются совсем нерелевантный, yandex gpt игнорирует инструкции вида "Используй только инофрмацию из контекста и не используй предыдущий знания" в результате в ответах появляется нерелелевантная информация. У кого то получилось подобрать эффективные промпты YandexGPT для RAG?
В Пример № 1 похоже что yandexgpt дает нерелевантный ответ. Было удобнее оценить работу yandexgpt, если бы ответы были разобраны или хотябы помечены как релевантный, полный, точный.
А я подумал, что Document нужно использовать чтобы векторизовать документы, а query для того чтобы векторизовать запросы по поиску документов) В документации ynadexgpt недоработока, ничего не не написано про это ...
Была такая проблема давно.
С Typescript 2.3.3 и rxjs@5.4.3 приведенный код без импорта оператора не проходит компиляцию.
Если сделать импорт из 'rxjs/Rx' или 'rxjs/add/operator/do', то код компилируется и в runtime отрабатывает без ошибок, сборка webpack.