Читая статью, сложилось впчатление, что KAG и CAG, это улучшенная версия RAG. Мои 5 копеек:
RAG — это метод, при котором модель в реальном времени извлекает информацию из внешних источников, чтобы генерировать более точные ответы. Например, чат-бот может искать данные в базе знаний, чтобы ответить на ваш вопрос.
KAG — это подход, который интегрирует графы знаний с LLM для улучшения логического мышления, особенно в профессиональных областях, таких как медицина или право.
CAG — это техника, при которой вся нужная информация заранее загружается в контекст модели и хранится в кэше, что ускоряет ответы и устраняет необходимость в реальном времени поиска.
Являются ли KAG и CAG расширенными версиями RAG?
KAG можно считать расширением RAG, так как он использует графы знаний для улучшения, что связано с идеей извлечения информации, как в RAG, но с большей структурированностью.
Для CAG я все же склоняюсь, что это скорее альтернативный подход, чем прямое расширение, так как он не использует реальное время поиска, а полагается на предварительно загруженные и подготовленные данные. Другая область примеения и решение других задач.
да, вы правы. Исправил на R1 и она действительно в основном правильно отвечает. Но периодически тоже ошибается (см картинку). Тем не менее, рассуждения оказалось читать очень увлекательно, думаю, что для развития логики и онбординга в новые навыки очень полезная штука.
В каждой статье про AI написано, что ИИ вот-вот заменит людей. И каждая модель как не умела играть в крестики-нолики, так и не умеет. DeepSeek не исключение
как будто хочется еще добавить в статью пару тем про fine-tuning и как бы он помг помочь. типо таких тем:
роль обучения с подкреплением от человеческой обратной связи (RLHF) про то, что метод позволяет моделям лучше учитывать человеческие предпочтения и контекст, что способствует снижению вероятности галлюцинаций.
важность качества обучающих данных - большой и хороший инструментдля снижения риска возникновения галлюцинаций. Ведь модель может говорить только то, что знает
Сдается мне, что с развитием языка он замедлится, т.к. станет сложнее и появится больше зависимостей. Конечно в синтетических тестах мы этого не увидим, но в реальных приложениях будет не такая скорость
Читая статью, сложилось впчатление, что KAG и CAG, это улучшенная версия RAG.
Мои 5 копеек:
RAG — это метод, при котором модель в реальном времени извлекает информацию из внешних источников, чтобы генерировать более точные ответы. Например, чат-бот может искать данные в базе знаний, чтобы ответить на ваш вопрос.
KAG — это подход, который интегрирует графы знаний с LLM для улучшения логического мышления, особенно в профессиональных областях, таких как медицина или право.
CAG — это техника, при которой вся нужная информация заранее загружается в контекст модели и хранится в кэше, что ускоряет ответы и устраняет необходимость в реальном времени поиска.
Являются ли KAG и CAG расширенными версиями RAG?
KAG можно считать расширением RAG, так как он использует графы знаний для улучшения, что связано с идеей извлечения информации, как в RAG, но с большей структурированностью.
Для CAG я все же склоняюсь, что это скорее альтернативный подход, чем прямое расширение, так как он не использует реальное время поиска, а полагается на предварительно загруженные и подготовленные данные. Другая область примеения и решение других задач.
как выбирать, сколько итераций бустинга делать? В примере одну, а на деле? И не переборщить, чтоб не было переобучения.
да, вы правы. Исправил на R1 и она действительно в основном правильно отвечает. Но периодически тоже ошибается (см картинку).
Тем не менее, рассуждения оказалось читать очень увлекательно, думаю, что для развития логики и онбординга в новые навыки очень полезная штука.
В каждой статье про AI написано, что ИИ вот-вот заменит людей. И каждая модель как не умела играть в крестики-нолики, так и не умеет. DeepSeek не исключение
как будто хочется еще добавить в статью пару тем про fine-tuning и как бы он помг помочь.
типо таких тем:
роль обучения с подкреплением от человеческой обратной связи (RLHF) про то, что метод позволяет моделям лучше учитывать человеческие предпочтения и контекст, что способствует снижению вероятности галлюцинаций.
важность качества обучающих данных - большой и хороший инструментдля снижения риска возникновения галлюцинаций. Ведь модель может говорить только то, что знает
ну и про CoT бы хорошо добавить
Получилось очень весело, не смотря на большо количество ошибок. А еще классная идея как можно быстро провеодить хакатоны даже удаленно
Сдается мне, что с развитием языка он замедлится, т.к. станет сложнее и появится больше зависимостей. Конечно в синтетических тестах мы этого не увидим, но в реальных приложениях будет не такая скорость
Ну так я так понимаю, что чтобы что-то конкретное узнать, надо на вебинар идти, тут по факту ниче особо не описано. Непонятно что делать