У меня через ollama запущена gpt-oss:20b, так же для RAG. С помощью промптов минимизировал враньё модели. Использую теги и ограничения. Как в системном промпте так и пользовательском. Промпт примерно звучит так
"Для ответа используй контекст расположенный внутри тега <doc></doc>, если информации не достаточно для ответа, ответь:"не нашел ничего""
Просматривая логи, чаще всего даёт правильные ответы. Сами промпты намного больше чем я указал в примере. Долго подбирались и много раз переписывал вводя ограничения на ответ, его формат и структуру. Так что можно улучшить количество правильных ответов. В статьях про раг почему то говорят про проверки, пррмпты, как улучшить и т.д.
Просто написать код и кидать доку в модель надеясь что она ответит по ней, так не выходит
Я за пользование ИИ. Но как инструмент автоматизации. Быстрый поиск по документации(раг), анализ кода(особенно когда большие потоки данных пролетают), но создавать через ИИ контент, потом эта же ИИ сожрёт этот же контент, придем к тому что модели будут писать одно и тоже по круну
У меня через ollama запущена gpt-oss:20b, так же для RAG. С помощью промптов минимизировал враньё модели. Использую теги и ограничения. Как в системном промпте так и пользовательском. Промпт примерно звучит так
"Для ответа используй контекст расположенный внутри тега <doc></doc>, если информации не достаточно для ответа, ответь:"не нашел ничего""
Просматривая логи, чаще всего даёт правильные ответы. Сами промпты намного больше чем я указал в примере. Долго подбирались и много раз переписывал вводя ограничения на ответ, его формат и структуру. Так что можно улучшить количество правильных ответов. В статьях про раг почему то говорят про проверки, пррмпты, как улучшить и т.д.
Просто написать код и кидать доку в модель надеясь что она ответит по ней, так не выходит
А почему у Котлина, скриншот байт кода, а не пример кода Котлина?
Я за пользование ИИ. Но как инструмент автоматизации. Быстрый поиск по документации(раг), анализ кода(особенно когда большие потоки данных пролетают), но создавать через ИИ контент, потом эта же ИИ сожрёт этот же контент, придем к тому что модели будут писать одно и тоже по круну