1) никакой RAG не поможет если чанкинг разбил на части то что нельзя разбивать на части
2) техника доп проверки моделью релевантность каждого фрагмента документа до непосредственной передачи в модель для генерации ответа работает оч эффективно. и как правило для этого можно использовать менее умную/дорогую модель
но про self-rag так и не понял как это точно работает
Для нас важно что у русских(сбер, яндекс) моделей на каждые три символа приходится 1 токен, а у Llama/Mistral/Gpt4(в меньшей степени) на ~ КАЖДЫЙ символ приходится токен.
в gpt-3.5/gpt-4 уверенно 2 русских символа на токен
аналоги реализованные в той или иной форме конечно существуют. вопрос как это сделано и насколько это хорошо работает. есть ли весь проект в контексте? как это сделано? есть ли семантический поиск по коду? кстати семантический поиск по коду работает оч круто
модели которые способны делать то что от них требуется делать в этом проекте еще не скоро будут практически доступны в локальном исполнении. даже для сбера с яндексом это пока недоступно. так что сегодня альтернатив нет.
а вы не переживаете когда код кладете в приватный репозиторий на гитхаб? то что майкрасофт у вас код украдет? или это другое? openai не обучает свои модели на данных полученных через api:
Does OpenAI train its models on my business data?
No. We do not use your ChatGPT Team, ChatGPT Enterprise, or API data, inputs, and outputs for training our models.
если вам нравится идея - прикрутите локальную LLM - проект опенсорсный компании запретившие использовать чатгпт проиграют не от утечки кода а от конкуренции со стороны тех компаний которые не запретили.
зачем? на самом деле даже перегенерация описания измененного файла это в 95% случаев оверкилл. так как описание очень краткое и чтобы изменения в файле на него сильно повлияли это должно быть оч серьезное изменение. я написал в статье что типовое описание файла это 10% от его размера. если делать больше то получается слишком слабое сжатие. и как правило это описание не содержит списка импортов. я пробовал написать промпт так чтобы импорты перечислялись - но тогда описания получались слишком длинные и отказался от этой идеи.
интересно что он неплохо понимает назначение файла только исходя из его названия и пути (папок) в проекте. и способен на достаточно многое даже без описаний файлов. хоть и намного менее стабилен (чаще уходит в неверном направлении).
ну для этого этот проект и сделан: - чтобы проект "влез" в контекст. 1Мб исходников влезает. и 10Мб тоже влезет. - если файл был изменен то при перезапуске утилиты его описание перегенерится. и модель не нужно переобучать. более того это не возможно. возможно дообучение (fine-tuning) но это делается совсем с другой целью. - код не нужно чтобы она его понимала. она его понимает. как вы предлагаете сделать это специализированный инструмент? обучить "специальную" сеть? а чем она будет лучше gpt-4-turbo? мы не знает точную архитектуру gpt-4 но с большой вероятностью внутри есть как раз такая отдельная сеть заточенная под программирование. и у нее большое контекстное окно 128к токенов. чем ваша предлагаемая сеть будет от нее отличаться?
а чем вы вытаскиваете контент страницы?
soup = BeautifulSoup(response.content, 'html.parser')
return soup.get_text()
?
а как работает ваша модель ретривер? сколько у нее контекст? как вы на ее вход документы подаете? не понятно
1) никакой RAG не поможет если чанкинг разбил на части то что нельзя разбивать на части
2) техника доп проверки моделью релевантность каждого фрагмента документа до непосредственной передачи в модель для генерации ответа работает оч эффективно. и как правило для этого можно использовать менее умную/дорогую модель
но про self-rag так и не понял как это точно работает
в gpt-3.5/gpt-4 уверенно 2 русских символа на токен
CLIP это Contrastive Language–Image Pre-training?
меня тоже удивляют такие "спокойно спящие"
у вашего бота просто нет документации. создайте кастом гпт и дайте ей текстовый файл с докой. и все заработает.
этот мужик?
аналоги реализованные в той или иной форме конечно существуют. вопрос как это сделано и насколько это хорошо работает. есть ли весь проект в контексте? как это сделано? есть ли семантический поиск по коду? кстати семантический поиск по коду работает оч круто
модели которые способны делать то что от них требуется делать в этом проекте еще не скоро будут практически доступны в локальном исполнении. даже для сбера с яндексом это пока недоступно. так что сегодня альтернатив нет.
вы работали в таких компаниях?
а вы не переживаете когда код кладете в приватный репозиторий на гитхаб? то что майкрасофт у вас код украдет? или это другое?
openai не обучает свои модели на данных полученных через api:
Does OpenAI train its models on my business data?
No. We do not use your ChatGPT Team, ChatGPT Enterprise, or API data, inputs, and outputs for training our models.
если вам нравится идея - прикрутите локальную LLM - проект опенсорсный
компании запретившие использовать чатгпт проиграют не от утечки кода а от конкуренции со стороны тех компаний которые не запретили.
зачем? на самом деле даже перегенерация описания измененного файла это в 95% случаев оверкилл. так как описание очень краткое и чтобы изменения в файле на него сильно повлияли это должно быть оч серьезное изменение. я написал в статье что типовое описание файла это 10% от его размера. если делать больше то получается слишком слабое сжатие. и как правило это описание не содержит списка импортов. я пробовал написать промпт так чтобы импорты перечислялись - но тогда описания получались слишком длинные и отказался от этой идеи.
интересно что он неплохо понимает назначение файла только исходя из его названия и пути (папок) в проекте. и способен на достаточно многое даже без описаний файлов. хоть и намного менее стабилен (чаще уходит в неверном направлении).
ну для этого этот проект и сделан:
- чтобы проект "влез" в контекст. 1Мб исходников влезает. и 10Мб тоже влезет.
- если файл был изменен то при перезапуске утилиты его описание перегенерится. и модель не нужно переобучать. более того это не возможно. возможно дообучение (fine-tuning) но это делается совсем с другой целью.
- код не нужно чтобы она его понимала. она его понимает.
как вы предлагаете сделать это специализированный инструмент? обучить "специальную" сеть? а чем она будет лучше gpt-4-turbo? мы не знает точную архитектуру gpt-4 но с большой вероятностью внутри есть как раз такая отдельная сеть заточенная под программирование. и у нее большое контекстное окно 128к токенов.
чем ваша предлагаемая сеть будет от нее отличаться?
могу проконсультировать. пишите в ЛС
нет решения этой задачи пока. но есть идеи. не знаю как прикрепить урл на пост в телеграме.
вот вы пишете про "дообучение модели на формат RAG" а вы это пробовали сами?
в тексте статьи ничего про файн тьюнинг? а рассказать тут есть о чем
это специально обученная для классификации модель? ее из облака можно использовать? или только локально?
потестил немного. определенно хуже чем gpt работает
и контекст ей нельзя сообщить как я понимаю, а это важно. без описания видео многие комментарии вообще непонятны