В ближайшее время выложим инструкцию по запуску aider (и других code-агентов) через утилиту gpt2giga, которая позволяет использовать гигачат в приложениях, расчитанных на работу с openai api. Будет прямо в репозитории.
Этот подход ориентирован на plain text LLM. Обратите внимание, что к примеру gpt-4 в этих библиотеках или вообще не поддерживается или работает лишь для галочки (не использует по факту logprobs). Тем не менее на Gpt-4/4o вполне себе прод-решения делают :)
В чатовых моделях альтернативой можно считать функции с принудительным вызовом. Фактически они позволяют получить тоже самое - заставить LLM вернуть структурированые данные.
2. Посмотрите на DirectoryLoader, как раз для вашего случая! loader = DirectoryLoader('../', glob="**/*.txt", show_progress=True) docs = loader.load()
3. В txt номеров страниц обычно уже нет, поэтому TextSplitter'ы не умеют добавлять метаданные. Из коробки это умеют делать только сплиттеры для *.md и html. Обратите внимание на MarkdownHeaderTextSplitter , он умеет добавлять в мету заголовки и подзаголовки. Если сконвертировать нужную книгу в этот формат, то должно быть хорошо. Но я не пробовал.
В моих примерах используется GigaChat - эта модель доступна исключительно в облаке по API. Если хочется локально работать, то нужно поднять свою модель, например маленькую версию llama или mixtral. Gigachain и Langchain позволяют это сделать, но это уже не так просто, как получить креды к API. Но в целом реально за вечерок всё настроить и поднять.
Такое сравнение будет не корректным. Если документ целиком можно положить в промпт, то надо его класть. RAG нужен в тех случаях, когда документ в промпт не получается.
Вероятно, с появлением сетей с 1М контекстом эта технология станет не столь актуальной.
Крайне маловероятно. Скорее тренируется только веса выходного слоя. Как сказал кто-то из разработчиков в интервью, файнтюнинг не добавляет новых знаний в модель, они и так там все есть, а лишь говорит, какие именно знания пользователь предпочитает получить.
Встал в лист ожидания сразу и на следующий день получил, возможно повезло.
Доступ к боту не публикую, так как выходит довольно дорого, особенно учитывая то, что при запуске кода он делает несколько обращений. Но его без проблем можно запустить и на gpt-3.5
Звучит так, что их можно просто алгоритмическим чат-ботом заменить ) Можно взять какой-нибудь zero-code конструктор, вроде chatfuel и на нем реализовать замену девочкам.
Спасибо за интересную статью! Вижу пару интересных кейсов:
1. Выбор фото с максимальной оценкой из серии селфи
2. Предложить вариант косметики/прически, которая максимизирует оценку
С точки зрения работы в областях Python/ML компания очень сильно отстает от современного состояния рынка. Все что описано выше присутствует и в этой области.
У меня дешевенький Sirad MR-106N. Я пробовал измерять им разные подземные объекты (реки Неглинка, Кровянка, подмосковные каменоломни) и везде уровень радона был очень высокий. Один раз прибор вообще зашкалил (более 10000 бк/м3 при норме 100-200).
Как и обещал, выкладываю версию конфигов для работы Aider + gigachat: https://github.com/ai-forever/gpt2giga/tree/main/integrations/aider
В ближайшее время выложим инструкцию по запуску aider (и других code-агентов) через утилиту gpt2giga, которая позволяет использовать гигачат в приложениях, расчитанных на работу с openai api. Будет прямо в репозитории.
Да, прошу прощения, я почему-то про logprobs решил ответить.
Этот подход ориентирован на plain text LLM. Обратите внимание, что к примеру gpt-4 в этих библиотеках или вообще не поддерживается или работает лишь для галочки (не использует по факту logprobs). Тем не менее на Gpt-4/4o вполне себе прод-решения делают :)
В чатовых моделях альтернативой можно считать функции с принудительным вызовом. Фактически они позволяют получить тоже самое - заставить LLM вернуть структурированые данные.
Добрый день!
1. Не, UI был сделан на SDK streamlit. Очень крутая штука для тех, кто не умеет делать UI :) Примерчек можно глянуть тут (задача решается другая, но суть та же самая) - https://github.com/ai-forever/gigachain/blob/master/libs/streamlit_agent/gigachat_streaming.py
2. Посмотрите на DirectoryLoader, как раз для вашего случая!
loader = DirectoryLoader('../', glob="**/*.txt", show_progress=True)
docs = loader.load()
3. В txt номеров страниц обычно уже нет, поэтому TextSplitter'ы не умеют добавлять метаданные. Из коробки это умеют делать только сплиттеры для *.md и html. Обратите внимание на MarkdownHeaderTextSplitter , он умеет добавлять в мету заголовки и подзаголовки. Если сконвертировать нужную книгу в этот формат, то должно быть хорошо. Но я не пробовал.
В моих примерах используется GigaChat - эта модель доступна исключительно в облаке по API. Если хочется локально работать, то нужно поднять свою модель, например маленькую версию llama или mixtral. Gigachain и Langchain позволяют это сделать, но это уже не так просто, как получить креды к API. Но в целом реально за вечерок всё настроить и поднять.
Такое сравнение будет не корректным. Если документ целиком можно положить в промпт, то надо его класть. RAG нужен в тех случаях, когда документ в промпт не получается.
Вероятно, с появлением сетей с 1М контекстом эта технология станет не столь актуальной.
Спасибо! Пользуйтесь, с помощью langchain / gigachain очень много чего ещё интересного можно реализовать.
Крайне маловероятно. Скорее тренируется только веса выходного слоя. Как сказал кто-то из разработчиков в интервью, файнтюнинг не добавляет новых знаний в модель, они и так там все есть, а лишь говорит, какие именно знания пользователь предпочитает получить.
2-3 итерации, если не получается, то дальше процесс становится вырожденным и смысла почти всегда нет.
Не упоминал. Но он все равно ими пользуется, поэтому для стабильной работы пришлось добавить то на что он ссылался.
Только вчера про него узнал, так то стоило бы.
Я честно говоря ждал чего-то подобного, но пока выйти из-под контроля он не пытался. Ждём gpt-5.
Встал в лист ожидания сразу и на следующий день получил, возможно повезло.
Доступ к боту не публикую, так как выходит довольно дорого, особенно учитывая то, что при запуске кода он делает несколько обращений. Но его без проблем можно запустить и на gpt-3.5
Звучит так, что их можно просто алгоритмическим чат-ботом заменить ) Можно взять какой-нибудь zero-code конструктор, вроде chatfuel и на нем реализовать замену девочкам.
Добрый день, ответил вам в личку.
Да, никаких проблем с этим нет.
1. Выбор фото с максимальной оценкой из серии селфи
2. Предложить вариант косметики/прически, которая максимизирует оценку