2. Посмотрите на DirectoryLoader, как раз для вашего случая! loader = DirectoryLoader('../', glob="**/*.txt", show_progress=True) docs = loader.load()
3. В txt номеров страниц обычно уже нет, поэтому TextSplitter'ы не умеют добавлять метаданные. Из коробки это умеют делать только сплиттеры для *.md и html. Обратите внимание на MarkdownHeaderTextSplitter , он умеет добавлять в мету заголовки и подзаголовки. Если сконвертировать нужную книгу в этот формат, то должно быть хорошо. Но я не пробовал.
В моих примерах используется GigaChat - эта модель доступна исключительно в облаке по API. Если хочется локально работать, то нужно поднять свою модель, например маленькую версию llama или mixtral. Gigachain и Langchain позволяют это сделать, но это уже не так просто, как получить креды к API. Но в целом реально за вечерок всё настроить и поднять.
Такое сравнение будет не корректным. Если документ целиком можно положить в промпт, то надо его класть. RAG нужен в тех случаях, когда документ в промпт не получается.
Вероятно, с появлением сетей с 1М контекстом эта технология станет не столь актуальной.
Крайне маловероятно. Скорее тренируется только веса выходного слоя. Как сказал кто-то из разработчиков в интервью, файнтюнинг не добавляет новых знаний в модель, они и так там все есть, а лишь говорит, какие именно знания пользователь предпочитает получить.
Встал в лист ожидания сразу и на следующий день получил, возможно повезло.
Доступ к боту не публикую, так как выходит довольно дорого, особенно учитывая то, что при запуске кода он делает несколько обращений. Но его без проблем можно запустить и на gpt-3.5
Звучит так, что их можно просто алгоритмическим чат-ботом заменить ) Можно взять какой-нибудь zero-code конструктор, вроде chatfuel и на нем реализовать замену девочкам.
Спасибо за интересную статью! Вижу пару интересных кейсов:
1. Выбор фото с максимальной оценкой из серии селфи
2. Предложить вариант косметики/прически, которая максимизирует оценку
С точки зрения работы в областях Python/ML компания очень сильно отстает от современного состояния рынка. Все что описано выше присутствует и в этой области.
У меня дешевенький Sirad MR-106N. Я пробовал измерять им разные подземные объекты (реки Неглинка, Кровянка, подмосковные каменоломни) и везде уровень радона был очень высокий. Один раз прибор вообще зашкалил (более 10000 бк/м3 при норме 100-200).
Тоже увлекаюсь дозиметрией. Крайне выскоие уровни радона были мной обнаружены в коллекторах подземных Московских рек (ПДК превышен более чем в 100 раз).
Особенность радона в том, что такие опасные ПДК нельзя зафиксировать обычным дозиметром со счетчиком гейгера. Сцинтилляционный датчик тоже будет давать лишь очень небольшую прибавку. Для радона нужен специализированный прибор.
Спасибо! Очень интересно! Тоже пробую обучить эту модель.
А как долго надо учить, чтобы появился хоть какой-то осмысленный результат и стало понятно, что движешься в правильном направлении?
В моем случае после 20 тысяч итерация генерируется или однородный писк, или тишина. Это примерно 2 часа обучения на 1080.
Процесс торможения электродвигателем имеет много плюсов, даже если не удается эффективно заряжать батареи. Например, тормозное усилие падает пропорционально скорости, поэтому колесо никогда не будет заклинено. Этакий встроенный идеальный АБС.
Добрый день!
1. Не, UI был сделан на SDK streamlit. Очень крутая штука для тех, кто не умеет делать UI :) Примерчек можно глянуть тут (задача решается другая, но суть та же самая) - https://github.com/ai-forever/gigachain/blob/master/libs/streamlit_agent/gigachat_streaming.py
2. Посмотрите на DirectoryLoader, как раз для вашего случая!
loader = DirectoryLoader('../', glob="**/*.txt", show_progress=True)
docs = loader.load()
3. В txt номеров страниц обычно уже нет, поэтому TextSplitter'ы не умеют добавлять метаданные. Из коробки это умеют делать только сплиттеры для *.md и html. Обратите внимание на MarkdownHeaderTextSplitter , он умеет добавлять в мету заголовки и подзаголовки. Если сконвертировать нужную книгу в этот формат, то должно быть хорошо. Но я не пробовал.
В моих примерах используется GigaChat - эта модель доступна исключительно в облаке по API. Если хочется локально работать, то нужно поднять свою модель, например маленькую версию llama или mixtral. Gigachain и Langchain позволяют это сделать, но это уже не так просто, как получить креды к API. Но в целом реально за вечерок всё настроить и поднять.
Такое сравнение будет не корректным. Если документ целиком можно положить в промпт, то надо его класть. RAG нужен в тех случаях, когда документ в промпт не получается.
Вероятно, с появлением сетей с 1М контекстом эта технология станет не столь актуальной.
Спасибо! Пользуйтесь, с помощью langchain / gigachain очень много чего ещё интересного можно реализовать.
Крайне маловероятно. Скорее тренируется только веса выходного слоя. Как сказал кто-то из разработчиков в интервью, файнтюнинг не добавляет новых знаний в модель, они и так там все есть, а лишь говорит, какие именно знания пользователь предпочитает получить.
2-3 итерации, если не получается, то дальше процесс становится вырожденным и смысла почти всегда нет.
Не упоминал. Но он все равно ими пользуется, поэтому для стабильной работы пришлось добавить то на что он ссылался.
Только вчера про него узнал, так то стоило бы.
Я честно говоря ждал чего-то подобного, но пока выйти из-под контроля он не пытался. Ждём gpt-5.
Встал в лист ожидания сразу и на следующий день получил, возможно повезло.
Доступ к боту не публикую, так как выходит довольно дорого, особенно учитывая то, что при запуске кода он делает несколько обращений. Но его без проблем можно запустить и на gpt-3.5
Звучит так, что их можно просто алгоритмическим чат-ботом заменить ) Можно взять какой-нибудь zero-code конструктор, вроде chatfuel и на нем реализовать замену девочкам.
Добрый день, ответил вам в личку.
Да, никаких проблем с этим нет.
1. Выбор фото с максимальной оценкой из серии селфи
2. Предложить вариант косметики/прически, которая максимизирует оценку
Особенность радона в том, что такие опасные ПДК нельзя зафиксировать обычным дозиметром со счетчиком гейгера. Сцинтилляционный датчик тоже будет давать лишь очень небольшую прибавку. Для радона нужен специализированный прибор.
А как долго надо учить, чтобы появился хоть какой-то осмысленный результат и стало понятно, что движешься в правильном направлении?
В моем случае после 20 тысяч итерация генерируется или однородный писк, или тишина. Это примерно 2 часа обучения на 1080.