Уже совершили. Как говорила одна моя подругу: три раза утром и два раза вечером. Можно утром два раза, но тогда вечером три раза. Если серьёзно, то читайте про GraphRAG
Запустил T-Lite и Qwen2.5-7B на ноутбуке с Intel Core i7-8750H 2.20GHz. Скрипты из huggingface. Из huggingface взял Prompt "Напиши стих про машинное обучение" и сделал перевод "Write a poem about machine learning" для моделей соответственно. T-Lite считала в 7 раз дольше. Какие мысли, почему?
Для T-Lite max_new_tokens=256, для Qwen2.5-7B max_new_tokens=512
"Если вам интересна тема самостоятельного сбора, разметки данных, подготовки датасета и дальнейшего обучения модели на этих данных, то я буду только рад рассказать про это в одной из следующих статей, дайте только знать интересно ли вам это. " Да, это очень интересно, а если ещё и на примере русскоязычного текста, то будет большой интерес для всех, кто уже планирует двигаться дальше RAG
Спасибо за оперативный ответ! Сразу видно, что Автор ориентируется в теме!
А как извлекать не другие, а именно "свои" сущности , т.е. специфичные для определенного пита документов (нормативная документация, технические или фин отчеты, научные медицинские статьи) при помощи spaCy? Как дообучить spaCy, чтобы было можно находить сущности, отражающие конкретный виде деятельности?
"рудимент российского корпоративного мышления" - а это уже не ко мне. Я решаю конкретные задачи по тем правилам, которые сформулированы здесь и сейчас и на остальное абсолютно наплевать. Остальное - словоблудие, не имеющее никакого отношения к RAG. На эти вопросы нет времени и нет желания желания
Это не я хочу. Это правила такие, связанные с соблюдением конфиденциальности и актуальности данных. Корпоративные данные не должны покидать контролируемый и защищённый контур корпорации. Надо иметь возможность обновлять БД с режиме реального времени
Всё, что мешает/затрудняет развёртыванию RAG уже хорошо и подробно описано на Хабре.
Если коротко:
Организационная - запутанная структура исходных данных;
Технологическая - отсутствие небольших LLM, хорошо работающих с нашим языком;
Техническая, она же финансовая - дорогие графические карточки
Вопросы со сложной структурой данных возможно частично снимутся применением графовых RAG. Вопросы технологические и технические со временем, надеюсь, сами собой разрешаться
- а то не так, что Автор не понимает принципы работы RAG, что RAG работает только с локальными данными и процесс обучения "таких как ChatGPT или Gemini " не имеет никакого отношения к работе RAG;
а то не так, что Автор не разбирается в теме и не отвечает за свои слова. А если отвечает, то пусть объяснит конкретно, с примерами как "множества сомнительных политик" мешают работе RAG, какие политики Автор считает сомнительными
Я написал не один RAG и мешали мне не "сомнительные политики", а многое другое.
"Интересно, что ни разу не видел, чтобы данные перед ретривалом пропускали через LLM " Если говорить о Базе Данных, то это embeddings.
"если юзер плохо сформулировал запрос, что он не "зацепил" нужные чанки, то, все, никакой LLM не спасет." Иногда в этой ситуации помогает MultiQueryRetriever.
"По сути сеть это целая популяция параметров, и те, что не помогают в решении задачи потихоньку изменяются (умирают)" - только если наблюдается информационная избыточность. При адекватной архитектуре нейронной сети "умирания" нет. Есть принудительное зануление значения некоторых весов, но это отдельная технология для уменьшения переобучения
"но мы ни в коем случае не требуем это делать строго, напротив, нам важен именно побочный эффект запоминания", пардон, а Вы хоть одну модель обучили или этот труд опять глюки LLM?
"Не существует механизма, который мог бы отделить важные фичи от не важных, " Спешу Вас порадовать - этот механизм, т.е. алгоритм есть и называется он - обучение
"Это может звучать не очень впечатляюще, но на самом деле это огромный шаг вперед. Они буквально могут понять любую чепуху, которую вводят ваши пользователи, и превратить ее во что-то осмысленное".
"Это особенно верно для общедоступных моделей, таких как ChatGPT или Gemini. Они обучены с учётом множества сомнительных политик,". К описываемым в данной работе технологиям RAG это не имеет никакого отношения, т.к. используются локальные данные.
Такое ощущение, что сей труд - плод глюков слабенькой LLM
Уже совершили. Как говорила одна моя подругу: три раза утром и два раза вечером. Можно утром два раза, но тогда вечером три раза. Если серьёзно, то читайте про GraphRAG
Ув автор! Чем Ваш труд отличается от десятка аналогичных статей, уже опубликованных на Хабре?
Запустил T-Lite и Qwen2.5-7B на ноутбуке с Intel Core i7-8750H 2.20GHz. Скрипты из huggingface. Из huggingface взял Prompt "Напиши стих про машинное обучение" и сделал перевод "Write a poem about machine learning" для моделей соответственно. T-Lite считала в 7 раз дольше. Какие мысли, почему?
Для T-Lite max_new_tokens=256, для Qwen2.5-7B max_new_tokens=512
"Если вам интересна тема самостоятельного сбора, разметки данных, подготовки датасета и дальнейшего обучения модели на этих данных, то я буду только рад рассказать про это в одной из следующих статей, дайте только знать интересно ли вам это. " Да, это очень интересно, а если ещё и на примере русскоязычного текста, то будет большой интерес для всех, кто уже планирует двигаться дальше RAG
Спасибо за оперативный ответ! Сразу видно, что Автор ориентируется в теме!
А как извлекать не другие, а именно "свои" сущности , т.е. специфичные для определенного пита документов (нормативная документация, технические или фин отчеты, научные медицинские статьи) при помощи spaCy? Как дообучить spaCy, чтобы было можно находить сущности, отражающие конкретный виде деятельности?
Вы серьёзно считаете, что решение о внедрении RAG будет приниматься на основе публикаций на Хабре???
"Напишем функцию, которая извлекает все сущности типа
ORG(организации) из нашего текста"А как извлекать "свои" сущности при помощи spaCy? Напишите пожалуйста - народу это сильно понравиться, а пишите Вы очень доходчиво!
"Активирационные функции: " - это функции активации?
https://habr.com/ru/companies/raft/articles/784964/
", достигнув человеческого уровня впервые. " Это только мне режет глаз или уже норма?
"Faiss: библиотека для поиска по сходству, разработанная Facebook."
Не только библиотека для поиска, результаты можно сохранить на диске: vector_store.save_local("faiss_index")
"какого типа компании" Извините, не в моей компетенции обсуждать эти вопросы
"что там сказано?" Извините, с Вами прекращаю любой разговор
Есть такое понятие как ТЗ
"рудимент российского корпоративного мышления" - а это уже не ко мне. Я решаю конкретные задачи по тем правилам, которые сформулированы здесь и сейчас и на остальное абсолютно наплевать. Остальное - словоблудие, не имеющее никакого отношения к RAG. На эти вопросы нет времени и нет желания желания
Это не я хочу. Это правила такие, связанные с соблюдением конфиденциальности и актуальности данных. Корпоративные данные не должны покидать контролируемый и защищённый контур корпорации. Надо иметь возможность обновлять БД с режиме реального времени
Всё, что мешает/затрудняет развёртыванию RAG уже хорошо и подробно описано на Хабре.
Если коротко:
Организационная - запутанная структура исходных данных;
Технологическая - отсутствие небольших LLM, хорошо работающих с нашим языком;
Техническая, она же финансовая - дорогие графические карточки
Вопросы со сложной структурой данных возможно частично снимутся применением графовых RAG. Вопросы технологические и технические со временем, надеюсь, сами собой разрешаться
А с п. 1 всё понятно??? Завидую!!!!
"а что по Вашему тут не так?"
- а то не так, что Автор не понимает принципы работы RAG, что RAG работает только с локальными данными и процесс обучения "таких как ChatGPT или Gemini " не имеет никакого отношения к работе RAG;
а то не так, что Автор не разбирается в теме и не отвечает за свои слова. А если отвечает, то пусть объяснит конкретно, с примерами как "множества сомнительных политик" мешают работе RAG, какие политики Автор считает сомнительными
Я написал не один RAG и мешали мне не "сомнительные политики", а многое другое.
"Интересно, что ни разу не видел, чтобы данные перед ретривалом пропускали через LLM " Если говорить о Базе Данных, то это embeddings.
"если юзер плохо сформулировал запрос, что он не "зацепил" нужные чанки, то, все, никакой LLM не спасет." Иногда в этой ситуации помогает MultiQueryRetriever.
"По сути сеть это целая популяция параметров, и те, что не помогают в решении задачи потихоньку изменяются (умирают)" - только если наблюдается информационная избыточность. При адекватной архитектуре нейронной сети "умирания" нет. Есть принудительное зануление значения некоторых весов, но это отдельная технология для уменьшения переобучения
"но мы ни в коем случае не требуем это делать строго, напротив, нам важен именно побочный эффект запоминания", пардон, а Вы хоть одну модель обучили или этот труд опять глюки LLM?
"Не существует механизма, который мог бы отделить важные фичи от не важных, " Спешу Вас порадовать - этот механизм, т.е. алгоритм есть и называется он - обучение
"Это может звучать не очень впечатляюще, но на самом деле это огромный шаг вперед. Они буквально могут понять любую чепуху, которую вводят ваши пользователи, и превратить ее во что-то осмысленное".
"Это особенно верно для общедоступных моделей, таких как ChatGPT или Gemini. Они обучены с учётом множества сомнительных политик,". К описываемым в данной работе технологиям RAG это не имеет никакого отношения, т.к. используются локальные данные.
Такое ощущение, что сей труд - плод глюков слабенькой LLM