vsradkevich Feb 4 at 20:40

Об OpenAI Deep Research

Medium

28 min

6.3K

Artificial IntelligenceMachine learning*Search engines*Research and forecasts in IT*Data Mining*

Review

Comments 10

frozzzen Feb 5 at 07:37

К всезнающему "ИИ" есть у меня общий вопрос. Возможна ли на современном уровне техники машинная энциклопедизация знаний? Хотя бы отраслевая, для начала. А также вменяемый патентный поиск.

И один частный вопрос. Лежит на сервере 1 миллион страниц пдф технической документации. Или миллион страниц научных работ. Возможно ли обучить LLM до такого уровня "чата", чтобы эта нежить давала мало-мальски вменяемые ответы по темам статей? Хотя бы на уровне студента-троечника с хорошей памятью?

SnakeSolid Feb 5 at 10:28

Загнать документы в RAG (ну или GraphRAG) и большая часть моделей будет отвечать на уровне студента (желательно брать модели с большим контекстом). У меня документация так индексируется - на большинство вопросов локальный deepseek нормально отвечает.

vsradkevich Feb 5 at 15:44

Здравствуйте!

Научить LLM всему подряд — крайне дорого и почти бесполезно. Правильнее научить LLM «доставать» нужную инфу из хранилища — эффективно и гибко. Так же, как, по сути, это делает человек.

LLM нужен, в основном, как "программный интерфейс" для обработки и понимания языка.

По поводу вашего запроса: Сделать это на миллион документов — задача не из области фантастики: нужна лишь инфраструктура для индексации (векторная БД, машинки, RAM/диски для хранения эмбеддингов, BM25), а сама сборка и настройка — вопрос пары месяцев (или быстрее, если команда опытная и есть уже готовый фреймворк).

Сейчас я готовлю еще одну статью, где, как раз, хочу проиндексировать Хабр и научить LLM находить нужную статью и отвечать на вопросы... проект будет в опенсорс..

fed_medved007 Feb 26 at 07:43

почти все нормальные патентные базы платные. Если рассматривать тот же WIPO, ИИ врятли сможет пользоваться поиском, а базой данных так тем более, нужно обучать именно под неё.
Поэтому пока только руками, хотя можно облегчить себе жизнь узнав какие компании разрабатывали или институты, в какие года, МПК и прочие вещи.

vsradkevich Mar 16 at 04:09

Есть ещё проблема User Agent, все эти ИИ ходят идентифицируя себя сайтам, а сайты начали банить агентов при переходе на свои ресурсы... это меня расстраивает.

ASReka Feb 5 at 12:09

В плане FREE у ChatGPT сейчас есть ярлычок с лампочкой. Называется "Обоснуй". ChatGPT как раз и назвала эту функцию в ответ на мой вопрос "глубоким анализом", если я верно запомнил. Вот только никакого получасового глубокого анализа при этом автоматически не происходит. Нужно по прежнему тщательно делать промпты, чтобы нейросеточка поняла чего ты хочешь. И в диалоге направлять работу в нужную сторону. А так - да, с этой функцией, и с включенной функцией поиска в интернете черновой анализ делает весьма хорошо. Сильно экономит время на сбор данных.

vsradkevich Feb 5 at 15:35

Функция Deep Research доступна, к сожалению, только для платных подписок типа Pro (200$ в месяц, 100 запросов). К счастью, "Hugging Face выпустила открытый аналог OpenAI Deep Research для анализа информации по сотням сайтов" https://3dnews.ru/1117752/hugging-face-vipustila-otkritiy-analog-openai-deep-research-dlya-sbora-dannih-iz-seti

shadrap Feb 5 at 16:14

сейчас большинство технических форумов ушло в Телеграм каналы, а он их шерстить не может..

frozzzen Feb 6 at 19:38

Другой вопрос. Очень много папочек на компе. Такое бывает, когда собирается разнородная информация из различных источников в количествах, превосходящих "прочитать за пару вечеров". Может ли Deep Research решить задачу классификации файлов(документов)?

vsradkevich Feb 6 at 19:44

Здравствуйте! Нейросети такого типа (MoT GPT) -- это авторегрессивные модели (модели предсказаний, в частности, генерации текста), они в основном нужны для того, чтобы перерабатывать текст, создавать из него другую форму -- например извлекать онтологии, делать суммаризацию, отвечать на вопросы.. Для классификации есть более быстрые и простые решения -- модели эмбеддинга, они в тысячи раз быстрее.