Comments 10
"Измеренная метрика intersection over union (IoU)..." Метрики нельзя измерять, их можно только рассчитывать. Почему привели расчетную формулу только для (IoU), а не для всех применяемых метрик? Все приведенные метрики одинаково азбучны, но это придирки по стилю.
Не азбучный вопрос: как рассчитали доверительные интервалы для метрик? Что являлось причиной разброса и смещения, как их считали?
Очень полезная статья в плане погружения в тему ИИ. Заодно показывает, что способности ИИ обеспечиваются работой людей по классификации и структурированию данных Предложенный алгоритм - всего лишь автоматизация части ручной работы (как я понял, индийские аннотаторы без работы не останутся).
Ещё бы про технические подробности базы данных (железо, организационная структура, временные характеристики поиска)
Используемые индексы для поиска сущностей и отношений содержали 2.7M и 1.2K наименований соответственно. Проиндексированы были все имена сущностей и отношений из датасета SynthIE.
Использовалась Flat реализация FAISS индекса, работающая на CPU, потому что точность поиска для нас была важнее занимаемого времени. Поэтому время для поиска сущностей занимало до 4с. Однако эта реализация может быть значительно оптимизирована с использованием индекса на GPU и экспериментами с различными типами индексов, чтобы найти компромисс между точностью и временем выполнения запроса.
На основе топ-5 полученных точных имен сущностей и отношений, схожих с теми, что были извлечены на первом этапе
А сколько есть различных сущностей имеющих одинаковое написание?
Очень спорный алгоритм работы с триплетами описан в статье. Применимость результатов полученных с его использованием вызывает у меня сомнения.
Для экспериментов мы использовали все сущности, которые содержались в датасете SynthIE. В нем содержались только сущности с уникальными именами.
Однако вы задали очень логичный вопрос, на практике действительно могут встречаться синонимичные сущности. Сейчас мы работаем над новой версией пайплайна, в которой используем их описания, чтобы различать одинаковые по написанию сущности в зависимости от контекста, в котором они используются.
Хорошая статья, хочется продолжения по данной тематике, спасибо!
названное Prompt Me One More Time (фанаты Бритни тут?)
Фанаты считают, что пропущено слово Baby:
Prompt Me Baby One More Time.
большую роль здесь играет правильно сформулированный промпт
В GraphRAG от Microsoft к тем же выводам пришли и даже в коде реализовали некий автотюнинг промптов
А в целом это выглядит как разговоры про секс у подростков, все говорят, что графовые RAG перспективные, но кто реально внедрил и получил профит?
Prompt Me One More Time. Учим LLM строить графы знаний из текстов