Спасибо за статью и датасеты! Крутая идея и бенчмарк, то же о передовой реализации - возьму на вооружение.
2 вопроса (сори, если наивных):
Прочел «Prompt Me One More Time» - извлечение триплетов LLM это же сравнительно дорого, почему не использовать NER с трансформерами и частеречную разметку? Дело в приращении в качества триплетов при использовании LLM? Пробовали старые варианты для извлечения триплетов или задача была именно в том, чтобы всё от начала до конца сделать при помощи LLM?
Если триплеты без привязки к дате, то это не совсем про знания. Т.е. "Росия нарастила добычу нефти", "FAW продал столько-то автомобилей" - нужен же базовый период и/или дата, т.к. в следующем месяце или году эта информация уже не актуальна. Т.к. бенчмарк динамический эта проблема сама собой снимается (оценка в моменте и фрагмент датасетов за момент), а чтобы в будущем собранные для RAG датасеты и вопросы можно было использовать? Как будто бы все вопросы из новостных источников должны быть Conditional?
=) Моей целью было доступно рассказать о методе/алгоритме, который сам недавно для себя открыл. (О сетевом анализе вообще часто рассказывают именно на примерах сетей, узлы которых люди. Так легче усваивается). Как метод будет использоваться - зависит от того, кто его использует, а не от метода. Да, неопатримониальные гипотезы QAP-ом тоже можно проверять. (Данные под это собрать нелегко). Со времен Медичи изменилось многое, но, конечно, не все. Это, вроде, и так всем понятно, и игра со сбором не стоит свеч. (Учебный датасет о топ-менеджерах в UCINet, кстати, тоже есть - KRACKHARDT HIGH-TECH MANAGERS - там дружеские связи и субординация).
Попробую развернуть коммент в положительный вопрос и ответить на него - где еще используют QAP? какие еще гипотезы им проверяют? Из того, что видел:
упомянутый Н. Мантель пытался понять этиологию лейкемии - есть ли связь между её временным и пространственным распространением; в медицине и экологии QAP используют;
Спасибо за тьюториал. На самом деле, shap.plots.scatter для категориальных признаков можно строить, будет похож на dependency.
Спасибо за статью и датасеты! Крутая идея и бенчмарк, то же о передовой реализации - возьму на вооружение.
2 вопроса (сори, если наивных):
Прочел «Prompt Me One More Time» - извлечение триплетов LLM это же сравнительно дорого, почему не использовать NER с трансформерами и частеречную разметку? Дело в приращении в качества триплетов при использовании LLM? Пробовали старые варианты для извлечения триплетов или задача была именно в том, чтобы всё от начала до конца сделать при помощи LLM?
Если триплеты без привязки к дате, то это не совсем про знания. Т.е. "Росия нарастила добычу нефти", "FAW продал столько-то автомобилей" - нужен же базовый период и/или дата, т.к. в следующем месяце или году эта информация уже не актуальна. Т.к. бенчмарк динамический эта проблема сама собой снимается (оценка в моменте и фрагмент датасетов за момент), а чтобы в будущем собранные для RAG датасеты и вопросы можно было использовать? Как будто бы все вопросы из новостных источников должны быть Conditional?
=) Моей целью было доступно рассказать о методе/алгоритме, который сам недавно для себя открыл. (О сетевом анализе вообще часто рассказывают именно на примерах сетей, узлы которых люди. Так легче усваивается). Как метод будет использоваться - зависит от того, кто его использует, а не от метода. Да, неопатримониальные гипотезы QAP-ом тоже можно проверять. (Данные под это собрать нелегко). Со времен Медичи изменилось многое, но, конечно, не все. Это, вроде, и так всем понятно, и игра со сбором не стоит свеч. (Учебный датасет о топ-менеджерах в UCINet, кстати, тоже есть - KRACKHARDT HIGH-TECH MANAGERS - там дружеские связи и субординация).
Попробую развернуть коммент в положительный вопрос и ответить на него - где еще используют QAP? какие еще гипотезы им проверяют? Из того, что видел:
объясняет ли (уровень торговли между странами уровень туризма м-ду ними же)[https://www.stata.com/meeting/1nasug/simpson.pdf], думаю, связь с количеством санкций тоже можно протестить;
объясняется ли (соавторство законов членством депутатов в одной партии, в комитете или в какой-то еще группе)[https://inion.ru/site/assets/files/7540/12_mal_tcev-_zaripov.pdf];
упомянутый Н. Мантель пытался понять этиологию лейкемии - есть ли связь между её временным и пространственным распространением; в медицине и экологии QAP используют;
выявление (факторов со-возникновения технологий (патентов, patent network analysis (PNA)))[https://www.researchgate.net/publication/309329297_Patent_Network_Analysis_and_Quadratic_Assignment_Procedures_to_Identify_the_Convergence_of_Robot_Technologies/fulltext/580a263408ae2cb3a5d2eb31/Patent-Network-Analysis-and-Quadratic-Assignment-Procedures-to-Identify-the-Convergence-of-Robot-Technologies.pdf?origin=publication_detail&_tp=eyJjb250ZXh0Ijp7ImZpcnN0UGFnZSI6InB1YmxpY2F0aW9uIiwicGFnZSI6InB1YmxpY2F0aW9uRG93bmxvYWQiLCJwcmV2aW91c1BhZ2UiOiJwdWJsaWNhdGlvbiJ9fQ&__cf_chl_tk=icg7lY.TqbMG4z3hxwffhJweZzHYZhIFepC3rKT6EmM-1754070364-1.0.1.1-VHNx.qpQ.d_Es6WN9PwyD_cdwW3bX2aY9AYJjJa7HKE]; (соавторство научных публикаций в зависимости от пространственной близости рабочих мест)[https://www.tandfonline.com/doi/full/10.1080/0022250X.2023.2180000#d1e217]
Про ресемплирование и Бутстрап все в общем знают, а про пермутацию и QAP - не особенно. Решил поделиться тем, что узнал.