Задумывались ли вы когда-нибудь, почему две языковые модели с одинаковыми оценками на тестах ведут себя совершенно по-разному в реальном общении? Оценки вроде бы одни и те же, а ощущения от общения — совсем нет: одна охотно подыгрывает, другая спорит до последнего, третья резко меняет мнение из-за незначительной формулировки. Кажется, за сухими числами мы теряем самое интересное — характер и повадки моделей.

Исследователи решили перестать мерить всё под одну гребёнку и попробовали разобраться, какими чертами личности и поведения на самом деле отличаются современные LLM. В ход пошли не только бенчмарки, но и целый профиль моделей — от умения мыслить абстрактно до устойчивости к лести.

Что оказалось на поверхности, какие неожиданные черты всплывают и почему выбор ИИ — это теперь не только про точность, но и про стиль взаимодействия? Подглядываем в поведенческие отпечатки моделей, чтобы понять: что за личность сидит внутри LLM.

Что скрыто за характером LLM: читаем поведенческие отпечатки