Недавно широкий резонанс вызвал анализ стиля письма 22 ведущих языковых моделей искусственного интеллекта. Исследователи с помощью статистического инструмента Fable провели сравнение исходных текстовых ответов моделей на одну и ту же серию тестовых заданий с использованием показателя перекрестной энтропии. Результаты показали, что не только модели, разработанные в одной лаборатории, имеют очень схожий стиль письма, но и некоторые модели из разных лабораторий демонстрируют необычайно схожие языковые особенности.
Исследователи объединили ответы каждой модели на все тестовые задания в единый текстовый корпус и рассчитали вероятностное распределение на основе триадов символов (то есть скользящих окон, состоящих из каждых трех последовательных символов), что позволило создать уникальную «модель языкового стиля» для каждой модели.
Хотя этот метод относится к базовым технологиям языкового моделирования, он основан на тысячах образцов и гораздо лучше отражает внутренние языковые привычки модели, чем простое оценивание.
В исследовании подчеркивается, что данный анализ сравнивает исключительно языковые стили, включая лексические привычки, предпочтения в форматировании, стилистические регистры и т. д., и не затрагивает содержание позиций или точек зрения моделей.
Исследователи ожидают, что модели одного производителя будут иметь схожий стиль из-за общих корней в обучающих данных, но при этом признают потенциальное влияние переменных, связанных с избыточностью данных
Критерием определения сходства между лабораториями служит следующее: если разброс стилей пары моделей из разных лабораторий меньше медианы разброса пар моделей из одной лаборатории в наборе данных, то срабатывает предупреждение. Этот порог определяется исключительно самими данными, без какого-либо искусственного вмешательства.
