📢 Вчера вышла наша новая научная статья, посвященная автоматическому бенчмаркингу и self-error инструкциям в классическом ML.

Ссылка: https://www.mdpi.com/2504-4990/7/4/148
тг-канал: https://t.me/kirill_zakharov_blog

Основная проблема современных бенчмарков в их статичности: будучи фиксированными, они требуют постоянного обновления и усложнения. В отличие от них, автоматические бенчмарки генерируются динамически, исходя из конкретной задачи. В этой области уже существуют работы по синтетическим бенчмаркам, а также так называемые model-aware оценки, которые опираются на саму модель.

💡 Наша идея проста и, кстати, применима и для LLM: если модель действительно хороша, она будет показывать высокие метрики на большей части тестового набора данных или фиксированного бенчмарка. Однако проблемы модели начинаются именно там, где она ошибается. У по-настоящему качественной модели таких ошибок мало, и получить статистически значимые оценки на них сложно.

Более того, рядом с точками, где модель ошибается, почти наверняка существуют и другие точки, в которых она также будет ошибаться — просто исходный датасет не покрывает всю область определения, да и пространство многомерное и точки лежат в нем разреженно.

✅ Мы решили эту задачу: мы исследовали окрестности таких точек и, что удивительно, действительно нашли множество примеров, где модель ошибается так же или даже сильнее. Для этого мы объединили генетический алгоритм и вариационный автокодировщик, чтобы генерировать семантически близкие точки. При этом сгенерированные данные остаются осмысленными и находятся в правдоподобных областях пространства признаков.

В перспективе можно рассмотреть, как искать проблемные точки в LLM. Пока это лишь идея, но, возможно, нам удастся её формализовать и провести соответствующие вычисления.

А это наша визуализация (проекция) точек данных, где как раз видны и кластеры плохих точек и дыры в пространстве признаков.