Comments 5
Отличная статья, спасибо!
Насколько я понял, применение теоремы Уитни к LLM предполагает, что мы работаем с непрерывными структурами. Но ведь словарь у модели конечен и, получается, мы как бы натягиваем гладкую топологию на дискретный граф совместных встречаемостей слов.
К тому же GPT-2 вроде бы не умеет решать day-math, т.е. фактически мы исследуем структуру, которая находится в латентном пространстве, но не используется самой моделью по прямому назначению (иначе бы GPT-2 могла в математику). Или я неправильно понял?
Не относитесь к этому как к придиркам, я для себя пытаюсь понять.
Привет! Спасибо и спасибо за вопросы!
1) Да, всё так. В статье как раз написано — у нас ни гладкости, ни инъективности.
2) Модель не умеет в day-math — это про то, что в GPT-2 данной нет circuit, который отвечает за 2pik/7 добавление ко дню.
Умение в задачу day-math не равно умение в задачу просто math и наоборот)
Надеюсь, помогла разобраться!
Тут может сказываться то, что моделям редко приходится заниматься day-math, и их мало в обучающей выборке относительно фраз в стиле «понедельник — день тяжелый», «Thursday is named after the god Thor», контекстуально вообще не связанных с порядком, а самое близкое к многообразию это перечисление от понедельника до воскресенья или от воскресенья до субботы. Весь этого сторонний контекст делает невыгодным располагать дни по окружности внутри embedding space и, если моделька не умеет в их порядок, то и в латентном пространстве тоже они по кругу не окажутся. То есть из-за большого числа стороннего контекста здесь нет чистоты grok-примера.
Но, конечно, одномерные упорядоченные циклические данные напрашиваются на то что бы жить на петле.
Если искать более сложные, и более потенциально интересные двумерные многобразия, то я бы обратил внимание на известные табличные данные, например на таблицу элементов Менделеева; или на взаимное географическое расположение городов на карте или созвездий на небе, последние особенно хороши, поскольку содержат не так уж много сторонних ассоциаций зато много примеров важности взаиморасположения из области астрономии. Но это, конечно, нужно искать модель, которая умеет в астрономию а еще лучше астрологию, потому что хотя последняя и маргинальна, содержит практически кучу задач на взаиморасположение и ореентацию.
Как модели упаковывают концепты в многообразия: смотрим на теорию, рушим идеальный мир и ищем кружочки