Позиционные эмбеддинги, или Почему 3 + 5 не всегда 8

[InsiderCrush]

«Мне сказали, что каждая включенная в книгу формула вдвое уменьшит число покупателей». Стивен Хокинг, "Краткая история времени" :D

[Zotovaa]

Интересная мысль, да))

[showmelove]

Отлично, спасибо за статью, стало по понятнее о чем там читаешь вообще. Жду про attention разбор! Вот там совсем "магия" какая-то :)

[Zotovaa]

Уже в предвкушении этой темы )) давно она загадочная, пора исправлять. А есть к этой теме какие-то конкретные вопросы или в целом хочется чуть подробнее разобраться во всех мелочах?

[VAF34]

Спасибо! За иллюстрацию тезиса о том, что в многомерном пространства все вектора "ортогональны", а кластеризация происходит автоматически!

[Zotovaa]

Да, для меня такая проверка тоже стала открытием. Я привыкла думать двухмерным и трехмерным пространством, и не ценила так высоко высокий скор косинусного расстояния, казалось, что оно и случайно может быть таким. Но оказывается в 100+ мерных пространствах все кардинально меняется, в отличии от нашего мира.

[eugenk]

Я на квантовании заткнулся. Ну просто не укладывается в голове как тренарные веса (+1, 0, -1) могут считать почти так же хорошо, как честные FP16 ! Магия какая-то... Из книг сильно разочаровала Андрей Сапунов "Как работает LLM". Думал там будет всё от и до, на самом низком уровне. Оказалось что на низком уровне он объясняет только совершенно элементарные вещи, а дальше тупо переходит на эппловский MLX, доступный только для маков, причем новых, на Apple Silicon. Сейчас вообще потихоньку дозреваю до мысли, написать свою небольшую нейронку на чистом С++ без единой библиотеки кроме стандартных, и обучить её несложной игре https://habr.com/ru/articles/136380/.

Сумма векторов в 256 измерениях — не каша. Случайные векторы там почти перпендикулярны, и по сумме однозначно находятся и слово, и позиция.

Абсолютно верно, всё так и должно быть. Если очень грубо, то с увеличением мерности пространства увеличивается число степеней свободы для точки (вектора). Многомерная геометрия вообще как это ни странно, штука довольно контринтуитивная.