Comments 6
У меня в башке давно крутится мысль о том, что коль скоро все понятия, сущности представлены векторами эмбеддингов, то по уму иметь некую матричную алгебру переходящую одни понятия в другие. В самых простейших случаях эти матрицы могут быть операциями морфологического преобразования числа, рода, падежа, спряжения, склонения, а в более продвинутых ситуациях некими глагольными действиями. Например операция "рождение" имеет на входе беременную "мать" и получает на выходе сущность "ребенка". Такая лингвистическая матричная алгебра могла бы представить буквально все NLP операции в строгом математическом виде и с высокой точностью. Это может быть полезно для точного понимания, верификации и генерации текстов. Вся лингвистика превращается в строгую математическую дисциплину? Нахождение самих матриц преобразования эмбеддингов мне кажется не должно быть очень сложной процедурой. Из корпусов текстов всегда можно извлечь огромное количество пар вектора, на основании которых можно восстановить матрицы трансформаций например методом наименьших квадратов.
Вся лингвистика превращается в строгую математическую дисциплину?
Вполне. Иначе бы GPT не смог бы работать с нашими текстами. Он буквально видит смыслы, семантику. В целом, я согласен с вашим направлением мысли.
У GPT один семантический вектор, который формируется под токеном, имеет емкость около 4000 параметров (если брать DeepSeek) и около 12000, если брать крупные модели вроде Gemini Pro. Это колоссальная емкость, в один такой вектор может складываться очень серьезные и сложные понятия, и над всеми этими понятиями делаются арифметические операции.
Спасибо за комментарий, он дополняет статью.
Рад, что вы увидели и оценили мою реплику. Спасибо! Я сам по первому образованию физик и сразу узрел в эмбеддингах и дистрибутивный семантике большой смысл и скрытые проблемы. Она напомнила мне ситуацию начала 20-х годов в области квантовой физики. Природа взаимодействия материи и энергии на микроуровне была сложна и не понятна до изобретения матричной механики Гейзенберга. Манипуляции квантами при помощи матриц все поставили на свои места и привели к открытию транзисторов, лазеров. Я ничего не имею против трансформеров LLM но дело в том, что логика преобразований размазан в них по миллиардам параметров, не очевидна для человеческого восприятия и подвержена галлюцинациям. Это фундаментальное ограничение нейросетевых моделей не позволяет применить GPT в критических приложениях. Матричные операции с эмбеддингами абсолютно прозрачны для понимания, точны и скорее всего будут более эффективны с вычислительной точки зрения чем трансформеры. Ещё раз спасибо и удачи!
Ещё один важный момент. Сложные многоэтапные преобразования векторов понятий могут быть представлены цепочками матричных операций, но благодаря самой природе линейной алгебры мы можем заранее перемножить все эти матрицы и получить только одну результирующую. Это позволит крайне эффективно манипулировать сложными текстами. Опять же аналогия с физикой и математикой. Сложные последовательные операции над временными и пространственными данными можно свести к единичной трансформации в частотной области, что является крайне эффективным методом фильтрации.
Вы изобрели word2vec, он был до прихода эмбедингов и GPT.
Ничего я не изобретал. Word2vec придумал чех Томаш Миколов, работая в Google в 2013 году и именно этот алгоритм открыл двери всем современным системам типа GPT. Я говорю немного о другом. Дистрибутивная семантика и векторное представление (эмбеддинги) просто сами напрашиваются на использование некоей матричной алгебры для трансформаций но это не эквивалентно глубоким нейросетям! Это немного другой более логически прозрачный подход
Математика смыслов: как слова становятся векторами в мире GPT