Векторы остаются необходимы. Даже если явная смысловая арифметика уступила место работе нейросетей, сама архитектура нейросетей всегда требует перевода дискретных токенов в непрерывное пространство.
Это пространство позволяет нейросети эффективно обучаться с помощью дифференцируемых операций. В трансформерных архитектурах именно векторное представление позволяет вычислять внимания между токенами.
Хорошая аналогия, если сильно упростить, то примерно так. Использование векторных представлений похоже на выбор удобной системы координат для орбит, но еще и обеспечивают непрерывное пространство. Тут работает не дискретная математика, а "аналоговая".
Векторы нужны, чтобы переводить дискретные токены в непрерывное пространство, где можно вычислять сходство и проводить "смысловую арифметику". Это облегчает обучение нейросети и помогает выявлять тонкие семантические связи, которые сложно реализовать напрямую с токенами.
Векторы остаются необходимы. Даже если явная смысловая арифметика уступила место работе нейросетей, сама архитектура нейросетей всегда требует перевода дискретных токенов в непрерывное пространство.
Это пространство позволяет нейросети эффективно обучаться с помощью дифференцируемых операций. В трансформерных архитектурах именно векторное представление позволяет вычислять внимания между токенами.
Минус в карму и к посту из-за "личной неприязни к автору" - это, конечно, "очень объективно".
Хорошая аналогия, если сильно упростить, то примерно так. Использование векторных представлений похоже на выбор удобной системы координат для орбит, но еще и обеспечивают непрерывное пространство. Тут работает не дискретная математика, а "аналоговая".
Векторы нужны, чтобы переводить дискретные токены в непрерывное пространство, где можно вычислять сходство и проводить "смысловую арифметику". Это облегчает обучение нейросети и помогает выявлять тонкие семантические связи, которые сложно реализовать напрямую с токенами.