Комментарии 10
Когда рассказчик дерьмовый, конечно, не понятно (я не про статью, я её не читал).
Однако, как я считаю, понять это довольно просто.
Эмбеддинги - это способ представить класс/понятие через вектор.
"слово" (класс) = [0.3, -0.2, 0.6] (вектор)
А сумма векторов здесь не работает, потому что теряется информация о порядке (например, "вопрос про" или "про вопрос"). Потому придумали RNN и Транс. А нейросеть - это просто функция с большим количеством связей (настраиваются весами). И обратное распространение как способ подбора весов.
LSTM придумали в 1997 году. А RNN в принципе ещё раньше.
А всего несколько лет назад придумали Транс (2017).
И что значит "однозначно сопоставляется с вектором" ?
Нейросети имеют вероятностную природу. На входе и сейчас токены однозначно сопоставляется. А на выходе этого давно никто не ждёт.
Ну да Word2Vec стал известен относительно недавно.
Королева = король - мужчина + женщина.
Нищеброд = король + женщина - корона.
Многозначность была.
Жаль только что так долго придумать не могли эту простейшую идею.
Но операции над векторами в нейросетях были и никуда не делись.
Основа нейросетей это умножение матриц. Так что математика тоже никуда не девалась.
Я вот сколько не пытаюсь читать про ИИ, но каждый раз читаю про что угодно, кроме ИИ
ИИ простыми словами, часть 2. Reinforcement Learning (RL)