Кратко поправлю себя, естественно только GPT-подобные трансформеры это AR
Но замыкание рассуждений на уровне эмбедингов - это увы не свойство типичного представителя трансформеров. А такие вот рекуррентные вычисления - это шаг на пути к тому что вы описываете
"Опция показа мыслей"? Трансформеры это авторегрессионные модели (не будем про dLLM, хотя там принцип не сильно поменялся). Архитектура устроена таким образом, что за каждый такт генерации модель на последнем линейным слое выдает распределение токенов P(T_n | {T_n-1, T_n-2 .... T_0}, где T_n - токен на n-ой позиции. Их размышления целиком и полностью зависят от того, что они нагенерировали до этого. А текст для человека это просто маппинг наиболее вероятного класса (айди токена) на текст в словарике по этому айдишнику. Учите матчасть, дорогой комментатор.
Какая ценность у этого текста на хабре, если большая часть написана ChatGPT и без какой-либо редактуры вставлена в пост? С таким же успехом можете в посте оставлять ссылку на источник и промпт, которым генерировали изображения и текст…
Кратко поправлю себя, естественно только GPT-подобные трансформеры это AR
Но замыкание рассуждений на уровне эмбедингов - это увы не свойство типичного представителя трансформеров. А такие вот рекуррентные вычисления - это шаг на пути к тому что вы описываете
"Опция показа мыслей"? Трансформеры это авторегрессионные модели (не будем про dLLM, хотя там принцип не сильно поменялся). Архитектура устроена таким образом, что за каждый такт генерации модель на последнем линейным слое выдает распределение токенов P(T_n | {T_n-1, T_n-2 .... T_0}, где T_n - токен на n-ой позиции. Их размышления целиком и полностью зависят от того, что они нагенерировали до этого.
А текст для человека это просто маппинг наиболее вероятного класса (айди токена) на текст в словарике по этому айдишнику.
Учите матчасть, дорогой комментатор.
Какая ценность у этого текста на хабре, если большая часть написана ChatGPT и без какой-либо редактуры вставлена в пост? С таким же успехом можете в посте оставлять ссылку на источник и промпт, которым генерировали изображения и текст…