Не учите ИИ плохому: как модели запоминают грамматические фигуры вместо смысла

Крупные языковые модели (LLM), подобные тем, что лежат в основе ChatGPT, порой ставят структуру предложения выше его смысла. Иными словами, они отвечают не на то, что вы спросили, а на то, как это грамматически оформлено.
Чтобы проверить гипотезу, исследователи задавали моделям вопросы, в которых сохранялась грамматическая форма, но отдельные слова не имели смысла.














