OpenAI выпустила GPT-5.1 Pro — свой самый мощный ИИ

[Gomer98]

Мне одному кажется, что GPT с каждым обновлением становиться все хуже и хуже?

[mantiscorp]

Мне одному кажется

"Кажется" - не очень хороший бенчмарк

[Gomer98]

В частности страдает генерация текста на русском, на GPT4/4o было меньше грамматических и орфографических ошибок.
Придумывает несуществующие слова, потом доказывает, что в словарях такие формы зафиксированы )

[AVX10]

Ну это да. Только вот модели сейчас затачивают на математику и кодинг. В этих задачах они прогрессируют хорошо. Если работаешь с задачами, где нужен хороший русский, то это идти на поклон к Gemini.

[Gomer98]

Только вот базовая и первичная задача ЛЛМ - это генерация текста на естественном языке, нет? И проблема ведь не в том, что затачивают к чему то узконаправленному, вопрос в том, почему при этом модель начинает справляться хуже с задачами, с которыми она нормально справлялась в предыдущих версиях.

[AVX10]

Ну вообще-то GPT-5 стала лучше писать, чем GPT-4o. На английском. Русский в сделку не входил)

А если серьезно, то GPT-5 обучали с упором именно на математику и кодинг, поэтому из датасета вполне могли повыбрасывать немалую часть русских данных для экономии на обучении. Да и не стоит отбрасывать такую штуку, как "catastrophic forgetting" (катастрофическое забывание). Модель сначала учат на одном наборе данных, она чему-то учится. Потом её доучивают на другом наборе данных, причём без аккуратного смешивания со старым. В результате новые данные "переписывают" часть того, что она умела раньше, качество на старых задачах может сильно упасть. То, что GPT-5 стала хуже на русском писать - это конечно печально, но не катастрофично. Та же Gemini и так до этого писала на русском лучше, чем GPT-4o. Для большинства задач нынешнего уровня вполне хватает, а челам, которые до этого использовали GPT для работы с текстом и раньше стоило переходить на Gemini