Понимают ли модели Apple русский язык?

Ещё в прошлом году Apple представил Apple Intelligence, а в этом улучшил их, также добавив новые сценарии работы.

Однако, русский язык не поддерживается, поэтому есть два варианта: используешь старую Siri и не имеешь доступа к старым функциям, либо меняешь весь интерфейс на английский и придется добавлять в Shortcuts команды, чтобы, например, позвонить кому-то, кто записан по-русски(диктовка на русском у английской Siri почти отсутствует).

Сегодня я решил проверить, а насколько реально модели Apple плохо или хорошо понимают русскую речь, если на английском они работают хорошо. Вначале думал потребуются инъекции, однако всё оказалось проще - в приложении Команды нет запрета на русском писать сразу моделям.

Тестировал Cloud версию и On-device, ChatGPT это ChatGPT-4 от OpenAI, у него все хорошо.

Cloud версия работает с русским так себе: она может плохо ответить на высказывания "Привет" - "Да вам привет!", но на более сложные запросы, например, "Расскажи, что такое NP-полные задачи" начнет иногда галлюцинировать и ошибаться в падежах(но не часто), но в целом ответы даже лучше, чем при простых вопросах("Дана граф", не "за", а "в", "задача можно полиноминальном времени преобраовать")

Многие считают, что on-device это просто урезанная cloud, скорее всего так и есть, но урезание получилось не в пользу русского - модель выдаёт сплошные галлюцинации, ошибается через слово в падежах и даже на запрос "Привет" ответит "Я не могу прогнозировать будущее", используйте для генерации всякой чепухи.

На "Как дела?" обе отправляли на сайт Apple, вероятно, это системный промпт(https://www.youtube.com/watch?v=gTOIMdH4-bE), в котором написано, что ты не имеешь эмоций и т.п.

По итогу это ограничение разумно, пока такое лучше не показывать всем, кто знает русский, но Cloud версию, я думаю, скоро можно будет использовать. Можете проверить сами(для этого смените, хотя бы на время, язык системы и Siri с русского на английский).