Когда ИИ пора перестать верить учебнику?

[maxnoosphere]

интересный вопрос. а как определяли границу между учебным датасетом и реальным миром? какие метрики использовали для принятия решения?

[IlyaTang]

Не совсем понял, что вы называете границей между учебным датасетом и реальным миром. В эксперименте dataset модели вообще не меняется. Если вы про границу, после которой новые наблюдения должны заставить систему ограничить или заменить старую теорию, — это как раз отдельная часть дизайна: сравнение решения модели с контрольной рациональной политикой, плюс качество прогноза, задержка пересмотра и ложные революции. Или вы имели в виду что-то другое?