Когда агент вынужден быть разумным: модель автономной среды

[Pavel_Zak]

"Существует ли такая задача или класс задач, в которых машина вынуждена демонстрировать разумное поведение, а не просто оптимизировать заранее заданную цель?"

ДА. Это задача выживания, сохранения, дления - во всех существующих смыслах.

"...агент взаимодействует с автономной, изменяющейся средой, наблюдает её только через неполные и искажённые интерфейсы, не знает её правил заранее и при этом вынужден длительное время поддерживать собственный ресурс в положительном состоянии,
В таких условиях агент вынужден интерпретировать происходящее, проверять гипотезы, учитывать отложенные последствия действий и пересматривать свои представления о среде. Эта совокупность требований и формирует разумное поведение - не как свойство внутреннего устройства системы, а как необходимое следствие самой задачи"

То, что вы искали, уже давно найдено и сформулировано:

Интеллект Объекта — это набор способностей, которые используются при:
(1) Идентификации, формализации и запоминании (в форме модели) законов состояния и / или поведения:     
(1.1) Окружающей среды, и     
(1.2) Внутренней среды Объекта.
(2) Опережающего моделирования состояний и / или вариантов поведения:     
(2.1) в Окружающей среде, и     
(2.2) Внутренней среды Объекта.
(3) Создании описания состояния и / или реализации поведения Объекта, адаптированного:     
(3.1) к Окружающей среде, и     
(3.2) ко Внутренней среде Объектапри условии максимизации отношения Поведение Объекта / Затраты на поведениеОбъекта с целью сохранения (существования, дления, бытия) Объекта в Окружающей среде.

Не благодарите. :)

[Tarachoff]

Можно попросить у вас несколько названий статей, в которых можно об этом почитать?

[Pavel_Zak]

https://habr.com/ru/articles/485744 - как минимум, эта.