Отдача от глубокого обучения снижается. Что с этим делать

так как множество организмов изначально рождаются с хорошо сформированной нервной системой (еще до всякого обучения)

Не стоит упускать тот момент, что до рождения есть внутриутробный (инкубационный) период в течении которого формируется нервная система. И какая она будет при рождении зависит не только от набора ДНК (начальной архитектуры), но и от информации приходящей к плоду от матери через питание и физические воздействия. Происходит скрытое обучение к предстоящей жизни и развитие "архитектуры" одновременно.
И абсолютно с вами согласен - аналогии и спекуляции на счет общего моделей нейронов с биологией.

Ещё один подход к окрашиванию черно-белых фотографий учитывает характеристики старой фотоэмульсии

Как изменилась форма очков Ганди?