Такие фундаментальные вещи, а конкретно какие технические страницы должны быть исключены из индекса, закрыты в noindex, nofollow, или выдаваться только по хэшу для конкретной сессии, ip, юзерагента и тп, чтобы никаким образом они не попали в индекс поисковиков задача конечно же разработчиков. Имхо
Могу на 100% утверждать, что Яндекс и другие ПС точно не причем. Это косяк криворуких разрабов, которые забывают запрещать хотя бы через robots.txt индексацию таких страниц.
А огромное количество таких доков в индексе лишь подтверждает тот факт, что в России, да и во всем мире, очень мало стоящих разработчиков.
А огромное количество таких доков в индексе лишь подтверждает тот факт, что в России, да и во всем мире, очень мало стоящих разработчиков.