Это старая идея. И ее обсуждение свелось с тому, что неплохо бы было, чтобы владельцы сайтов сами делали и хранили индекс в корневой директории сайта. Как, например, это делает для Яндекс.Маркет.
Но пускать в свою базу неизвестно кого я уж точно не собираюсь.
Эм, стесняюсь спросить, а как быть тем у кого и базы то нет на сайте вообще (тот же gh-pages)? :)
Я к тому что с тем количеством баз которые есть сейчас и с тем что и как в них умудряются хранить — это просто нереально и именно по этому, наверное, придумали sitemap.xml
Разрешите ли вы Google Site Search или Яндекс Поиск для сайта забирать данные напрямую из вашей базы данных?