Разрешите ли вы Google Site Search или Яндекс Поиск для сайта забирать данные напрямую из вашей базы данных?

Это старая идея. И ее обсуждение свелось с тому, что неплохо бы было, чтобы владельцы сайтов сами делали и хранили индекс в корневой директории сайта. Как, например, это делает для Яндекс.Маркет.

Но пускать в свою базу неизвестно кого я уж точно не собираюсь.

А где гарантия, что все данные из базы будут показаны и показаны верно на странице?

Напрямую — точно нет, а вот подготовленные данные — пожалуйста. Зачем давать возможность ну хотя бы даже хеши паролей индексировать?

Эм, стесняюсь спросить, а как быть тем у кого и базы то нет на сайте вообще (тот же gh-pages)? :)

Я к тому что с тем количеством баз которые есть сейчас и с тем что и как в них умудряются хранить — это просто нереально и именно по этому, наверное, придумали sitemap.xml

собственно мы запустились http://indexisto.com/ ))