Bigbrother следит за тобой или темная сторона интернета

[dohlik]

А что, разве нельзя проверить, под кем на форум заходит бот?

[slayerhabr]

теоретически можно, вставить в phpbb код логгинга сессий

[dohlik]

Если не ошибаюсь, phpbb хранит в БД сессии… По крайней мере активные точно хранил

[khim]

В PHPBB точно ничего подобного нету?

[slayerhabr]

интересно, надо проверить

[slayerhabr]

проверил:

curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"  http://forum.site.com/

действительно показывает весь список форумов

[arestov]

а может Google Desktop не кукис ворует, а индекс напрямую отправляет. то есть индексирует на локальной машине из кэша и сливает прямиком в гугл,
или хром…

[slayerhabr]

ну это была бы дыра — представь, любой желающий может в индекс добавить свои данные

[arestov]

да, наверно всё не так.

[arestov]

а может и тем и другим, ведь от второго бы не было соединений с форумом, и можно было бы потделовать индекс

[Busla]

Именно так он и работает, т.к. позволяет синхронизировать индексы на нескольких компьютерах. Другое дело, что Google клянётся и божится, что эти данные не попадут в публичный доступ.
(использовал GD около полугода назад, сейчас отказался)

[mikes]

В phpbb3 зайдите в панель управления, и там увидите закладку «поисковые боты». соответственно оттуда можно включать или выключать доступ к форуму для них

по сути создаются пользователи основанные на useragent… которым можно только читать, и ими так же можно управлять в рамках форума.

по умолчанию все поисковые боты включены.

[mikes]

>Закрыл все форумы — не авторизованному пользователю выдается сообщение «На этом сайте нет форумов»
вот и получается что поисковые боты как раз авторизованные пользователи с правами на чтение, и потому видят ваш форум.

[slayerhabr]

да, точно, по умолчанию phpbb дает ботам доступ как авторизованным пользователям

[nablerts]

Google Chrome не дает поставить плюс посту.
Это начало войны!

[khim]

Вопрос только кого с кем: человек сам предоставил ботам доступ, потом вопит что у него эти боты воруют данные. Кто виноват и что делать? Закрыть дыру, однако…

[kurokikaze]

Хотел написать что PhpBB сам пускает ботов, но вы уже и сами поняли :)

[altblog]

А что это значит «про клавишу End знаю»?

[slayerhabr]

habrahabr.ru/blogs/i_am_clever/22380/

[developer]

Вы бы убрали это ваше

«По сути ворует куки.»

это обман и клевета. А то что виноват PHPBB — это верно. Вот не знаю как PHPBB, а IPB точно имеет настройку которой можно задать уровень доступа для ботов

[malaka]

нда, может в вашем случае это и форум виновен, а вот в моём гугл индексировал и обычные статичные страницы, которые эксплицитно индексировать было запрещено (через robots.txt, htaccess и htpasswd). я в трансе по этому поводу. а начальство моё было настолько в трансе, что я чуть было работы не лишился. а если бы начальство из бандитов было, то я не только работы, но и здоровья бы лишился… интересно, гугл мне пособие по нетрудоспособности платил бы?

[khim]

Начальство правильно что в трансе. Не знаю как там насчёт robots.txt, но если Гугл смог проиндексировать нечто, что, вроде как, закрыто через .htaccess — то вам нужно разбираться с настройками вашего сервера…

[malaka]

не подскажете ли, с какими?

[khim]

Мне откуда знать? Ваш сервер, вы и разбирайтесь. Но если файл не вообще отдаётся поисковой системе — она его проиндексировать не сможет. Ну никак.

[Aloner]

Может лучше вынести постскриптум наверх страницы? Потому что сейчас вы сначала даете заведомо ложную информацию, а потом сами же даете опровержение. Нехорошо получается.

[slayerhabr]

сделал