Что-то я не пойму в чем прикол. разве человек который пользуется сервисом не просматривает обычно то что открывает? вроде бы очевидно, что нужно просмотреть всю страницу... или я чего-то не догоняю?
Может, и не начхать, никто ж до конца всех хитростей не знает. Но даже если не начхать — по голове настучат за разный контент для поисковиков и для посетителей.
По голове настучат — возможно. А хитрости... Вряд ли поисковики (в ближайшее время) будут делать CSS-парсеры, чтобы узнавать, что нечто вроде div.center #answers div { display:none; } действительно скрывает важную часть страницы.
А document.getElementById('answers-for-crawlers').style.display='none'; тоже? Или #answers { display:block; } div.center #answers { height:0; }? Можно ещё навскидку придумать много чего.
Я думаю, что парсить браузером CSS и отображать страницу в разы проще, чем парсить CSS и на основе этого анализировать HTML "на важность данных". Иначе бы <font size="+4"> читалось бы как h1. Более того, я почти уверен, что подобные анализаторы (пока) не используются — это *действительно* сложно.
Эх, ладно, представьте просто, что поисковик ведет себя также как браузер. Так же не составляет труда выявить те участки кода которые никогда не будут показаны пользователю. Сложность это такая эфимерная величина... Сложно для кого?
Я всё это уже представил. Но. Поисковик ведёт себя как поисковик. Потому он действительно парсит всё, даже то, что скрыто методами вроде display:block. Но если уж представить, что браузер знает, что не будет показано, конструкцию вроде body.addEvent('mousemove', function(){$('crawler-answers').hide();body.removeEvent('mousemove');}); он точно не узнает. Или javascript поисковики тоже уже парсят?
Предполагать можно что угодно, но, как известно, на всякую хитрую задницу найдётся болт с нужной резьбой.
А проверку User-Agent и проверку наличия куков тоже парсят? :)
В общем, я не пытаюсь убедить вас в ущербности технологий поисковиков. Читайте последнее предложение моего предыдущего комментария ;)
Не в курсе, к сожалению. Но больше похоже на страшилки, ибо Гугль, например, вряд ли стал бы поставлять сам себя — для ботов свои правила, и нарушать их тому же Гуглю смысла нет.
Пропарсить CSS на наличие скрытого содержания вряд ли сложно. Другой вопрос, что сложнее определить содержание скрытого — выпадающее меню, подсказка или действительно SEO-спам. Но по идее и первым следует уделять меньше внимания, ведь основное содержание страницы должно быть видно сразу.
Ever wondered why Google returned search results that lead to sites that require a registration? How did Google index the site without a registration? Many sites want their site indexed in Google to receive more hits, so they allow Googlebots in. Because of this reason we can take advantage of this. All we have to do is disguise ourself as a Googlebot and many sites will let us in without registration.
To do this we have to change the User Agent. The user agent defines the browser and what version you are using. For example if you go to this site it will tell you what browser you are using, and it finds this info out by the user agent.
Changing the user agent is easy, to do this in Opera you have to uses these settings:
Firefox users can use this extension and import this file (right click and save) that has a huge list of user agent settings including Googlebot/2.1 and many other spiders/bots.
Internet Explorer users you will need to change the registry entries, to do this open notepad and copy this into it:
Windows Registry Editor Version 5.00 [HKEYLOCALMACHINESOFTWAREMicrosoftWindowsCurrentVersionInternet Settings5.0User Agent] @="Googlebot/2.1" "Compatible"="+http://www.googlebot.com/bot.html"
Then save it as ua.reg and double click on it.
To revert the changes back, you will need to do the same but this time copy this in:
Windows Registry Editor Version 5.00 [HKEYLOCALMACHINESOFTWAREMicrosoftWindowsCurrentVersionInternet Settings5.0User Agent] @="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
Раньше у них на ответах висела сеточка, прозрачная через пиксель, достаточно было на пару пикселей проскролировать страницу, и благодаря глюку с рендеренгом в ФФ сеточка благополучно исчезала.
Кстати, странный сайт. За те годы, в течении которых он появляется в выдаче Гугла, ниразу ещё не нашёл там ответы на свои вопросы, зато пару раз было желание ответить. Платить за генерирование контента извините (привет Суп :).
кстате все страницы также можно смотреть через гугл.... после поиска за место того чтобы просто кликнуть на ссылку которую выдаст гугл, то кликните Сохранено в кэше/Сached... и тогда можно будет посмотреть все ответы даже не пракручивая страницы=)
Помню еще аналогичный сайт, так на нем ответы не скрывались, а на каждый ответ просто накладывался алгоритм шифрования Цезаря (Так он называется, если не ошибаюсь), когда все символы сдвигались на определенное количество позиций в алфавите.
Уже года полтора это знаю ;) .
Вообще это работает не только на expert-exchange, но и на любых сайтах которые пытаются просить за это деньги.
Если результаты запроса есть в гугле, то значит они видны невооруженным взглядом на странице (иначе гугль сильно осерчает на такое поведение и просто сайт забанит, что для такого сайта равноценно смерти, точно не знаю за что именно, но за манипуляции с разными страницами для бота и для человека - дают по голове).
Так стали делать многие сайты, которые предлагают "премиум мембершип", т.е. если вы видите что ответы "якобы" спрятаны - скроллим в самый низ - обычно между блоком "пустышек" и началом блока не скрытых ответов идет кусок рекламы, по нему можно ориентироваться (бывает еще реклама в конце, для любителей кнопки End =)).
Насколько я знаю, то за контент в блоках с "display: none" все уважающие себя поисковики через некоторое время банят. Я уже почти год попадаю на этот сайт, но ниже фэйкового футера не прокручивал! ГЕНИАЛЬНО!
Кто-нибудь мне расскажет зачем Им вообще открывать ответы?!
Ведь как формулируют вопросы гуглу? Так же как и те кто формулировал их этому сайту: «how to make the things work?» Ну значит найдут эту страничку через гугл, и хватит. Зачем ответы-то светить...
ага, глянуть в гугле сохраненную копию и не париться по поводу премиум акков и т.п. так можно обойти вывод контента только для поисковиков :D если контент выдается только поисковику, значить и смотреть его надо поисковиком
может, мое предположение покажется странны, но может быть Пользователи платного сервиса получают возможность смотреть ответы без надоедливой прокрутки или с какими-то еще бенефитами?
А ответы в футере - это типа "бесплатная версия"? То есть абонплата взимается не за доступ к информации, а за удобство ее представления?
P.S. Особо замороченным любителям этого сайта могу предложить настроить кастомныйй CSS для него - самим скрывать не нужные блоки при помощи disply:none?
Воде руки оттуда растут, объясните, жму на ENd (на клавиатуре ) находясь на странице — ничего не происходит — переходит вниз. ответы не открываются. А то все радуются а я сижу енд ломаю)
Кнопка End взламывает experts-exchange.com