Pull to refresh

Comments 69

Что-то я не пойму в чем прикол. разве человек который пользуется сервисом не просматривает обычно то что открывает? вроде бы очевидно, что нужно просмотреть всю страницу... или я чего-то не догоняю?
а я , дурак, в исходнике страницы смотрел... спасибо... Ж)
действительно есть такая штука. узнал с рсдн около года назад.
но вопрос - почему они выводят ответы не скрытые внизу, для меня до сих пор загадка :)
Ну, наверное, чтобы они индексировались поисковиками, я так думаю :)
Вопрос, скорее всего, в том, почему они не поставят display:none, на который поисковикам начхать.
Вы только им это не рассказывайте пожалуйста.
Может, и не начхать, никто ж до конца всех хитростей не знает. Но даже если не начхать — по голове настучат за разный контент для поисковиков и для посетителей.
По голове настучат — возможно. А хитрости... Вряд ли поисковики (в ближайшее время) будут делать CSS-парсеры, чтобы узнавать, что нечто вроде div.center #answers div { display:none; } действительно скрывает важную часть страницы.
Что-то мне кажется, что это давным давно реализовано...
А document.getElementById('answers-for-crawlers').style.display='none'; тоже? Или #answers { display:block; } div.center #answers { height:0; }? Можно ещё навскидку придумать много чего.
Вы думаете, что люди работающие в компаниях занимающихся поиском в интернете глупее производителей браузеров и анализируют голый текст?
Я думаю, что парсить браузером CSS и отображать страницу в разы проще, чем парсить CSS и на основе этого анализировать HTML "на важность данных". Иначе бы <font size="+4"> читалось бы как h1. Более того, я почти уверен, что подобные анализаторы (пока) не используются — это *действительно* сложно.
Эх, ладно, представьте просто, что поисковик ведет себя также как браузер. Так же не составляет труда выявить те участки кода которые никогда не будут показаны пользователю. Сложность это такая эфимерная величина... Сложно для кого?
Я всё это уже представил. Но. Поисковик ведёт себя как поисковик. Потому он действительно парсит всё, даже то, что скрыто методами вроде display:block. Но если уж представить, что браузер знает, что не будет показано, конструкцию вроде body.addEvent('mousemove', function(){$('crawler-answers').hide();body.removeEvent('mousemove');}); он точно не узнает. Или javascript поисковики тоже уже парсят?
Предполагать можно что угодно, но, как известно, на всякую хитрую задницу найдётся болт с нужной резьбой.
Парсят, парсят.
Это не предположение, а опыт программирования + опыт ceo (банят за разные манипуляции с hidden и childRemove()).
А проверку User-Agent и проверку наличия куков тоже парсят? :)
В общем, я не пытаюсь убедить вас в ущербности технологий поисковиков. Читайте последнее предложение моего предыдущего комментария ;)
Можете тоже его прочитать =)
;)
В общем-то, использование недокументированных возможностей и борьба с ними — практически всегда есть поиск нужных болтов :)
А разве не было ботов с человеческими User-Agent и IP, которые сравнивают? Или это детские страшилки? Я не спорю, просто спрашиваю:)
Не в курсе, к сожалению. Но больше похоже на страшилки, ибо Гугль, например, вряд ли стал бы поставлять сам себя — для ботов свои правила, и нарушать их тому же Гуглю смысла нет.
Пропарсить CSS на наличие скрытого содержания вряд ли сложно. Другой вопрос, что сложнее определить содержание скрытого — выпадающее меню, подсказка или действительно SEO-спам. Но по идее и первым следует уделять меньше внимания, ведь основное содержание страницы должно быть видно сразу.
А смещение за пределы страницы тоже ловят? Сомневаюсь в этом.

realanswers {
position: absolute;
width: 100px;
left: -200px;
}
А что говорит эксперимент?
читал об этом уже давно.. вот только не могу вспомнить где))
О_о неужели я такой старый!?)))
Там, правда, был немного другой контекст, но тема была раскрыта. Можете поискать ;)
Офигеть... Просто нет слов...Спасибо! Интересно, какой инфаркт случается с теми, кто заплатил, а потом случайно прокрутил вниз:)
а у нас на работе аккаунт куплен :))
оказывается зря
Ага... Теперь пару строчек в GreaseMonkey и практически чувствуешь себя честным человеком:)
А я отключаю javascript в firefox'е и иду на cached линк из выдачи гугла.
Пока проблем не было.
Ever wondered why Google returned search results that lead to sites that require a registration? How did Google index the site without a registration? Many sites want their site indexed in Google to receive more hits, so they allow Googlebots in. Because of this reason we can take advantage of this. All we have to do is disguise ourself as a Googlebot and many sites will let us in without registration.

To do this we have to change the User Agent. The user agent defines the browser and what version you are using. For example if you go to this site it will tell you what browser you are using, and it finds this info out by the user agent.

Changing the user agent is easy, to do this in Opera you have to uses these settings:

User Agent: Googlebot/2.1 Compatible: http://www.googlebot.com/bot.html

Firefox users can use this extension and import this file (right click and save) that has a huge list of user agent settings including Googlebot/2.1 and many other spiders/bots.

Internet Explorer users you will need to change the registry entries, to do this open notepad and copy this into it:

Windows Registry Editor Version 5.00 [HKEYLOCALMACHINESOFTWAREMicrosoftWindowsCurrentVersionInternet Settings5.0User Agent] @="Googlebot/2.1" "Compatible"="+http://www.googlebot.com/bot.html"

Then save it as ua.reg and double click on it.

To revert the changes back, you will need to do the same but this time copy this in:

Windows Registry Editor Version 5.00 [HKEYLOCALMACHINESOFTWAREMicrosoftWindowsCurrentVersionInternet Settings5.0User Agent] @="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

Save as oua.reg and double click.
АААА! Я тоже никогда до конца не смотрел!
Респект!
Раньше у них на ответах висела сеточка, прозрачная через пиксель, достаточно было на пару пикселей проскролировать страницу, и благодаря глюку с рендеренгом в ФФ сеточка благополучно исчезала.

Кстати, странный сайт. За те годы, в течении которых он появляется в выдаче Гугла, ниразу ещё не нашёл там ответы на свои вопросы, зато пару раз было желание ответить. Платить за генерирование контента — извините (привет Суп :).
UFO just landed and posted this here
кстате все страницы также можно смотреть через гугл.... после поиска за место того чтобы просто кликнуть на ссылку которую выдаст гугл, то кликните Сохранено в кэше/Сached... и тогда можно будет посмотреть все ответы даже не пракручивая страницы=)
Странно - сколько на них инфу смотрел - почему-то думал что так и надо ;)
Сначала, конечно, не понял юмора - но потом ничего так, привык ;)
А у меня все руки не доходили проверить как они в выдачу попадают :) Спасибо!
UFO just landed and posted this here
Помню еще аналогичный сайт, так на нем ответы не скрывались, а на каждый ответ просто накладывался алгоритм шифрования Цезаря (Так он называется, если не ошибаюсь), когда все символы сдвигались на определенное количество позиций в алфавите.
Уже года полтора это знаю ;) .
Вообще это работает не только на expert-exchange, но и на любых сайтах которые пытаются просить за это деньги.
Если результаты запроса есть в гугле, то значит они видны невооруженным взглядом на странице (иначе гугль сильно осерчает на такое поведение и просто сайт забанит, что для такого сайта равноценно смерти, точно не знаю за что именно, но за манипуляции с разными страницами для бота и для человека - дают по голове).

Так стали делать многие сайты, которые предлагают "премиум мембершип", т.е. если вы видите что ответы "якобы" спрятаны - скроллим в самый низ - обычно между блоком "пустышек" и началом блока не скрытых ответов идет кусок рекламы, по нему можно ориентироваться (бывает еще реклама в конце, для любителей кнопки End =)).
Реактивное колесо MX Revolution порой проносит мимо таких футеров даже против желания своего обладателя…
Автору спасибо! Сам пару раз попадал на этот сайт и разочарованно от туда уходил.
Насколько я знаю, то за контент в блоках с "display: none" все уважающие себя поисковики через некоторое время банят. Я уже почти год попадаю на этот сайт, но ниже фэйкового футера не прокручивал! ГЕНИАЛЬНО!
юзаю Оперу и никогда не задумывался, что это хак
эта картинка очень хорошо изображает премиум-юзеров данного сервиса.
Кто-нибудь мне расскажет зачем Им вообще открывать ответы?!

Ведь как формулируют вопросы гуглу? Так же как и те кто формулировал их этому сайту: «how to make the things work?» Ну значит найдут эту страничку через гугл, и хватит. Зачем ответы-то светить...
ага, глянуть в гугле сохраненную копию и не париться по поводу премиум акков и т.п. так можно обойти вывод контента только для поисковиков :D если контент выдается только поисковику, значить и смотреть его надо поисковиком
И правда. Всю сознательную жизнь кликал на ссылочку Гугла "Cached", и не парился. Думал все так делают... Все равно спасибо
шайтан!

.долго искал на страницe по ссылке кнопку End
И ради таких комментариев ты зарегистрировался?
некрофил, отрой свою бабушку
может, мое предположение покажется странны, но может быть Пользователи платного сервиса получают возможность смотреть ответы без надоедливой прокрутки или с какими-то еще бенефитами?

А ответы в футере - это типа "бесплатная версия"? То есть абонплата взимается не за доступ к информации, а за удобство ее представления?

P.S. Особо замороченным любителям этого сайта могу предложить настроить кастомныйй CSS для него - самим скрывать не нужные блоки при помощи disply:none?
Воде руки оттуда растут, объясните, жму на ENd (на клавиатуре ) находясь на странице — ничего не происходит — переходит вниз. ответы не открываются. А то все радуются а я сижу енд ломаю)
Sign up to leave a comment.

Articles