Индексация Ajax сайтов

[sl_bug]

sitemap.xml может быть?

[Alex_XS]

скорее всего.

[ilimer]

А что sitemap то сделает? В него же контент не запихнешь

[sl_bug]

возможно в нем есть пермалинки к версии без js :) знают только разработчики и поисковые роботы.

[markelov]

Проверяется юзерагент или ip, благо ip поисковых роботов где-то были и в зависимости от результата выдают страницу

[xsash]

попадут под санкции, ибо «клоакер»
юзерагент поисковики иногда используют от браузеров, IP стараются менять

хм
sitemap.xml — 404

[ulitin]

с какой стати они клоакеры если отдают то же самое что есть на js?

[xsash]

«клоакер» — подмена выдачи
условно введем что смена 5% кода отдельно взятой страницы допустима — реклама, отдельные блоки. Хотя для главной этот процент может достигнуть и 90%.
тут только админы ПС могут точно сказать когда санкции начинаются

у них же выдача кода на любой страницы будет доходить до 99% если выдавать браузеру js, а поисковику чистый html
вы не сравнивайте, что «видите глазами» в браузере, вы сравнивайте код который «видит» браузер и поисковик

[ulitin]

help.yandex.ru/webmaster/?id=995342
В примере про клоакинг речь идет о «контенте» код не является контентом, вы забываете для для кого мы делаем сайты. Так что давайте остановимся на том что существует некоторая неопределенность, и Яндексу было бы неплохо сделать официальное заявление.

[xsash]

дык в том то и дело, что написанное выше мое ИМХО, ибо официальных данных как таковых нет, и приходится основываться на фактах и опытах.

в данном случае, данные, которые они отдают браузеру вообще кроме кода не содержит контента

[remal]

Не обязательно. Видел в блогах описания случаев где индивидуально это разрешали.

[ilimer]

Очень бы хотелось пруфлинки

[markelov]

Я кстати не очень понимаю зачем они там так много сделали именно через Ajax.
Одно дела — вкладки, а другое — практически весь сайт. Дизайн там вовсе не тяжёлый и время загрузки страницы чрез Ajax не намного меньше

[Fr3nzy]

Ихмо, проще делать изначально поддержку работы без JS. Т. е. еще в самом начале работы задуматься о том, что в атрибуте href должна быть реальная ссылка, а JS'ом весть хук на все и отдавать контент аяксом.

[Fr3nzy]

* на все теги «a»

хабрапарсер скушал ;)

[ulitin]

там так и сделано посмотрите кеш яндекса

[Fr3nzy]

Человек выше сказал, что без JS сайт не работает. :) Сам не проверял, ибо возможности нет.
А в кеше яндекса много чего может быть. Вот только это не отменит того, что без JS сайт не работает.

[ilimer]

Не работает, не работает)

[ilimer]

Так это сизифоф труд часто.
Пользователям отсутствие поддержки работы без js практически ненужно, но делать его придется в полном объеме для индексации.

Другой вариант, подмена кода для поисковика грозит поисковым баном.
И выбирать приходится из двух зол.

[semenovs]

Из хелпа Яндекса для вебмастера:
>Q: У меня сайт на Flash-технологии, он будет проиндексирован?
>A: Да, Яндекс индексирует Flash-документы.

help.yandex.ru/webmaster/?id=995296#995330

[xsash]

а при чем тут Flash, если сайт на Ajax? там в коде есть одно упоминание, но опять же все на основе скриптов генерируется…

[semenovs]

Вы хотели бы что бы они перечислили все технологии которые понимают их роботы? Роботы поисковиков уже научились избирательно индексировать и Javascript и Flash. Даже PopUp`ы отлавливают и «наказывают» понижением в выдаче. Только картинки не распознают ( думаю и это будет). Об этом надо помнить когда сайт делается. Что не всякий «текст» это именно «текст» :)

[semenovs]

ОЙ!!! Сижу, а самому что то не по себе. Дошло наконец. Ведь чтобы получить данные с сайта на Ajax, нужно интерпретировать скрипт! А если контент элементов не отдается роботу в html коде страниц, он не будет проиндексирован, так как робот не интерпретирует скрипты. Я дико извиняюсь, за то что невольно ввел всех в заблуждение :(

[Wott]

Вроде как должны раскручивать Javascript, поскольку без этого легко делается клоакинг на клиенте. Да и уязвимости как-то проверять надо. Реализовать сие даже проще чем раскручивать flash, поскольку движки доступны.

Но хотелось бы услышать ответ от Яндекса :)

[remal]

Думаю, что эта задача будет решена еще очень не скоро. Так как надо не просто загрузить страницу как текст, а создать полное dom дерево, загрузить и выполнить все скрипты, прогнать основные события для кучи dom элементов и тп… Сколько тогда нужно делать серверов под все это — хз.

Гугл, к примеру, не индексирует JS. Он лишь пытается вынуть из него то, что можно. Например url'ы (возможно, по регулярному выражению). Доказательства этого видел ни раз в блогах разных людей.

[kibizoidus]

Хм… Браузер делает что-то другое? Или не так? Если это может сделать браузер — то почему не может сделать серверная софтинка?

[remal]

Сколько по времени браузер загружает страницу? На сколько грузит проц? А на сколько грузит проц на странице с огромной кучей JS? А сколько времени еще события перебирать?

[kibizoidus]

Подождите, давайте не путать мух и котлет. Первые и вторые должны лежать отдельно. В первом комментарии вы опирались на то, что все это «надо делать» — дык вот есть браузер. Делает. Вполне успешно делает. И если он это делает — то сможет и серверный софт делать с таким же успехом, при этом с меньшими затратами на рендеринг, ибо большая часть процессорного времени уходит именно на преобразование полученного кода в визуальное оформление и само представление этого визуального оформления.

И какая разница, на сколько это счастье грузит проц? Я думаю — не намного больше парсера/индексатора.

[azizoid]

как делаю я: сначала из базы достаются значения, перерабатываются. и передаются функции вывода на экран. А вот там уже проверяется, если передано через Ajax, то выводятся только данные(xml, json), если же нет, то подключаетсяя файл шаблона, который показывает все как надо.
В ссылках пишу
[a href="/2/4" onclick=«open(2,4);return false;»]

[kibizoidus]

/me посмотрел исходник и упал у ужасе…

[coldFlame]

Подмените юзерагент на Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) и сразу все поймете.

[ilimer]

угу, отдают поисковикам другой код

[iMaster]

Пример страницы в кеше Яндекса hghltd.yandex.net/yandbtm?url=http%3A%2F%2FInTheCity.ru%2Fblogorod%2Fi%2FMigayuschaya_aska_2&text=inthecity.ru&qtree=v2l%2BfZNFdG6lz%2Fvu2vvDU3nyKcN8LOj8vIc2w0tQHD244L6ykKvS2V3s7gKl7XkWNdUn0dowCcQNrjTUefyLRFozdE3oio%2F9CZxqahhPJmsT%2Fo2f8WGrsS1ftdSJC285lVQ0pxir09AkXH66jtvd2JllBP8yO3Orc3CjvUYEz07z4%2BY17SkDjYoAI3rpZY1oSSlI3UbeP8YjHTEUcZkWQQF0W6%2Flgg%2BvaKJf98j5LJpZlAEHUTNaXX0yMy9HbyxW1fgqRh3cuAKIG24%2B9pk2aPLVGWgtSys9F8vcO1eb1lyzkAXDL3%2F%2FSYg%2FvthS2Cb%2F

[Denai]

Вы сломали мне хабр этим комментом(

[ilimer]

А на что именно вы обращаете внимание?

[homm]

Решение писать сайт так, чтобы он работал с отключенным js только для поисковиков, не айс

Решение писать сайт так, чтобы он работал с отключенным js для всех людей с отключенным js, людей на браузерах, в которых вы не протестировали свой мега-не-работающий-без-js интерфейс, людей с новыми версиями браузеров, в которых по разным причинам перестанет работать ваш старый код, людей на мобильных платформах и для поисковиков — это единственно верное решение. Только идиоты и совсем уж новички не понимают этого.

[greyhard]

Полностью согласен. Особенно если сайт приносит деньги то пара процентов без JS у которых не откроется сайт или сработает не так как надо могут недонести вам некую крупную сумму

[ilimer]

Это верно совсем не для всех сайтов.
Для веб-приложений например совсем неверно.
И процент людей без js имеет смысл только для сайтов с хорошей посещаемостью.

[homm]

Для веб-приложений например совсем неверно.

Веб-приложениям не нужна и индексация, в топике речь не о них.

И процент людей без js

Вы видимо еще слабо себе представляете, что такое веб. Вы сидите дома на много мегабитном канале под виндовс водном из популярных браузеров. 10% сидят на медленных каналах, поэтому видят веб иначе, 10% сидят на устаревших браузерах, 10% сидят с разрешением 800×600, потому что им так удобнее, 10% выключают плагины, 10% выключают картинки, 3% выключают JS, 3% выключают стили на сайтах. И вот они все вместе уже не меньшинство, у каждого из них сайт должен нормально работать. Веб — это своеобразный хаос.

[ilimer]

Индексация нужна всему в вебе, у чего есть контент и нужны посетители.

www.rockbaby.ru — простой пример, мне нужна индексация сайта и совершенно не нужно чтобы это все работало без js. У сайта фишка в js & flash.

Люди на медленном канале — не мои посетители, так же как и отключающие стили и сидящие с трубок.

Статистику нагуглить все могут, а вот её осмыслить.
И ничего что общая статистика — полная лажа?)
Информационные сайты одно дело, развлекательные другое и т.д.

[homm]

www.rockbaby.ru

Отличный пример! Там есть список «Слушайте чарты:», я когда на иконки кликаю, ничего не происходит, толи потому что создатели сайта не протестировали сайт в Опере, то ли потому что у меня новая версия 10, в которой наверняка что-то могло сломаться. Был бы нормальный сайт — я бы даже не заметил, отрубил бы js или средней кнопкой щелкнул и открыл бы в новой вкладке, а так сайт идет лесом. Я вообще в этом примере не вижу сложности сделать все тоже самое и без аякса. Если хотите пример сайта который нормально работает без JS, просто с JS работает немного лучше — catalog.globalres.ru/

[ilimer]

Косяков достаточно, это проблемы не подхода, а просто того что проекту едва-едва месяц и времени на него не очень много.

Может быть ещё и без флеша сделать?
Или функции флеша без js дергать?
И сделаеть без js так, чтобы музыка не прерывалась при переходах между страницами?) (нет конечно можно фреймами, но...)

[ilimer]

С процентами вы конечно адски переврали кстати.

И не нужно таких категоричных высказываний, все в конце концов решает выгода.
Если работа по написанию кода для работы без js себя не окупают, то они никому не нужны.

И о, да, www.lradio.ru/online-radio/# — ведь ваша работа?

Пощелкайте по ссылочкам с пунктирным подчеркиванием с выключенным JS

[homm]

Пощелкайте по ссылочкам с пунктирным подчеркиванием с выключенным JS

Зачем на них щелкать, если без JS эти блоки и так открыты? Вы наверное не зашли на страницу без js а вырубили его после загрузки. Молодо-зелено. Единственный косяк, конечно, что заголовки 2 раза выводятся. Ну и без JS пропадет «Статистика интернет-слушателей», потому что она берется с другого сервера и я справедливо решил что если он ляжет, на страница может долго формироваться, так что пусть лучше будет по аяксу. Но этот список — не функционал, а понты.