Pull to refresh

Comments 17

Статья хорошая, а вот результаты тестирования лучше просто текстом выдать, без ссылок, а то могут подумать, что спамите.
Это врожденная привычка SEO-шника ))
UFO just landed and posted this here
Всё хорошо, только бы оформить код в наглядный вид.
Самое интересное — пользовался Source Code Highlighter'ом, он в цвете код оформлял, а здесь в итоге цветовая гамма чб осталась… хм… Подскажите, что это может быть?
понравилось слово РЕГВЫР !)
честно))))
UFO just landed and posted this here
У вас показывается позиция сайта?
UFO just landed and posted this here
У публичных сервисов чаще всего есть регистрация и лимит на кол-во запросов, а не хочешь лимита — надо платить(
У меня тоже есть для всех трех…
Посмотрел Ваш граббер, и насколько понял, только Яндекс адекватно грабится((
Можете сами сравнить результаты первой страницы выдачи поисковиков по запросу «винзавод»
Ведь не секрет что использование подобных автоматизированных сервисов на своем хосте, может вести к блокированию IP адреса вашего хоста со стороны яндекса. Поэтому функция file_get_contents — не лучшим образом подходит для решения такой задачи, логичнее использовать CURL библиотеку, ловить куки яндекса, подставлять их в заголовок обращения к серверу яндекса, представляться различными браузерами. Так же стоит обратить внимание на таймаут, т.к. 3 секунды легко выдадут в вашем парсере робота.
И в любом случае «Лицензия на использование поисковой системы Яндекса» запрещает автоматическое распарсивание результатов поиска, поэтому наилучшее решение для проверки мест занимаемых сайтом это Yandex.XML. Для некоммерческого использования 1000 запросов в день более чем достаточно.
Вы уверены, что выдача, получаемая по XML от яндекса ничем-ничем не отличается от классической? (=
Может быть и не отличается…
Но я предпочитаю в этом вопросе придерживаться такой точки зрения — гарантированно быть уверенным в том, что, таким образом рыская по яндексу — парсингом обычной выдачи, ничем не отличаться для яндекса от обычных пользователей. Тогда мне и знать ничего не надо о том, различаются выдачи или нет.))
Как сейчас обстоят дела с парсингом? что нужно подправить чтобы заработало?
Sign up to leave a comment.

Articles

Change theme settings