Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 49
Какая штука классная, моим велосипедам очень стыдно теперь.
Что делать если js на странице возвращает контент?
Наследуете паука от BaseSpider и пишете реквесты вручную
yield Request(url, callback=self.parse_page)
Разбираешь что делает JS и реализуешь этот алгоритм в пауке. Вряд-ли там что-то сверхсложное будет.
Если там AJAX-запрос, возвращающий структурированные в JSON/XML/whatever данные — просто пишем Request на адрес хэндлера, входные параметры придётся упаковывать вручную, с результатом делаем что хотим. Если запрос возвращает кусок HTML, предназначенный для встраивания в разметку — можно использовать прямо XPathItemLoader (правда, если у этого куска несколько элементов верхнего уровня, придётся обернуть в фиктивный элемент, иначе парсер расстроится).
С частичными постбэками ASP.NET, возможно, будет сложнее.
С частичными постбэками ASP.NET, возможно, будет сложнее.
списибо, было интересно почитать. раньше для этих целей ковырял mechanize и Beautiful Soup, хотел еще посмотреть lxml/leaf чтобы выбрать что будет удобней, но руки так и не дошли.
Так же для этих целей можно использовать nodejs. правда он работает под GNU Linux но если напильником поработать то и на винде запустится. Очень удобно пауков на нём писать! Большой плюс, то что он может превращать html код в DOM модель и работать с ним через jquery. Тоесть вытащить любую часть страницы не занимает много труда! Так же к нему написано много дополнений, с помощью них можно работать через прокси и сохранять сессии с куками! Вообщем советую глянуть и в этом направлении тоже! С удовольствием выслушаю конструктивную критику или поддержку!
А еше гвозди микроскопом забивать удобно.
Из конструктивной критики — насколько мне известно, NodeJS это больше все-таки для создания веб-приложений. А тут описывается готовый специальный очень мощный, работающий в продакшне фреймворк конкретно для скачивания страниц и их разбора.
Могли-бы хоть список библиотек дать с которыми можно так просто в NodeJS странички качать, обрабатывать, сохранять данные. Превращать html в DOM и выполнять xpath/CSS запросы все умеют. Куки и прокси Scrapy из коробки поддерживает.
Могли-бы хоть список библиотек дать с которыми можно так просто в NodeJS странички качать, обрабатывать, сохранять данные. Превращать html в DOM и выполнять xpath/CSS запросы все умеют. Куки и прокси Scrapy из коробки поддерживает.
NodeJS это в первую очередь надстройка надо V8, а уж что вы с ним будете делать это зависит от вашей фантазии и знания JS. Г-н kurokikaze несколько раз демонстрировал примеры своих «игр» с хабром и во всех случаях в качестве движка для пауков выступало что-то на базе nodeю
Лично мне понравилась связка: node-htmlparser + node-soupselect. Во всяком случае вменяемый парсинг аукционов с vworker.com, без regexp и прочих «не тру» методов (для интереса рекомендую взглянуть на исходный код их аукционов и проникнуться даже не индийским, а каким-то нечеловеческим кодом), удалось написать только на ней. Под питоном честно пытался сделать это с помощью BeautifulSoup, pyquery и недавно рекламировавшегося на хабре leaf. Все потерпели неудачу. Возможно, стоило написать собственную обертку над lxml, где учесть все недостатки целевого сайта, но мне показалось, что возни будет больше, чем просто написать под node.
Лично мне понравилась связка: node-htmlparser + node-soupselect. Во всяком случае вменяемый парсинг аукционов с vworker.com, без regexp и прочих «не тру» методов (для интереса рекомендую взглянуть на исходный код их аукционов и проникнуться даже не индийским, а каким-то нечеловеческим кодом), удалось написать только на ней. Под питоном честно пытался сделать это с помощью BeautifulSoup, pyquery и недавно рекламировавшегося на хабре leaf. Все потерпели неудачу. Возможно, стоило написать собственную обертку над lxml, где учесть все недостатки целевого сайта, но мне показалось, что возни будет больше, чем просто написать под node.
Не, ну если знаете Node лучше, чем Twisted/Scrapy то пишите на нем. Хотя XPath запросы везде должны быть одинаковые, не вижу здесь проблемы)))
Просто Sсrapy это не «еще одна библиотека для ПАРСИНГА страничек». Это фреймворк для написания веб-пауков. В Scrapy при желании можно использовать любую библиотеку для парсинга. Я использую lxml, хотя по-умолчанию там libxml2.
Фишка Scrapy в том, что он не говорит, что «Twisted это в первую очередь надстройка над Python. А то, какого вы паука на нем напишете зависит от вашей фантазии и знания Python». Он говорит — скачиванием страничек я занимаюсь сам, диспетчеризацией данных, очередью запросов, приоритетами, обработкой исключений, поиском ссылок, защитой от зацикливания, защитой от того, что странички "/catalog.php?p1=1&p2=2" и "/catalog.php?p2=2&p1=1" это одно и то же, удаленная консоль, отладка памяти, REST интерфейс для управления, логгирование, генератор кода, отличная документация и куча других штуковин. Причем все это можно легко отключить или доработать. Есть готовая инфраструктура, вам остается только написать стартовую страницу, XPath запросы и (опционально) механизм для сохранения результатов (только если нужно что-то сложнее CSV/XML — для этих есть уже готовые экспортирующие конвейеры).
Просто Sсrapy это не «еще одна библиотека для ПАРСИНГА страничек». Это фреймворк для написания веб-пауков. В Scrapy при желании можно использовать любую библиотеку для парсинга. Я использую lxml, хотя по-умолчанию там libxml2.
Фишка Scrapy в том, что он не говорит, что «Twisted это в первую очередь надстройка над Python. А то, какого вы паука на нем напишете зависит от вашей фантазии и знания Python». Он говорит — скачиванием страничек я занимаюсь сам, диспетчеризацией данных, очередью запросов, приоритетами, обработкой исключений, поиском ссылок, защитой от зацикливания, защитой от того, что странички "/catalog.php?p1=1&p2=2" и "/catalog.php?p2=2&p1=1" это одно и то же, удаленная консоль, отладка памяти, REST интерфейс для управления, логгирование, генератор кода, отличная документация и куча других штуковин. Причем все это можно легко отключить или доработать. Есть готовая инфраструктура, вам остается только написать стартовую страницу, XPath запросы и (опционально) механизм для сохранения результатов (только если нужно что-то сложнее CSV/XML — для этих есть уже готовые экспортирующие конвейеры).
Очень интересно хотелось бы больше информации
По вот этой части:
>>выполнение POST запросов, поддержка куков и сессий, аутентификации
Раньше я для этого использовал mechanize — конкретно авторизация, заполнение и отправка форм, получение данных из форм редактирования.
Scrapy позволяет это?
По вот этой части:
>>выполнение POST запросов, поддержка куков и сессий, аутентификации
Раньше я для этого использовал mechanize — конкретно авторизация, заполнение и отправка форм, получение данных из форм редактирования.
Scrapy позволяет это?
да, вконтакте им ок парсится, делал бота раньше
Да, все это можно. Делается так:
Scrapy также следует редиректам, хранит куки, устанавливаемые с сервера (иногда нужно отключать).
JavaScript код не выполняет, поэтому если сайт на Ajax, запросы необходимо прописывать вручную.
И все это из коробки.
FormRequest.from_response(response,
formdata={'username': 'john', 'password': 'secret'},
callback=self.after_login)Scrapy также следует редиректам, хранит куки, устанавливаемые с сервера (иногда нужно отключать).
JavaScript код не выполняет, поэтому если сайт на Ajax, запросы необходимо прописывать вручную.
И все это из коробки.
По сравнению с Mechanize есть одно очень важное преимущество — производительность. Scrapy работает поверх Twisted — асинхронного фреймворка. Поэтому держать по тысячи соединений одновременно вполне реально.
Мне понравилось, как раз искал подобные темы
Эта штука умеет запускать паука и парсер многопоточно? Это true-многопоточность (noGIL)?
Там Twisted внутри.
Оно НЕ умеет многопоточность. Оно на асинхронных сокетах. (На всякий случай уточню — это плюс). Я им парсил 20 форумов разных, на каждый форум по 4 одновременных соединения. Полет нормальный.
А в чем плюс? Помимо самого скачивания есть же еще и парсинг кода для поиска ссылок с целью их обхода, отномающий не мало процессорного времени. В итоге вы упретесь в процессор, вместо того чтобы упереться в пропускную способность сети.
Ну так при одинаковом количестве страничек в секунду расход процессора будет один и тот же на многопоточном и асинхронном спайдере. Но первый будет жрать заметно больше памяти (плюс оверхед на переключения контекста потоков) ну и усложнение кода из-за необходимости всяких блокировок, очередей и пр.
Упирался в процессор только когда на одном из форумов напарывался на 10Мб страничку. При ее разборе блокировался весь паук и ядро процессора нагружалось на 100%. Но я сомневаюсь что использование многопоточного паука решило бы эту проблему. Он так-же уперся бы в процессор.
Хотя идеальный паук в моем видении должен использовать асинхронные сокеты для скачивания и пул потоков (еще лучше — пул процессов) для парсинга. Scrapy такой подход не реализует к сожалению и я не смог найти способа просто реализовать это на базе Scrapy. Это конечно жаль.
Упирался в процессор только когда на одном из форумов напарывался на 10Мб страничку. При ее разборе блокировался весь паук и ядро процессора нагружалось на 100%. Но я сомневаюсь что использование многопоточного паука решило бы эту проблему. Он так-же уперся бы в процессор.
Хотя идеальный паук в моем видении должен использовать асинхронные сокеты для скачивания и пул потоков (еще лучше — пул процессов) для парсинга. Scrapy такой подход не реализует к сожалению и я не смог найти способа просто реализовать это на базе Scrapy. Это конечно жаль.
Поиграл в IE9 — тормозов не заметил.
Хорошая статья, сам похожую хотел давно написать.
От себя добавлю что использую его на работе, очень доволен. Высокая производительность, легко расширять и подстраивать под свои нужды, отличная документация.
Тем кто работал с Django особенно понравится, т.к. по структуре они очень похожи.
Ну и по поводу написания пауков — я их пишу совсем по другому. У меня пауки наследуются не от CrawlSpider а от BaseSpider. Т.е. я сам формирую Request-ы а не доверяю это SgmlLinkExtractor-у. Немного больше кода, но гораздо больше контроля. И XPathItemLoader-ы я не использую, заполняю Item ручками из XPath, не знаю почему, может они недавно появились…
От себя добавлю что использую его на работе, очень доволен. Высокая производительность, легко расширять и подстраивать под свои нужды, отличная документация.
Тем кто работал с Django особенно понравится, т.к. по структуре они очень похожи.
Ну и по поводу написания пауков — я их пишу совсем по другому. У меня пауки наследуются не от CrawlSpider а от BaseSpider. Т.е. я сам формирую Request-ы а не доверяю это SgmlLinkExtractor-у. Немного больше кода, но гораздо больше контроля. И XPathItemLoader-ы я не использую, заполняю Item ручками из XPath, не знаю почему, может они недавно появились…
По мне, лучше использовать CrawlSpider, когда это возможно. Если сайт сделан нормально, не вижу смысла не доверять. А про BaseSpider думаю написать отдельную статью.
О XPathItemLoader написано еще в 0.7 версии. Я решил показать, что они есть. Хоть они иногда ограничивают возможности, мне нравятся тем что они отделяют парсинг и валидацию. Еще extract() возвращает список, в котором обычно нужен только первый элемент. Это удобно сделать с помощью TakeFirst, прописав как дефолтный процессор.
О XPathItemLoader написано еще в 0.7 версии. Я решил показать, что они есть. Хоть они иногда ограничивают возможности, мне нравятся тем что они отделяют парсинг и валидацию. Еще extract() возвращает список, в котором обычно нужен только первый элемент. Это удобно сделать с помощью TakeFirst, прописав как дефолтный процессор.
Тема интересна, прошу продолжения)
Если есть возможность — киньте ссылки на статьи\туториалы по Scrapy, кроме родного сайта, которые считаете интересными\полезными.
Если есть возможность — киньте ссылки на статьи\туториалы по Scrapy, кроме родного сайта, которые считаете интересными\полезными.
Еще на Github:
— Delicious' bookmarks
— Недобросовестные поставщики
На оф сайте: блог, рецепты, сниппеты
— Delicious' bookmarks
— Недобросовестные поставщики
На оф сайте: блог, рецепты, сниппеты
Спасибо за статью!
Возник один вопрос.
Не могу разобраться, как настроить краулинг через прокси… Кто-нибудь сталкивался?
Возник один вопрос.
Не могу разобраться, как настроить краулинг через прокси… Кто-нибудь сталкивался?
В доке поиск есть. А вопрос есть в FAQ.
HttpProxyMiddleware.
HttpProxyMiddleware.
Знаю, что HttpProxyMiddleware.
Только по тому, что написано в доке — не разберусь как его применить. Как указать список прокси?
Только по тому, что написано в доке — не разберусь как его применить. Как указать список прокси?
Список? Вы хотите ротацию? Мидлварь это не умеет. Впрочем, косвенно из её доки, а прямо из её кода и кода scrapy.core.downloader.webclient.ScrapyHTTPClientFactory._set_connection_attributes() следует, что достаточно выставить request.meta['proxy'] в URL прокси.
Да, хотелось ротацию. Но пока не могу задать даже один прокси )
Где я могу получить доступ к
Где я могу получить доступ к
request.meta['proxy'], если я использую rules и реквесты формирует SgmlLinkExtractor?
Не совсем понял, что делать, если какая-то страница содержит и блок данных и ссылки на другие данные,
причом блок данных на текущей надо связать с данными на страницах по ссылкам.
Например, на странице учебного курса есть его описание, а по ссылкам — отдельные лекции.
Каждую лекцию надо связать с описанием курса, ну хотябы название курса всобачить.
(из предположения, что на странице самой лекции даже название курса не указано)
причом блок данных на текущей надо связать с данными на страницах по ссылкам.
Например, на странице учебного курса есть его описание, а по ссылкам — отдельные лекции.
Каждую лекцию надо связать с описанием курса, ну хотябы название курса всобачить.
(из предположения, что на странице самой лекции даже название курса не указано)
Или например, так:
example.edu/classes/:
example.edu/classes/phys/1
И надо собрать все заголовки либо в разные свойства айтемов лекций, либо в одно списочное.
Как быть?
example.edu/classes/:
Лекции по физике
example.edu/classes/phys/1
Вводные
И надо собрать все заголовки либо в разные свойства айтемов лекций, либо в одно списочное.
Как быть?
Может кто подскажет:
python.su/forum/topic/14240/
python.su/forum/topic/14240/
Я стесняюсь, но все таки предложу взглянуть на
web harvester ( web-harvest.sourceforge.net )
и на
dirs.info/spider
Тоже можно собирать информацию через XPATH
web harvester ( web-harvest.sourceforge.net )
и на
dirs.info/spider
Тоже можно собирать информацию через XPATH
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Собираем данные с помощью Scrapy