Комментарии 15
Спасибо за актуальную и нужную информацию, как раз искал похожее!
А как у него обстоят дела с авторизацией и хранением куков? Есть ли опыт написания приложений для парсинга закрытых страниц? Стоит актуальная задача, cURL не подходит…
А как у него обстоят дела с авторизацией и хранением куков? Есть ли опыт написания приложений для парсинга закрытых страниц? Стоит актуальная задача, cURL не подходит…
Использовал SlimerJS для хакквеста. Из минусов могу отметить только отсутствие поддержки CSP (в отличие от CutyCapt, который мои задачи решал успешно).
На Java (конкретно на Android) есть что-либо подобное?
SlimmerJS вещь хорошая — почти полноценный firefox с поддержкой скриптования из командной строки, его можно полноценно использовать для сложного парсинга закрытых страниц с JavaScript.
Только с помощью него у меня получилось делать нормальные скрины с одного портала, CutyCapt и PhantomJS косячили со шрифтами.
Только с помощью него у меня получилось делать нормальные скрины с одного портала, CutyCapt и PhantomJS косячили со шрифтами.
Для меня самым большим плюсом является именно наличие интерфейса у SlimerJS, и хоть какая документация по API в отличие от того же PhantomJS, хотелось бы узнать, делали ли вы связку с CasperJS?
К сожалению, нет.
Я попробовал. Получилось, не без проблем, но получилось. Особо пока не могу ничего сказать… работает, удобно.
я так понимаю ты еще phantomJS накатил? по моему CasperJS без него не работает
Нет, не накатывал.
- Установил casperjs по инструкции без phantomjs.
- В папке bin переименовал файл «casperjs.exe» в «casperjs_exe.exe».
- Создал файл casperjs.bat с содержимым:
@echo off casperjs_exe --engine=slimerjs %*
- Затем добавил slimerjs в PATH.
- Отредактировал slimerjs.bat, шестую строку:
SET SLIMERDIR=%~dp0
заменил на:
if not exist (%SLIMERDIR%) ( SET SLIMERDIR=%~dp0 )
- Запустил пример CasperJS:
var casper = require('casper').create(); casper.start('http://casperjs.org/', function() { this.echo(this.getTitle()); }); casper.thenOpen('http://phantomjs.org', function() { this.echo(this.getTitle()); }); casper.run();
- PROFIT! — Всё заработало на Standalone Edition и Lightweight Edition.
Спасибо! Не знал про такой инструмент, теперь буду использовать =)
А он webdriver поддерживает? Точнее так. Как я понимаю, это firefox почти и там это есть. Поэтому вопрос, приходилось ли использовать его с webdriver?
Как у него с параллельностью сессий для одного сайта? Например, в PhantomJS до версии 2 нельзя залогиниться на одном сайте под разными аккаунтами.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Простой парсинг сайтов с помощью SlimerJS