Простой парсинг сайтов с помощью SlimerJS

[porozhnyy]

Спасибо за актуальную и нужную информацию, как раз искал похожее!
А как у него обстоят дела с авторизацией и хранением куков? Есть ли опыт написания приложений для парсинга закрытых страниц? Стоит актуальная задача, cURL не подходит…

[Tur1st]

Все эти функции поддерживаются в полной мере, подробнее об этом здесь, опыт в парсинге закрытых страниц есть

[porozhnyy]

Спасибо, будем пробовать! Поддержка прокси… Если удастся реализовать одну мысль — будет отдельная статья на хабре. Еще раз спасибо!

[BeLove]

Использовал SlimerJS для хакквеста. Из минусов могу отметить только отсутствие поддержки CSP (в отличие от CutyCapt, который мои задачи решал успешно).

[cry_san]

На Java (конкретно на Android) есть что-либо подобное?

[PaulZi]

SlimmerJS вещь хорошая — почти полноценный firefox с поддержкой скриптования из командной строки, его можно полноценно использовать для сложного парсинга закрытых страниц с JavaScript.
Только с помощью него у меня получилось делать нормальные скрины с одного портала, CutyCapt и PhantomJS косячили со шрифтами.

[Tur1st]

Для меня самым большим плюсом является именно наличие интерфейса у SlimerJS, и хоть какая документация по API в отличие от того же PhantomJS, хотелось бы узнать, делали ли вы связку с CasperJS?

[PaulZi]

К сожалению, нет.

[LordMicro]

Я попробовал. Получилось, не без проблем, но получилось. Особо пока не могу ничего сказать… работает, удобно.

[Tur1st]

я так понимаю ты еще phantomJS накатил? по моему CasperJS без него не работает

[LordMicro]

Нет, не накатывал.

1. Установил casperjs по инструкции без phantomjs.
2. В папке bin переименовал файл «casperjs.exe» в «casperjs_exe.exe».
3. Создал файл casperjs.bat с содержимым:
   

   @echo off
   casperjs_exe --engine=slimerjs %*
   

   
   
4. Затем добавил slimerjs в PATH.
5. Отредактировал slimerjs.bat, шестую строку:
   

   SET SLIMERDIR=%~dp0
   

   
   заменил на:
   

   if not exist (%SLIMERDIR%) (
       SET SLIMERDIR=%~dp0
   )
   

   
   
6. Запустил пример CasperJS:
   

   var casper = require('casper').create();
   
   casper.start('http://casperjs.org/', function() {
       this.echo(this.getTitle());
   });
   
   casper.thenOpen('http://phantomjs.org', function() {
       this.echo(this.getTitle());
   });
   
   casper.run();
   

   
   
7. PROFIT! — Всё заработало на Standalone Edition и Lightweight Edition.

[LordMicro]

Спасибо! Не знал про такой инструмент, теперь буду использовать =)

[alekciy]

А он webdriver поддерживает? Точнее так. Как я понимаю, это firefox почти и там это есть. Поэтому вопрос, приходилось ли использовать его с webdriver?

[alekciy]

Как у него с параллельностью сессий для одного сайта? Например, в PhantomJS до версии 2 нельзя залогиниться на одном сайте под разными аккаунтами.

[RomanL]

Можно, но надо указать разные пути хранения временных файлов, вроде.