Автоматизируем работу с сайтом за 5 минут на примере Yandex.Почты с помощью NetExport

[neex]

Вот только сервис может собирать пароли к сайтам(как по желанию автора, так и по желанию того кто взламает сервис). Небезопасно в общем.

[aig]

Для автоматизации подойдет любой левый аккаунт, можно даже в HAR файле предварительно поправить соответствующие поля, чтобы ничего не утекло. Однако могу заверить, что сервис ничего не хранит, использует только временные сессии для хранения информации и удаляет все файлы непосредственно после обработки.

[blew]

Поддерживаю. Почему бы не открыть исходник, чтобы желающие могли завести такой сервис эксклюзивно для себя, на надежно защищенной локальной машине?

[aig]

добавил исходник в текст статьи

[dshster]

Он данные отправляет куда-то на свой сайт? Как-то не уютненько мне после этого стало — сменил пароль на всякий случай…

[aig]

Да, отправляет на мой сайт, так как сервис написан для личного использования, то я не беспокоюсь по этому поводу. Но пароль поменять никогда не помешает, сам такой же параноик. Лучше перед тем как отправить HAR файл на сервис, заменить все персональные данные поиском на что-то другое.

[rgaliull]

супер же! побежал пробовать.
постоянно тягаю ПДФ с rbc.ru и они постоянно с разным именем

[aig]

Совсем без программирования врядли получится, сервис только для упрощения жизни.

[Andrey_Rogovsky]

Вы только что оставили без работы писалетей разных «парсеров» и «грабберов»

[pwlnw]

Вы бы хоть на код посмотрели.
Автор автоматизирует весьма небольшую часть работы и совершенно тупо. Для профессионала сервис полностью бесполезен.

[aig]

Статья не о сервисе, а о NetExport. Сервис действительно сырой, но с задачей быстрого конвертирования запросов в код, он справляется успешно. Дальше все в руках профессионала. Лично мне намного удобней загрузить лог на сервер и сгенерить шаблон, а потом ручками доводить код до ума.

[pwlnw]

Ok, немного удобнее работать тем, кто раньше не подозревал о существовании локальных прокси, tamper data или снифферов.
Код же — реальная малополезная лажа.

[blew]

Да, если бы сграбленная страница исправлялась до состояния корректного xml, а потом сгенеренный скрипт по xpath (который можно в два клика получить тем же файрбагом на вкладке html, например, блок с текстом вашего комментария — /html/body/div[2]/div/div[5]/ul/li[4]/ul/li/div[2]/div ) выдирал в переменные…
Тогда да. Профессионал избавился бы от рутины полностью. Главное захотеть, полдела уже сделано

[Ar2r]

Полезный функционал. Одобряю. Молодец!

[vite7]

Кто знаком с Ruby может использовать такую автоматизацию. Есть пара полезных gems — mechanize и nokogiri
Можно сделать практически все. Очень удобно встраивать в свои собственные приложения

Вот подробные скринкасты от Royna Bates, где он рассказывает как это работает:
railscasts.com/episodes/190-screen-scraping-with-nokogiri
railscasts.com/episodes/191-mechanize

[VIST]

Подскажите пожалуйста, делаю все как написано. Но создаются файлы

passport-ckicheck.yandex.ru+2010-02-18+12-24-33.har
passport-ckicheck.yandex.ru+2010-02-18+12-30-34.har

И они всего по 211 байт.

{
  "log":{
    "version":"1.1",
    "creator":{
      "name":"Firebug",
      "version":"1.5.0"
    },
    "browser":{
      "name":"Firefox",
      "version":"3.6"
    },
    "pages":[],
    "entries":[]
  }
}

Что бы это могло быть?

[aig]

Думаю, это баг NetExport. У меня тоже такое один раз было, удалил кукисы, отключил включил кеш, обновил странички, заработало.

[aps]

iMacros?
https://addons.mozilla.org/en-US/firefox/addon/3863

[aig]

iMacros это инструмент для пользователя, а не для разработки. Код для запуска скриптов на сервере он создавать не умеет.

[jkeks]

Автору Зачет!

В копилку в чем-то схожие инструменты:
— www.humanemulator.info/
— AutoHotKey
— Delphi +TWebBrowser

с ними можно автоматизировать входы и выливания
Может кто знает библиотеки еще какие облегчаюшие жизнь?

[Freem]

О! Схожая тема для одного рутинного дела. Регулярно присылаются файлы (обновления базы) на email.

Их нужно: 1) в ручную скачивать в определенную папку; 2) запускать ПО и оно обновляется.
Все никак не соберусь написать что нибудь чтобы хотя-бы первую часть автоматизировать. Может кто нибудь что нибудь готовое видел?