Интернет-сервис для отслеживания изменений на сайтах

[ProRunner]

Из похожих сервисов: toster.ru/q/4073
Я, помнится, использовал feed43.com

[ProRunner]

За компанию: habrahabr.ru/company/cetrinenet/blog/201582/

[Drakula2k]

Тоже раньше искал похожий сервис и наткнулся на этот вопрос на тостере, пользуюсь иногда urlooker.com оттуда.

[gluck59]

На главной странице нет ссылки на прайс?
-> /dev/null

[mtp]

Кстати, да, на первый же возникающий вопрос — сколько чего будет стоить — на сайте нет ответа. Гадать предполагается?

[bqvpd]

Да, прайса на видном месте нет, поскольку некоммерческое использование (контроль до трех объектов каждого типа — страницы, сайты, поисковые запросы, файлы, всё это с проверкой изменений раз в сутки) бесплатно. Если потребуется, то есть платный (240 руб. / 3 мес.) набор дополнительных возможностей: это большее число контролируемых объектов и проверка изменений, если потребуется, раз в час (подробности: websvodka.ru/information/).

[gluck59]

Интересно, как вы будете догонять каждого покинувшего сайт и объяснять ему это.

[bqvpd]

Спасибо! Подумаем над тем, как лучше разместить инфу.

[Fafnir]

Интересно, это только мне это упорно читается, как websVodka?
Да и иэмбиси тоже что-то напоминает…

[zzmaster]

похоже, я уже не забуду это название…

[PsyPilat]

import.io лучшее из последнего, что я видел для веб скрейпинга. Он позволяет делать пресеты для сайтов через апликуху и ранить парсинг таски в их клауде и локально. Думаю находить дифы можно, просто сравнивая результаты, при этом сам сервис предоставляет уйму вкусных фич

[3vi1_0n3]

Не обижайтесь, но выглядит примерно так:
лучшее из последнего бла-бла-бла. Он позволяет бла-бла-бла бла-бла-бла бла-бла-бла. Думаю бла-бла-бла бла-бла-бла бла-бла-бла.

[Comandante_WilD]

Пользуюсь дополнением к Firefox'у — Update Scaner. Удобная штука.

[Methos]

Для Хрома Page Monitor

[UksusoFF]

Еще был AlertBox, сейчас переименовалось во что-то, и онлайн там тоже есть.

[sphinks]

Дошел до формы регистрации и закрыл, полей много, нет входа от соц. сетей, внезапно про льготный период выясняется, а что после не очень понятно.

[UksusoFF]

ВКонтакте поддерживается (планируется)?

[bqvpd]

Проверка изменений на ВКонтакте, также как и на других сайтах, поддерживается, но только того контента, к которому возможен неавторизованный доступ.

[UksusoFF]

Печально, останемся пока на Update Scanner

[Rigidus]

Я немного не в курсе, если к примеру я отдам логин/пароль и доступ станет авторизованным — технических проблем с реализацией не будет? Вдруг у них там все джаваскриптом генерируется?

[bqvpd]

Да, в случае если контент зависит от параметров авторизации, контролировать такую страницу не получится. Технически проблема решаемая, но пока принцип работы сервиса: не запрашивать и не хранить конфиденциальную информацию пользователей, в том числе логины и пароли к другим сайтам.

[Antibug]

Можно натравить сервис на страницы тарифных планов некоторых провайдеров.

[aboyev]

Точно. А лучше на условия кредитования в банке!

[dmrt]

А как это работает, запросы регулярно отправляются на интересующий клиента сайт? Этот сайт не забанит вас в итоге?

[bqvpd]

Да, работает именно так. Бан не исключен, но в большинстве случаев этого не происходит.

[vitaly_KF]

Хорошо.

Как насчёт поддержки proxy, cookies и данных веб-форм?

Вот простой пример, сайт госзакупок: portal.goszakup.gov.kz/portal/index.php/ru/oebs/buys
Если просто скачать эту страницу — то ничего не полезного не получим.
Нужно передавать пустой запрос аналогичный тому, что отправляет форма слева.
Отправили — получили результат в виде множества страниц. Разобрали информацию с главной страницы — пытаемся получить информацию со второй — оппа, страница опять пуста. Что за фигня? Оказывается — теперь нужно записать кое-чего в кукисы, тогда сайт будет понимать что мы пытаемся двигаться по страницам.
Ок, записали кукисы, пытаемся получить информацию с 3/4/5 страниц — всё норм.
6-я страница — просит ввести капчу (да б%%!!!).
Чешем репу, набираем много-много прокси, тычемся с кукисами и данными формы на страницу 6 — прокси не пашет, пробуем ещё десяток — на 11 получаем наконец страницу, все счастливы.

Ни один из сервисов насколько я знаю не в состоянии решить данный юзкейс. Как с этим у Вас?

[bqvpd]

Исследовали тему. Считаем, что решаемо и интересно. Подумаем над практической реализацией. Спасибо!