Под капотом у системы распознавания как раз много алгоритмов, которые понимают бот ты или человек. Нужна имитация настоящего поведения. Не запросы. Просто попробуйте спарсить для примера озон (только ради науки) и посмотрите список возникающих проблем.
Если вы хотите продуктовый подход - одна машина явно не подойдёт, тем более личный ноут. Вы видимо не понимаете нагрузку и сложность парсинга в принципе.
Давным давно все бесплатные прокси попадают в бан у нормальных систем борьбы с парсингом. Тут главное же безотказность и скорость работы. Мы можем парсить около 100 тысяч сообщений в день, при этом нагрузка очень большая, чаще всего на cpu. В лоб уже давно никто не парсит, обычным запросом с какого-нибудь php. Все через браузер, имитацию работы настоящего юзера и т.д.
Для молодого студента - это был очень неплохой способ получения опыта. Любого, даже болезненного, но опыта. Да и в моем городе нет работы в IT, только администрирование, эникейщики и т.д. Работа на удалёнке с разницей в 5-7 часов не всегда удобная, вот и приходилось сидеть, а вдруг станет лучше, а вдруг вот вот и всё полетит вверх.
Сложно описать причины, по которым ты чувствуешь себя постоянно обязанным за всё. Вроде и коллектив неплохой, и можно поболеть иногда дома, а может и уйти, если у тебя ребенка с садика забрать надо. И вот уже отношения не просто рабочие, а вроде бы и дружественные, начальник тебе как член семьи...и тут бац, ты приёмный. Если ты пытаешься выразить своё мнение - ты никто, мы от тебя отказываемся, давай уходи, двери тебе сюда навсегда закрыты.
Точно
Заголовок Технические дополнения
Я просто пример привёл, каждую площадку можно смотреть индивидуально. Порой апи намного проще использовать.
Я тоже немного не понял как он может закончиться)
Немного дополнил статью
Да вы правы, мы будем постоянно не успевать за новыми средствами защиты. Как борьба с мельницами.
Спасибо за наводку, обязательно дополню статью.
Под капотом у системы распознавания как раз много алгоритмов, которые понимают бот ты или человек. Нужна имитация настоящего поведения. Не запросы. Просто попробуйте спарсить для примера озон (только ради науки) и посмотрите список возникающих проблем.
Если вы хотите продуктовый подход - одна машина явно не подойдёт, тем более личный ноут. Вы видимо не понимаете нагрузку и сложность парсинга в принципе.
Давным давно все бесплатные прокси попадают в бан у нормальных систем борьбы с парсингом. Тут главное же безотказность и скорость работы. Мы можем парсить около 100 тысяч сообщений в день, при этом нагрузка очень большая, чаще всего на cpu. В лоб уже давно никто не парсит, обычным запросом с какого-нибудь php. Все через браузер, имитацию работы настоящего юзера и т.д.
Спасибо, обязательно ознакомлюсь.
Ну всё, следующая статья будет про шпиёнов, даже тему придумывать не надо.
Поправил, спасибо)
Уволился и пошёл заниматься своим делом :-)
Для молодого студента - это был очень неплохой способ получения опыта. Любого, даже болезненного, но опыта. Да и в моем городе нет работы в IT, только администрирование, эникейщики и т.д. Работа на удалёнке с разницей в 5-7 часов не всегда удобная, вот и приходилось сидеть, а вдруг станет лучше, а вдруг вот вот и всё полетит вверх.
Сложно описать причины, по которым ты чувствуешь себя постоянно обязанным за всё. Вроде и коллектив неплохой, и можно поболеть иногда дома, а может и уйти, если у тебя ребенка с садика забрать надо. И вот уже отношения не просто рабочие, а вроде бы и дружественные, начальник тебе как член семьи...и тут бац, ты приёмный. Если ты пытаешься выразить своё мнение - ты никто, мы от тебя отказываемся, давай уходи, двери тебе сюда навсегда закрыты.