Если парсер будет отслеживать цены на маркетплейсах, то перепродавцы будут ждать понижения цены и автоматизированно скупать товар за дешево, чтобы потом перепродать. Из-за этого цена на товары для обычных людей увеличивается и интерес к площадке падает. Поэтому нужно бороться с парсерам.
Примечательно, что некоторые сайты могут обнаружить, что их парсят и вместо того, чтобы возвращать ошибку 404, они могут предоставлять некорректные данные или даже искажать информацию. Спарсите данные, а позже обнаружится, что они не соответствуют ожидаемым
Вероятно, проблема в использовании IP-адреса, который принадлежит датацентру. Такие адреса известны облачным службам типа Cloudflare. Мы использовали прокси-сервер, проблем не было
Есть ощущение, что все современные опен-сорс проекты так или иначе используют Docker, так что рано или поздно его изучение становится неизбежным.
В книге “Грокаем алгоритмы” есть фраза: “Есть тип людей, которые ненавидят рекурсию, пока не полюбят её.” — к Docker можно применить то же самое.
Если парсер будет отслеживать цены на маркетплейсах, то перепродавцы будут ждать понижения цены и автоматизированно скупать товар за дешево, чтобы потом перепродать. Из-за этого цена на товары для обычных людей увеличивается и интерес к площадке падает. Поэтому нужно бороться с парсерам.
Про Playwright спасибо, опробуем как будет время)
Примечательно, что некоторые сайты могут обнаружить, что их парсят и вместо того, чтобы возвращать ошибку 404, они могут предоставлять некорректные данные или даже искажать информацию.
Спарсите данные, а позже обнаружится, что они не соответствуют ожидаемым
Вероятно, проблема в использовании IP-адреса, который принадлежит датацентру. Такие адреса известны облачным службам типа Cloudflare.
Мы использовали прокси-сервер, проблем не было
все еще не робит