Бот-трафик и парсинг цен – взгляд со стороны владельца e-commerce и методы защиты от парсинга

[Kwisatz]

Тщетно искал ответ на простой вопрос: «а нафига?» Ну серьезно, вы же сами пишете что стоит это дорого а целей своих вы все равно не добьетесь, для чего столько ресурсов тратить?

[bezkod]

Целей мы добиваемся, цель в данном случае - усложнение и замедление атаки, а также цель - сделать атаку настолько сложной, что атакующие переключаются на более простые сайты. Коммерческие данные стоят очень дорого для владельцев e-commerce, поэтому они готовы тратить средства на их защиту.

[maxzh83]

Интересно, почему вы называете этот процесс атакой?

Атака на информационную систему — это совокупность преднамеренных действий злоумышленника, направленных на нарушение одного из трех свойств информации — доступности, целостности или конфиденциальности

Исходя из этого определения на вики, у вас не происходит нарушения доступности, целостности или конфиденциальности.

[bezkod]

Как указал в начале, я не рассматриваю юридические и этические вопросы, связанные с парсингом данных. Для владельцев e-commerce ресурсов - это именно атака, так как данные о ценах, остатках товаров в магазинах, характеристики товаров - ценная информация и ее использование конкурентами влечет реальные коммерческие убытки для владельцев данных.

[JekaMas]

Простите, а если у вас будет магазин продуктов, то вы обяжите охрану пресовать покупателей, фотографирующих стелажи, товары или ценники?

[bezkod]

Решения подобного рода принимают владельцы e-commerce, будь то физический магазин или онлайн-каталог, я не могу ответить за всех e-commerce.

[d7s2di]

Ха-ха, видел и такое. Фотографируешь в магазине ценник, и тут появляется какой-нибудь хрен с претезниями, кто мол съему разрешал и вообще "удоли!!!1111".

[Jeka_M3]

В крупных магазинах / супермаркетах ни разу не подходили. А если надо сфотографировать товар на витрине в небольшом магазинчике, то всегда спрашиваю сотрудников, не против ли они . Обычно никогда не отказывают.

[maxzh83]

Для владельцев e-commerce ресурсов - это именно атака

Владельцы e-commerce ресурсов могут как-угодно это называть. Хоть горшком, хоть террористическим актом. Они же не пишут статью на профильный ресурс.

я не рассматриваю юридические и этические вопросы, связанные с парсингом данных

Так это не этический и не юридический вопрос. Это вопрос профессиональной терминологии. Я не против того, что люди с этим борются, просто не понимаю почему называют это "атакой".

[bezkod]

Если Вам интересно технически верное определение, то тогда Вы, наверное, согласитесь с признанным определением от OWASP. Они используют термин threat ("угроза"):

Scraping is an automated threat.

Также эта угроза относится к типу атак Abuse of functionality:

OWASP Attack Category / Attack IDs:
Abuse of Functionality

https://owasp.org/www-project-automated-threats-to-web-applications/assets/oats/EN/OAT-011_Scraping.html

[d7s2di]

Лет несколько назад искал нужную мне вещь на авито. Найти и купить ее по вменяемой цене удалось только после написания простенького парсера.

Для чего препятствовать парсингу понятно: к примеру, чтобы "пользователь" (а точнее - пользуемый) не мог ослеживать динамику цен и радостно покупался на акции невиданной щедрости из серии "получи скидку 50% от утроенной цены".

Статья из серии как сделать Интернет еще хуже.

[maledog]

nginx-ultimate-bad-bot-blocker вроде неплохо справляется.

[yoigo]

- "Коллеги" меняли HTML разметку динамически (не знаю насколько эффективно).

не эффективно, так как селектор по слову легко

[npocmu]

Почему не упомянут 100% надежный способ борьбы с парсингом? Убрать цены нахрен с сайта! Хотите что-нибудь купить — пишите заверенное нотариусом письмо и вам вышлют прайс в экселе. Хотя, пардон, какой эксель? Его же легко обработать. Нет, только скан распечатки внутри PDF, только хардкор!

Это и есть настоящий Ё-commerce!

[Skyuzi]

Невозможно избавиться от грамотных парсеров, а подобные защиты - это защиты от студентов