Платное АПИ должно быть сбалансировано_платным (возможно бесплатным) относительно скрапинга веб версии. То есть лимиты к Веб версии должны быть такими, что-бы разделять реального пользователя и скрапера.
Публичный API. Вот решение для компаний, у которых есть каталогизированная информация. Борьба со скрапингом путём усложнения сайта, это путь в никуда. Вы тратите больше ресурсов для придумывания логик запросов и интерфейсов, и это никак не спасает вас, а только увеличивает финансовое сопровождение сайта. А ведь можно просто создать публичный АПИ, даже платный, установив на него такую цену, что-бы было проще купить АПИ, чем скрапить сайт. Так вы и свои сервера разгрузите и ещё денежку заработаете на трудах по каталогизированию.
Многие этого не понимаю и продолжают вливать деньги в борьбу со скрапингом, а могли как минимум экономить, как максимум зарабатывать.
Дело в том, что когда появился Селениум и ФантомЖС, в скрапинг нахлынуло много новых «пользователей», которые сам скрапинг узнали как раз как связка Selenium+Browser, оттуда пошли монструозные конструкции для скрапинга банального ответа GET'у. Так что в принципе польза от статьи есть, как раз для той категории, которые кроме как через браузер раньше не скрапили
Вторая стадия монструозности началась с момента, когда в браузерах реализовали собственные headless режимы (тогда PhantomJS закончился). Это развязало руки даже тем скрипткидди, которые раньше этого сторонились. Стало же так просто, открыл браузер, записал действия с помощью расширения Selenium'а, скопировал в скрипт, добавил headless и всё, можно в прод.
Бан наступает всегда, если квоту по запросам превысил. Здесь эвристики никакой и не нужно. Более 100 запросов в минуту — бан. Самое простое, что можно сделать со стороны сервера
Скиньте пример сайта, который блокирует свою работу, если вы не загрузили картинки. Хотя на самом деле попахивает не установленным заголовком User-Agent
Понятное дело что звук распознаётся на сервере, но ведь это не меняет ситуации. Ваша речь распознаётся. И по распознанию уже строится таргет. А добавьте ещё к этому приложения с доступом к микрофону и различными метриками для «бесплатности» приложения и вот уже несколько векторов подбора таргета
Ваш смартфон слушает вас условно 100% времени. Вы думаете за счёт чего смартфон способен реагировать на условное "ок Гугл"? Не забывайте также и про приложения, которые свёрнуты, они то не завершаются и в них наверняка 100500 трекинг систем типо гуглАдсенса или Яндексметрик. И вы как раз узнали, как эта технология перетекает в таргетированную рекламу
Господин, вы видимо даже не интересовались данной темой подробно. Доказывалось уже не однократно, что всякие домашние станции только и делают что слушают вас. Как по вашему, смартфон/станция/другое устройство способно реагировать на голосовое "ок Гугл". Суть в том, что они 100% времени слушают фон. И было бы здорово, если бы они слушали фон только ради искомой фразы "ок Гугл", но на самом деле всё, что слышит устройство обрабатывается. Оттуда и таргет реклама когда ты просто поговорил по этой теме рядом с устройством и тд. А ещё, как вы думаете обучают голосовых помощников? Думаете нанимают тысячи сотрудников для надиктовки? Ха-ха! Цифровые ассистенты учатся на пользователях. И тд. Список злоупотреблений можно составлять почти до бесконечности. И я надеюсь, что вы всё же задумайтесь...
Фабрики такие не особо лентяят, там и так 1,5 человека на пол гектара, так ещё каждый в закрытых костюмах и тд. И с тем учётом, что линия по выпуску автоматизирована, вообще не понятно, как изоляция может повлиять на такие процессы
Платное АПИ должно быть сбалансировано_платным (возможно бесплатным) относительно скрапинга веб версии. То есть лимиты к Веб версии должны быть такими, что-бы разделять реального пользователя и скрапера.
Многие этого не понимаю и продолжают вливать деньги в борьбу со скрапингом, а могли как минимум экономить, как максимум зарабатывать.
НЦОТ это Мордор белорусского интернета, если что
Вторая стадия монструозности началась с момента, когда в браузерах реализовали собственные headless режимы (тогда PhantomJS закончился). Это развязало руки даже тем скрипткидди, которые раньше этого сторонились. Стало же так просто, открыл браузер, записал действия с помощью расширения Selenium'а, скопировал в скрипт, добавил headless и всё, можно в прод.
habr.com/ru/post/359403
habr.com/ru/news/t/459826
habr.com/ru/post/420983
habr.com/ru/news/t/447840
Статья о ложных срабатываниях «умных» гаджетов:
habr.com/ru/news/t/489792
Ваш смартфон слушает вас условно 100% времени. Вы думаете за счёт чего смартфон способен реагировать на условное "ок Гугл"? Не забывайте также и про приложения, которые свёрнуты, они то не завершаются и в них наверняка 100500 трекинг систем типо гуглАдсенса или Яндексметрик. И вы как раз узнали, как эта технология перетекает в таргетированную рекламу
Господин, вы видимо даже не интересовались данной темой подробно. Доказывалось уже не однократно, что всякие домашние станции только и делают что слушают вас. Как по вашему, смартфон/станция/другое устройство способно реагировать на голосовое "ок Гугл". Суть в том, что они 100% времени слушают фон. И было бы здорово, если бы они слушали фон только ради искомой фразы "ок Гугл", но на самом деле всё, что слышит устройство обрабатывается. Оттуда и таргет реклама когда ты просто поговорил по этой теме рядом с устройством и тд. А ещё, как вы думаете обучают голосовых помощников? Думаете нанимают тысячи сотрудников для надиктовки? Ха-ха! Цифровые ассистенты учатся на пользователях. И тд. Список злоупотреблений можно составлять почти до бесконечности. И я надеюсь, что вы всё же задумайтесь...
Так в том то и дело, что автопроизводители не 5нм заказывают, а то что подешевле. Но соглашусь на счёт логистики, возможно именно в этом и причина
Фабрики такие не особо лентяят, там и так 1,5 человека на пол гектара, так ещё каждый в закрытых костюмах и тд. И с тем учётом, что линия по выпуску автоматизирована, вообще не понятно, как изоляция может повлиять на такие процессы
Так а из-за чего дефицит то? Все автопроизводители производят микроэлектронику на одном заводе и он не справляется? В чём дело?
В ПлейМаркете сложно нажать на издателя, что-бы посмотреть все его приложения и увидеть Firefox Nightly?
https://play.google.com/store/apps/details?id=org.mozilla.fenix
"нормальный встроенный", который пропускает FB трекинг и много другой рекламы и трекинг сервисов