Комментарии 26
А какие ограничения у данного подхода парсинга? Обычно крупные маркетплейсы, как Wildberries не любят, когда много информации с них парсят
В парсерах надо обязательно ограничивать частоту запросов, делая паузы в 3-10сек между не более десятком запросов. В противном случае ИБ заблокирует ваш ИП как ДДОС и достаточно быстро, автоматами контроля за нагрузкой сайтов. Поэтому и прилетает 429.
Много удачи понадобится тому, кто решит спарсить хоть сколько-нибудь ценный объём информации таким скриптиком на requests и без проксей.
1,5tb трафика в день получаю от вб, без прокси
По API или со страниц?
со страниц, смотрю какие запросы летят когда гуляю по сайту, и повторяю в приложении парсера у себя
А собранные данные на корректность проверяли? Год назад WB в таких ситуациях подсовывал фейковые данные. То есть запросы они не блочили, а просто по-тихому наливали трэша в части ответов.
такого мы не замечали
и да, выдача для гостя и для авторизованного пользователя всегда отличался
сейчас даже для двух разных юзеров выдача может отличаться, с одним и тем же выбранным ПВЗ
поэтому, не берусь утверждать, что выдача была без треша, но главное тут - динамика позиций, с этим проблем не было. то есть
Вообще, подсовывание левых данных мы замечали на озон, когда пытались их парсить. Они, когда выясняли что запрос идет от парсера, начинали подкидывать просто левые данные, левые цены, остатки. все что можно - левые данные. причем, под видом обычных данных.
в ВБ такого не замечали
Но на ВБ есть открытый эндпоинт по которому можно получить список всех товаров любого продавца. Без каких либо лимитов.
Глянул то о чём вы говорите, и кажется, что это работает только для продавцов и только в рамках собственного магазина, или вы можете поделиться, как это можно прикрутить для исследований товаров других магазинов?
В целом он прав, на вб практически нет защиты от парсинга, и достаточно изучить как-то запросы идут из браузера и повторить
Занимаюсь парсингом вб с 2020, почти все что там видно покупателю - храню в своей бд clickhouse
окак.. Надо будет как-то на досуге ради интереса посмотреть самому. Вообще даже удивительно, что у них всё на примитивном уровне
я бы сказал, что это осознанное решение, и не было бы "открытости" ВБ, не было бы такого роста селлеров на его площадке.
почти все время дикой популярности маркетплейсов, только ВБ давал адекватную аналитику конкурентов, чем и пользовались все селлеры, и часто заходили на ниши, где изначально мало кто мог бы предположить, что там будут деньги. Позже, когда и озон начал подтягиваться, селлеры проверяли аналитику продаж на ВБ, и шли с этими товарами на озон. При этом, все понимали, что озон - это слепой маркетплейс, ничего не видно, не понятно кто, что и насколько продают
Хотелось бы почитать комментарий антифрод команды wb. Просто я не верю, что они не подсовывают вам фейковые данные
Все жду, когда смогу приказать нюросети найти и купить самый лучший товар в самый дешёвый момент
Когда невросети флагманского уровня будут работать на финансируемых краудфандингом ЦОДах в юрисдикции без экстрадиции во все имперские государства. Вот как только - так сразу.
Все жду, когда смогу приказать нюросети найти и купить самый лучший товар в самый дешёвый момент
Серая зона, "в самый дешёвый момент" - это когда система дает сбой и продает товар с большим убытком для продавца. Однократно случайно - как бы без проблем, а если много раз, то могут возникнуть вопросы.
а есть ли смысл?
https://huggingface.co/datasets/nyuuzyou/wb-feedbacks
p.s. соседние смотрите датасеты
p.s.s. вроде бы как озон предоставлял данные в открытую, даже с кейсами подбора целевой ниши. кажется вполне разумным аккумулировать рынок, создавать конкурентность для роста качества и утп, путем предоставления открытых данных
Ответ сервера даёт цену без учета цены "с картой WB". Интересно почему.
Круто, но есть более адекватные способы. Я вот только сегодня парсил отзывы по выбранным товарам с ВБ. Дело довольно интересное для разработки и заказчиков всегда много по такому. Правильно в комментариях пишут, что нужно чтобы парсер изображал на сайте близкие к человеку действия, тогда все хорошо и быстро парсится.
1) удивительно что вб до сих пор не заблочил requests, и не стал тупо продавать доступ к АПИ - а ведь золотая жила
2) по 429 обычно всегда в нормальном скрапинге идет анализ - через сколько запросов и с какой частотой нам потребуется новый ип, из какой страны ип, и сколько нужно спарсить товаров.
Пример. - нам нужно парсить 1 млн товаров в день, 429 на ип будет прилетать через 10 запросов в течении часа, и потом следует бан на сутки. соотвественно нужно купить от 4,7 тыс хороших проксей.(9 запросов в час * 24), если мусорных с коэффициентом не работающего пула от 60-80% то больше.
Парсинг цен и данных о товарах конкурентов на Wildberries