Бот-парсер маркетплейса на Python

[S0mbre]

Если уж асинхронный бот, то всё приложение надо асинхронным делать. Соответственно, вместо requests надо использовать httpx, aiohttp или им подобные.

[rSedoy]

ага, а если учесть что у aiogram под капотом aiohttp, то можно сказать, что асинхронный клиент уже досутпен из коробки.

[Forceres]

там ещё синхронный time.sleep)

[VirRus77]

А зачем ссылки на сайт параметризированны?

https_://amvera.ru/?utm_source=habr&utm_medium=article&utm_campaign=bot-parser

[VadimMichaylov]

Это обычная UTM-метка

[Arbane]

Это значит, что статья - реклама. И маркетинг смотрит профит. Автор выбирает свой сервис как будто случайно, без вступления, что вот это Мы, просто пошла история, что лучше бы бота поднять вооот тут (да конечно!)

[MarkovM]

Я опубликовал эту статью в нашем корпоративном блоге. Никто же ничего не скрывает. Логично, что деплой я приведу на нашем примере и немного похвалю компанию в которой работаю, а не конкурентов. Но вы можете взять код бота и развернуть его в том облаке/хостинге, который вам нравится

[mykytashch]

Не публичные API действительно часто доступны для анализа и использования, но важно помнить, что наличие доступа через DevTools или скрипт не означает, что вы имеете право использовать эти API. Перед тем как использовать данные, лучше уточнить условия их использования и, если необходимо, получить разрешение от владельца сайта.

[GoDevSeoTaxi]

А вы когда пользователем заходите на страницу - вы тоже получаете разрешение на получения данных?

В том - что никто не дает гарантию, что завтра API поменяется - думаю и так понятно.
В том, что ВБ не сделала проверку на таких ботов - это конечно не доработка ВБ.

[Twilizer]

А как вы решили проблему того, что товар уже встречался на странице(к примеру чтобы одни и те же наушники не присылались по N-раз подряд)? Писал собственного бота ещё полгода назад для подобной темы, однако нормальной идеи кроме создания базы данных и учёта последних 10 товаров придумать не смог

[unstopppable]

Ну можно просто накачивать set до тех пор, пока в нем не наберётся 10, и затем отправить пачкой в телегу

[Twilizer]

можно, но если обновления товаров не было, вы просто будете отправлять всё те же 10 товаров(не знаю как часто обновляются товары WB, однако сайт, который я парсил таким методом обновлял товары только когда продавец выложит что-то новое) и поскольку запрос я делал раз в 5 секунд то данным методом вы могли за час отправить 720 одинаковых товаров в бота, что как-то бесполезно, вот я и хочу узнать как подобную проблему решил автор статьи