Собираем MLOps-проект с нуля: Как я научил Telegram-бота искать скидки на Avito

[Magi]

Ссылка битая.

[agmike]

В профиле автора написано "ML-разработчик (стажер). Предполагаю, в связи с этим, что репозиторий может быть приватным)

[K1ree8]

открыто

[kenomimi]

Самые сливки сидят как раз в хреновых заголовках. Потому что если у продавца хватило ума написать хороший заголовок (или оставить правильно угаданный автоматический), то и ценник он поставит плюс-минус рыночный. Зато те, кто два слова связать не может, чаще всего и в анализ рынка не могут, и местами сливают технику по цене сильно ниже рынка. Риски тут тоже выше, но нормальный перекуп знает матчасть, его не обманешь.

[K1ree8]

Так как я работал с айфонами - у них там стандартные заголовки "Модель, Память". Авито предлагает пользователям релевантные заголовки при создании объявления. Обычно все его и оставляют. Но есть те, кто что-то еще добавляет. Ну вот пару примеров:
iPhone 14 Plus 256gb все родное Sim+Sim
iPhone 14 Plus, 256 гб,nanoSim/eSim
iPhone 14 pro 128 гб Space black SIM+eSIM
iPhone 14 Pro 128gb Deep Purple Sim+eSim
iPhone 14 pro 128gb dual sim
iPhone 14 Pro / 128 gb / Deep Purple / Sim + Esim
iPhone 14 Pro 128gb Sim+eSim
iPhone 14 pro 256gb dual sim
iPhone 14 Pro Deep Purple 256GB (sim+esim)
iPhone 14 pro 256 гб dual-sim
iPhone 14 Pro 256 GB Space Gray, dual SIM (2x SIM)
iPhone 14 pro 256 гб sim+esim
iPhone 14 Pro 256gb Deep Purple eSim

Вот и на кой так усложнять, если вот человеческие заголовки:

Я предполагаю, то что как раз такие пользователи "знают цену", и пытаются ее "отобразить" в заголовке. Но так как цель моего проекта - это "выявлять недооцененные товары у частных продавцов бывшего пользования для последующей перепродажи" - для меня не выгодно, чтобы они знали его цену) И вот можно сказать это такой "фильтр" от шарющих. Обычные бы пользователи не стали бы париться. Ну вот большинство и не париться.

[K1ree8]

И вот это мне позволило сделать "простую" модель. Я достал из стандартного заголовка признаки: модель, память. И там с помощью OHE получилась бинарная табличка с 49 признаками: все модели и объемы (64 ГБ, 128 ГБ, 256 ГБ, 512 ГБ, 1 ТБ). И только из этих штук у меня получилась крутая модель. Я также пробовал работать с описанием и рейтингом продавца, но значительных улучшений не принесло. Даже немного путало. И я остановился на такой простенькой модели. Но с таким же успехом я бы мог просто взять средние или медиану по каждой вариации модель+память - и да, но я все еще работаю с проектом. Возможно я найду ещё какие-нибудь инсайты и закономерности на рынке.

[therealspeaker]

Необходимо учитывать представителей "Барклая 8", у которых стоимость в объявлении никогда не соответствует действительной.

[K1ree8]

Да были моменты, когда такие вот уникомы, например, ставили цену 9999999₽. Либо наоборот ставили цену 100 рублей и писали - обмен. Я их отбрасывал с помощью квантилей. А так обычно цены +/- адекватные

[stuzhik]

avitobotmailing в докерхаб ????

[K1ree8]

Я открыл репозиторий