smplpro Dec 14 2016 at 15:35

Add-on к Авито. Стартап или пример архитектуры

5 min

10K

System Analysis and Design*

From sandbox

+14

Comments 45

rikert Dec 14 2016 at 15:47

> собственного сервиса sravnito.ru

Вы хотели сказать «собственного паразитирующего на авито сервиса sravnito.ru».

> с простым интерфейсом и бесплатным доступом

и бесплатной рекламой Google Adwords

smplpro Dec 14 2016 at 22:23

Паразитируют, когда просят 300 рублей за «пробивку».
Когда все бесплатно с рекламой для поддержки оплаты vps — не считаю что это так

LeReve Dec 14 2016 at 22:31

И чем же он вас паразитировал? Комментарий вида: лишь бы придраться к чему нибудь.

Aionoff Dec 14 2016 at 22:31

Что плохого в бесплатной рекламе Google Adwords?

UFO just landed and posted this here

smplpro Dec 14 2016 at 22:17

Разве Big Data определяется именно размером кучи под данные, а не в целом объемами?

UFO just landed and posted this here

smplpro Dec 14 2016 at 22:47

Спасибо за ссылку, почитаю и подумаю что ответить.
Данных именно по объявлениям без учета скриншотов в данный момент >50Gb, а оперативки 4 Gb. Понятно, что хранить все данные в оперативке нереально в данный момент.

smplpro Dec 14 2016 at 23:15

В части использования пула, такие данные, то есть видно, что

You need buffer pool a bit (say 10%) larger than your data (total size of Innodb TableSpaces) because it does not only contain data pages – it also contain adaptive hash indexes, insert buffer, locks which also take some time.

указанные данные вмещаются в пул с большим запасом

UFO just landed and posted this here

smplpro Dec 15 2016 at 22:23

имел в виду эти данные:

You need buffer pool a bit (say 10%) larger than your data (total size of Innodb TableSpaces) because it does not only contain data pages – it also contain adaptive hash indexes, insert buffer, locks which also take some time.

UFO just landed and posted this here

smplpro Dec 16 2016 at 11:32

В любом случае не понимаю, где можно взять 100, 200,… 500,… 1000Гб оперативной памяти для размещения всех данных в пуле с учетом их непрерывного поступления. Так что рекомендацию автора также можно считать чисто теоретической в данном случае

UFO just landed and posted this here

marenkov Dec 14 2016 at 18:43

Вступительная часть статьи вводит в заблуждение — полный тест имеет мало общего со вступлением. Вы бы хотя бы написали, как будете бороться с мошенниками на своем сайте. Показывать все объявления продавца в этом не поможет.

smplpro Dec 14 2016 at 22:19

Смысл в том, что если по ссылке на объявление либо номеру телефона нашлось, допустим 5 топовых видеокарт в разных регионах, то очевидно, что здесь что то не чисто. Если же нашлось много объявлений, например про коллекционирование или детскую одежду,- то похоже на правду

fatum2996 Dec 14 2016 at 22:19

Вбил ссылку на объявление, ничего не нашлось. Хотя с этим номером телефона есть еще объявления. По номеру телефона нашлось несколько объявлений, но не все.

smplpro Dec 14 2016 at 22:20

Для любительского проекта неплохо, что «нашлось несколько объявлений», так как не всегда хватает мощностей, чтобы успевать за всеми объявлениями

smplpro Dec 14 2016 at 22:24

Хотелось бы услышать комментарии по архитектуре и технологиям, а не насчет того, что кто-то не нашел все объявления

HellMaster_HaiL Dec 14 2016 at 22:31

Если честно, ожидал что речь пойдет об каком либо плагине для браузера, который при открытии страницы с объявлением рядом с именем или аватаркой автора большими красными буквами пишет слово «мошенник» и ссылку на пруфы…

smplpro Dec 14 2016 at 22:40

Технически плагин к браузеру реализуем, так как все данные есть в БД, но понимать сомнительность объявлений возможно только косвенно непосредственно пользователю, по признакам указанным в комментарии выше

azsx Dec 15 2016 at 02:14

Java приложение Android, которое выводит изображение и принимает ответ.

Это вы сами набиваете?

smplpro Dec 15 2016 at 10:41

Да, на телефоне выводится картинка, которую я разгадываю.
Когда много капчей, то они уходят на rucaptcha.com.
Это позволяет экономить на разгадывании

avallac Dec 15 2016 at 12:57

распарсить лям записей * 18 рублей/тысячу = 18000 как-то много

smplpro Dec 15 2016 at 13:12

Это при условии, что капчу у вас будет спрашивать на каждом объявлении.
На практике пару раз в час

hard_sign Dec 15 2016 at 10:45

Неудобно, что при выдаче объявлений нет пометки о том, что объявление снято с продажи. Если у человека 80 объявлений, это подозрительно. Но если из них 5 активных — то это нормально :)

smplpro Dec 15 2016 at 10:50

Анализировать объявления повторно на предмет снятия с продажи требует дополнительных мощностей.
В настоящий момент загрузка однократная — берутся аттрибуты и картинка и больше к этому объявлению не возвращаемся

avallac Dec 15 2016 at 10:46

А где картинки то?

smplpro Dec 15 2016 at 10:48

Картинки есть, но не все.
Это связано с тем, что загрузка картинок писалась после намного позже после запуска загрузчика, а также время от времени останавливалась из-за превышения объема диска. Опытным путем был получен подходящий размер картинок, так что со временем картинки будут для каждого объявления

Hush Dec 15 2016 at 11:15

Насколько знаю, авито банит айпишники за особый и массовый интерес к телефонам. Как обходили этот момент? Закупили проксей?

smplpro Dec 15 2016 at 12:37

Это тема для отдельной статьи как с помощью API VPS-провайдера (DigitalOcean) удалять и создавать новые сервера взамен старых с забаненными адресами.
В целом вы правы — забаненные адреса уже нельзя использовать.
Прокси не использовал, слишком сложно для меня

hakastein Dec 15 2016 at 13:45

А поднять тор? Поднимается и настраивается на раз два, а потом юзается как обычная прокся.

smplpro Dec 15 2016 at 13:46

Надо попробовать, спасибо

mapatka Dec 15 2016 at 16:59

Авито, вроде, через тор забанено? Нет?

smplpro Dec 15 2016 at 17:00

Пока не пробовал, но в общем ничто не может помешать авито банить адреса тор-гейтов

rikert Dec 15 2016 at 19:20

> как с помощью API VPS-провайдера (DigitalOcean) удалять и создавать новые сервера взамен старых с забаненными адресами

Когда то такой же ~~мудак~~ хороший человек парсил авито так что его забанили, теперь это адрес моего сервера, что особенное примечательно этот блок действует уже больше года т.е. авито никогда не разбанит этот адрес.

smplpro Dec 15 2016 at 21:25

А зачем хорошему человеку типа вас понадобилось открывать авито из VPS?

smplpro Dec 15 2016 at 21:53

А вы писали им, если считаете что ваш адрес заблокирован по ошибке?

smplpro Dec 15 2016 at 22:20

Сообщите, пожалуйста:
* ваш IP-адрес (его можно посмотреть на yandex.ru/internet);
* название интернет-провайдера;
* город проживания

и мы с хабра-сообществом подумаем, чем вам можно помочь

smplpro Dec 15 2016 at 17:00

nachit Dec 15 2016 at 23:36

Код не планируете открывать?

smplpro Dec 16 2016 at 11:10

там особо и открывать нечего

capitannemo Dec 16 2016 at 11:09

Еще один парсер авито.
Телефон кстати легко получить в текстовом виде.
На 1С такое делал )
ИМХО делать копию авито с более удобным поиском — не потянет движок.
А вот локальную базу выборки объявлений по интересующей области — самое то.
Так что делайте на денвере с открытым кодом и будет вам щастя

smplpro Dec 16 2016 at 11:29

Как я уже писал, найденные мной парсеры авито, предлагают какие-то нереальные цены (цитаты с их сайтов):

-25% на первые 3 месяца, ~~2400 руб.~~ 1800 руб.
Стоимость одной лицензии программы XXX: 550 ~~1350~~ рублей, лицензия безсрочная!
Цена на подключение к API 3000 руб. в месяц (30 дней)
Продаю навороченный парсер (граббер) объявлений с avito.ru (авито.ру) Цена 1 лицензии — 2500 рублей + комиссия за перевод.
Автоматическая выгрузка объявлений авито.
Стоимость программы 700р.

Отсюда становится понятен баттхёрт недовольных комментаторов: «как же так? бесплатный конкурент, чёрт бы его побрал»
Также доставляют незатейливые просьбы от открытии, казалось бы тривиального, кода

Alexufo Dec 16 2016 at 16:42

Кое что про авито. Я не понимаю, почему они банят, при указании телефона как копии оригинала.
Получается они поощряют мошенников.
Так что имейте ввиду, с обьявами еще немного сложнее.

Show the best of all time