Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 45
> собственного сервиса sravnito.ru
Вы хотели сказать «собственного паразитирующего на авито сервиса sravnito.ru».
> с простым интерфейсом и бесплатным доступом
и бесплатной рекламой Google Adwords
Вы хотели сказать «собственного паразитирующего на авито сервиса sravnito.ru».
> с простым интерфейсом и бесплатным доступом
и бесплатной рекламой Google Adwords
Разве Big Data определяется именно размером кучи под данные, а не в целом объемами?
Спасибо за ссылку, почитаю и подумаю что ответить.
Данных именно по объявлениям без учета скриншотов в данный момент >50Gb, а оперативки 4 Gb. Понятно, что хранить все данные в оперативке нереально в данный момент.
Данных именно по объявлениям без учета скриншотов в данный момент >50Gb, а оперативки 4 Gb. Понятно, что хранить все данные в оперативке нереально в данный момент.
В части использования пула, такие данные, то есть видно, что
You need buffer pool a bit (say 10%) larger than your data (total size of Innodb TableSpaces) because it does not only contain data pages – it also contain adaptive hash indexes, insert buffer, locks which also take some time.указанные данные вмещаются в пул с большим запасом
Вступительная часть статьи вводит в заблуждение — полный тест имеет мало общего со вступлением. Вы бы хотя бы написали, как будете бороться с мошенниками на своем сайте. Показывать все объявления продавца в этом не поможет.
Вбил ссылку на объявление, ничего не нашлось. Хотя с этим номером телефона есть еще объявления. По номеру телефона нашлось несколько объявлений, но не все.
Хотелось бы услышать комментарии по архитектуре и технологиям, а не насчет того, что кто-то не нашел все объявления
Если честно, ожидал что речь пойдет об каком либо плагине для браузера, который при открытии страницы с объявлением рядом с именем или аватаркой автора большими красными буквами пишет слово «мошенник» и ссылку на пруфы…
Java приложение Android, которое выводит изображение и принимает ответ.
Это вы сами набиваете?
Неудобно, что при выдаче объявлений нет пометки о том, что объявление снято с продажи. Если у человека 80 объявлений, это подозрительно. Но если из них 5 активных — то это нормально :)
А где картинки то?
Картинки есть, но не все.
Это связано с тем, что загрузка картинок писалась после намного позже после запуска загрузчика, а также время от времени останавливалась из-за превышения объема диска. Опытным путем был получен подходящий размер картинок, так что со временем картинки будут для каждого объявления
Это связано с тем, что загрузка картинок писалась после намного позже после запуска загрузчика, а также время от времени останавливалась из-за превышения объема диска. Опытным путем был получен подходящий размер картинок, так что со временем картинки будут для каждого объявления
Насколько знаю, авито банит айпишники за особый и массовый интерес к телефонам. Как обходили этот момент? Закупили проксей?
Это тема для отдельной статьи как с помощью API VPS-провайдера (DigitalOcean) удалять и создавать новые сервера взамен старых с забаненными адресами.
В целом вы правы — забаненные адреса уже нельзя использовать.
Прокси не использовал, слишком сложно для меня
В целом вы правы — забаненные адреса уже нельзя использовать.
Прокси не использовал, слишком сложно для меня
А поднять тор? Поднимается и настраивается на раз два, а потом юзается как обычная прокся.
> как с помощью API VPS-провайдера (DigitalOcean) удалять и создавать новые сервера взамен старых с забаненными адресами
Когда то такой же
А зачем хорошему человеку типа вас понадобилось открывать авито из VPS?
А вы писали им, если считаете что ваш адрес заблокирован по ошибке?
Сообщите, пожалуйста:
* ваш IP-адрес (его можно посмотреть на yandex.ru/internet);
* название интернет-провайдера;
* город проживания
и мы с хабра-сообществом подумаем, чем вам можно помочь
* ваш IP-адрес (его можно посмотреть на yandex.ru/internet);
* название интернет-провайдера;
* город проживания
и мы с хабра-сообществом подумаем, чем вам можно помочь
.
Код не планируете открывать?
Еще один парсер авито.
Телефон кстати легко получить в текстовом виде.
На 1С такое делал )
ИМХО делать копию авито с более удобным поиском — не потянет движок.
А вот локальную базу выборки объявлений по интересующей области — самое то.
Так что делайте на денвере с открытым кодом и будет вам щастя
Телефон кстати легко получить в текстовом виде.
На 1С такое делал )
ИМХО делать копию авито с более удобным поиском — не потянет движок.
А вот локальную базу выборки объявлений по интересующей области — самое то.
Так что делайте на денвере с открытым кодом и будет вам щастя
Как я уже писал, найденные мной парсеры авито, предлагают какие-то нереальные цены (цитаты с их сайтов):
Отсюда становится понятен баттхёрт недовольных комментаторов: «как же так? бесплатный конкурент, чёрт бы его побрал»
Также доставляют незатейливые просьбы от открытии, казалось бы тривиального, кода
- -25% на первые 3 месяца,
2400 руб.1800 руб. - Стоимость одной лицензии программы XXX: 550
1350рублей, лицензия безсрочная! - Цена на подключение к API 3000 руб. в месяц (30 дней)
- Продаю навороченный парсер (граббер) объявлений с avito.ru (авито.ру) Цена 1 лицензии — 2500 рублей + комиссия за перевод.
- Автоматическая выгрузка объявлений авито.
Стоимость программы 700р.
Отсюда становится понятен баттхёрт недовольных комментаторов: «как же так? бесплатный конкурент, чёрт бы его побрал»
Также доставляют незатейливые просьбы от открытии, казалось бы тривиального, кода
Кое что про авито. Я не понимаю, почему они банят, при указании телефона как копии оригинала.
Получается они поощряют мошенников.
Так что имейте ввиду, с обьявами еще немного сложнее.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Add-on к Авито. Стартап или пример архитектуры