Правда про парсинг сайтов, или «все интернет-магазины делают это»

www.facebook.com/mkulgin/posts/2052657298159354
пожалуйста.
Кстати, сегодня пришла одна авиа-компания, тоже с подобной задачей — парсить цены на направления.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

собственно в моем профиле… www.facebook.com/mkulgin я не знаю как давать ссылку на пост в ФБ. Но в истории найти легко

Правда про парсинг сайтов, или «все интернет-магазины делают это»

отчет очень простой — мы берем больше, чем есть в XLS :)

Правда про парсинг сайтов, или «все интернет-магазины делают это»

ну собственно так и есть. Руками собирать можно, а парсить роботом нельзя.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

базы прокси есть ведь, обновляются. думаю, что крупные игроки на них подписаны и банят. Но в реалии — да, банят очень быстро.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

Вы если делали бизнес в России будете на всякий случай тоже осторожны. Можно минусовать этот коммент или нет, но это правда жизни, а не уютные комментарии. С государством лучше не связываться. И про это честно написал.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

парсинг отличается от матчинга — две разные задачи. Парсинг это сбор данных, матчинг — уже попытка сделать отчет по ценам.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

я не могу советовать то, что не знаю :)

Правда про парсинг сайтов, или «все интернет-магазины делают это»

все верно. сидят операторы, собирают данные. Кстати, на те же авиа-билеты люди руками собирают данные, знаю 100%. Хотя можно и парсить.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

никоем. нарушение — это заказать у нас парсинг, а потом вывалить контент на свой сайт.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

нет.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

факт. всем плевать. вы правы. и роботс.тхт это как прикладывать мох когда у человека острый аппендицит.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

ничего особенного, 3 месяца ковыряния с настройками хромиума и вот, 4%.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

да. уже просят. но я как-то… сомневаюсь :)

Правда про парсинг сайтов, или «все интернет-магазины делают это»

законно, у нас сильная юридическая поддержка — мы работаем с компанией юристов, которые нам помогают советом + договором.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

Я просто хотел пояснить, что следование или не следование инструкциям в robots — вопрос не сводится ДА или НЕТ. Мы следуем, но толку то в этом НЕТ! Наша цель — цены на товары. Их НЕ запрещают в robots. Никогда. Поэтому дал расширенный комментарий.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

Спасибо, вы выразили то, что я думал :)

Правда про парсинг сайтов, или «все интернет-магазины делают это»

вы правы. Мы берем только открытые данные. И только на коммерческих ресурсах.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

на некоторых крупных ресурсах это вариант — использовать их же АПИ.

Правда про парсинг сайтов, или «все интернет-магазины делают это»

нет… мы раньше покупали прокси, а щас забили. берем бесплатные. Но мы НЕ парсим ГУГЛ и Яндекс. А для других ресурсов — подходят.