Да, думаю одному вам. Мы очень внимательно разбирали этот вопрос, и по факту массово за NATом с одним выходным IP сидят только мобильные юзера (а у них нету экселей со скриптами). Со стационарными всё куда проще. Вы скажете "каждый офис такой"!. Да, но это не "массово", 20-30-50 юзеров на одном IP особой проблемы не представляют, всё различимо, если это живые люди. Вот ОПСОСы создают некоторые сложности, там за одним IP могут быть тысячи. Но на самом деле всё решаемо :-)
Наша бизнес-модель основана вовсе не на "тайне". А на предоставлении данных, изначально очень неудобных для практического использования, в форме гораздо более пригодной для целей наших клиентов. Плюс некоторая аналитика. Есть те, кто готов платить за такую услугу, а есть те, кто не готов сам заниматься анализом, а результат хочет получить (почти)бесплатно. Сервис для этого не предназначен. Насчёт капчи совершенно согласен, не панацея. Поэтому и приходится изощряться.
API в закрытой бете. Был проведён ряд исследований запросов пользователей и востребованности API. К сожалению результат оказался не слишком впечатляющим
Ну, Москва не сразу строилась. Для вашего случая мы разрабатываем API, которое сейчас находится в стадии закрытой беты. К сожалению разработка идёт медленнее, чем хотелось бы (и мне и вам наверно), но когда всё будет готово мы непременно об этом напишем. К сожалению одной из ключевых причин отсутствия API на сегодняшний день является его низкая востребованность.
Но ведь есть официальные источники! Идите к ним. Впрочем, то, как они затрудняют машинный анализ, наверно даже ненамеренно, мы освещали тут https://habr.com/ru/company/rusprofile/blog/585516/ Или вам нужны именно разобранные и провязанные данные? Ну так это и есть наша работа, и хочется, чтобы она была оплачена. Мы коммерческая компания, делаем продукт, пользование которым стоит денег. Вы можете сделать всё то же самостоятельно, никто вам слова дурного не скажет. А мы предоставляем данные бесплатно только в ограниченном объёме.
Ну я же ответил. Вам предлагают сервис на определённых условиях. Согласиться - нормально. Отказаться - нормально. Не согласиться, не заплатить за чужой труд в нашем случае, и пытаться воспользоваться результатами - нехорошо. Моё мнение.
В настоящий момент API для получения данных находится в стадии закрытого бета-тестирования. Когда сервис станет публичным, мы обязательно напишем об этом
Вполне возможно. Но мы российская компания, и действуем в российском правовом поле. Лично мне далеко не всё нравится, но уж какие есть у нас законы, такие и соблюдаем.
Спасибо за вопрос. Действительно, сложно представить, чтобы полный набор данных по компаниям/ИП был нужен для чего-то другого, кроме как создания сайта-клона.
Кстати, когда мы показываем капчу, то в HTML-комменте предлагаем связаться с нами, чтобы обсудить вопрос массовой выгрузки. Обычные пользователи не заметят, а люди, работающие с исходным кодом, могут и обратить внимание. И, кстати, обращают: запросы на выгрузки (кстати, весьма и весьма разные по составу) поступают регулярно. Но, по-видимому, не все считают для себя возможным договариваться и обсуждать условия.
Про борьбу с нагрузками. А если это, условно, вредит нашей ЦА, то бороться не надо вовсе? Оставить на самотёк, чтобы парсеры положили сайт, и ЦА осталась вообще ни с чем? Или лучше слегка усложнить доступ 5% честной аудитории, но остаться на плаву?
Вы вольны делать что угодно. За некоторые действия вас будут преследовать по закону, за другие - нет. За парсинг rusprofile статьи в законе нет. Но есть условия, на которых владелец сервиса согласен иметь с вами дело. Устраивает - добро пожаловать. Нет - проходите мимо. А пытаться получить что-то, что вам не готовы предоставлять в нашем случае ненаказуемо, но кмк нечестно.
Вероятно вы правы. Но я не совсем уловил связь - данные это данные, а сервис это сервис. Если вы распечатаете выписку из ЕГРИП, например, про ваше ИП, и положите её дома, данные не перестанут быть открытыми. Но смогу ли я ходить к вам домой, чтобы в неё посмотреть? Или вы пошлёте меня на сайт ФНС? Должен ли любой, у кого в базе есть открытые данные, свободно предоставлять к ним доступ?
Смотря что он будет парсить. Гос. ОД? Пожалуйста. Там, правда, тоже есть условия использования. Если они вам не подойдут - придётся что-то придумывать. Какой-то коммерческий сайт? А что по этому поводу думает владелец? Он ведь вправе решать, на каких условиях предоставлять сервис? Попробуете обойти его условия? Ненаказуемо по закону, но нечестно, как мне кажется
Справедливости ради, далеко не все "данные на нашем сайте" нам не принадлежат. Хотя вопрос принадлежности данных мне видится очень скользким. Но тем не менее - да, большая часть данных, первичных, взятых из открытых источников, скажем так - общественное достояние. Никто с этим и не спорит. И могут они быть в любой БД у любых лиц. Научные цели мы даже поощряем и никогда не отказывали обращавшимся к нам учёным и даже студентам, имеющим такую потребность, в получении необходимых им данных. Есть условия, на которых мы предоставляем результаты нашей работы (https://www.rusprofile.ru/support/rules.html). Лично мне (не претендую на выражение политики компании) кажется, что получение данных с нарушением этих условий несколько нечестно. Уголовно ненаказуемо, но нечестно. Устраивают условия - соблюдай и пользуйся. Не устраивают - проходи мимо.
Вполне официально. И, кстати, даже платим за это в ряде случаев. Есть такая штука - закон об открытых данных, если без канцелярита. Формально, насколько я понимаю, часть 149-ФЗ. Вся беда в том, что исполняется он у нас часто "на отлепись", многое там мутно и многозначно, поэтому работать с такими открытыми данными неспециалисту будет весьма непросто. Мы эту задачу упрощаем - собираем эти данные (вполне в соответствии с законами и условиями использования ОД), систематизируем, агрегируем, и предоставляем тем, кто готов за такой сервис платить.
Вообще интересную тему подняли. Следует ли считать жульничеством использование результатов чужого труда не на тех условиях, на которых эти результаты предлагаются?
Похоже, в наше время слово "мошенник" ассоциируется исключительно с соответствующей статьёй УК. Хотя в русском языке это всего навсего "Человек, к-рый занимается мошенничеством, плут, жулик" (https://slovarozhegova.ru/word.php?wordid=14975). Можно ли считать плутовством, жульничеством, нарушение пользовательского соглашения? Я полагаю - можно. Хоть это и не статья УК
Почему же? Вполне создаём. У нас есть своя аналитика надёжности, построение связей, и много чего ещё появится в будущем
Да, думаю одному вам. Мы очень внимательно разбирали этот вопрос, и по факту массово за NATом с одним выходным IP сидят только мобильные юзера (а у них нету экселей со скриптами). Со стационарными всё куда проще. Вы скажете "каждый офис такой"!. Да, но это не "массово", 20-30-50 юзеров на одном IP особой проблемы не представляют, всё различимо, если это живые люди. Вот ОПСОСы создают некоторые сложности, там за одним IP могут быть тысячи. Но на самом деле всё решаемо :-)
Наша бизнес-модель основана вовсе не на "тайне". А на предоставлении данных, изначально очень неудобных для практического использования, в форме гораздо более пригодной для целей наших клиентов. Плюс некоторая аналитика. Есть те, кто готов платить за такую услугу, а есть те, кто не готов сам заниматься анализом, а результат хочет получить (почти)бесплатно. Сервис для этого не предназначен.
Насчёт капчи совершенно согласен, не панацея. Поэтому и приходится изощряться.
API в закрытой бете. Был проведён ряд исследований запросов пользователей и востребованности API. К сожалению результат оказался не слишком впечатляющим
Ну, Москва не сразу строилась. Для вашего случая мы разрабатываем API, которое сейчас находится в стадии закрытой беты. К сожалению разработка идёт медленнее, чем хотелось бы (и мне и вам наверно), но когда всё будет готово мы непременно об этом напишем.
К сожалению одной из ключевых причин отсутствия API на сегодняшний день является его низкая востребованность.
Но ведь есть официальные источники! Идите к ним. Впрочем, то, как они затрудняют машинный анализ, наверно даже ненамеренно, мы освещали тут https://habr.com/ru/company/rusprofile/blog/585516/
Или вам нужны именно разобранные и провязанные данные? Ну так это и есть наша работа, и хочется, чтобы она была оплачена. Мы коммерческая компания, делаем продукт, пользование которым стоит денег. Вы можете сделать всё то же самостоятельно, никто вам слова дурного не скажет. А мы предоставляем данные бесплатно только в ограниченном объёме.
Ну я же ответил. Вам предлагают сервис на определённых условиях. Согласиться - нормально. Отказаться - нормально. Не согласиться, не заплатить за чужой труд в нашем случае, и пытаться воспользоваться результатами - нехорошо. Моё мнение.
Всё так. Ну, почти. Об этом и пишем. Война копья и щита, пока нам кажется, что успешная
В настоящий момент API для получения данных находится в стадии закрытого бета-тестирования. Когда сервис станет публичным, мы обязательно напишем об этом
Вполне возможно. Но мы российская компания, и действуем в российском правовом поле. Лично мне далеко не всё нравится, но уж какие есть у нас законы, такие и соблюдаем.
Вы совершенно правы. Именно поэтому мы и делаем всё то, о чём рассказали в статье.
Спасибо за вопрос. Действительно, сложно представить, чтобы полный набор данных по компаниям/ИП был нужен для чего-то другого, кроме как создания сайта-клона.
Кстати, когда мы показываем капчу, то в HTML-комменте предлагаем связаться с нами, чтобы обсудить вопрос массовой выгрузки. Обычные пользователи не заметят, а люди, работающие с исходным кодом, могут и обратить внимание. И, кстати, обращают: запросы на выгрузки (кстати, весьма и весьма разные по составу) поступают регулярно. Но, по-видимому, не все считают для себя возможным договариваться и обсуждать условия.
Про борьбу с нагрузками. А если это, условно, вредит нашей ЦА, то бороться не надо вовсе? Оставить на самотёк, чтобы парсеры положили сайт, и ЦА осталась вообще ни с чем? Или лучше слегка усложнить доступ 5% честной аудитории, но остаться на плаву?
Вы вольны делать что угодно. За некоторые действия вас будут преследовать по закону, за другие - нет. За парсинг rusprofile статьи в законе нет. Но есть условия, на которых владелец сервиса согласен иметь с вами дело. Устраивает - добро пожаловать. Нет - проходите мимо. А пытаться получить что-то, что вам не готовы предоставлять в нашем случае ненаказуемо, но кмк нечестно.
Вероятно вы правы. Но я не совсем уловил связь - данные это данные, а сервис это сервис. Если вы распечатаете выписку из ЕГРИП, например, про ваше ИП, и положите её дома, данные не перестанут быть открытыми. Но смогу ли я ходить к вам домой, чтобы в неё посмотреть? Или вы пошлёте меня на сайт ФНС? Должен ли любой, у кого в базе есть открытые данные, свободно предоставлять к ним доступ?
Смотря что он будет парсить. Гос. ОД? Пожалуйста. Там, правда, тоже есть условия использования. Если они вам не подойдут - придётся что-то придумывать.
Какой-то коммерческий сайт? А что по этому поводу думает владелец? Он ведь вправе решать, на каких условиях предоставлять сервис?
Попробуете обойти его условия? Ненаказуемо по закону, но нечестно, как мне кажется
Справедливости ради, далеко не все "данные на нашем сайте" нам не принадлежат. Хотя вопрос принадлежности данных мне видится очень скользким. Но тем не менее - да, большая часть данных, первичных, взятых из открытых источников, скажем так - общественное достояние. Никто с этим и не спорит. И могут они быть в любой БД у любых лиц. Научные цели мы даже поощряем и никогда не отказывали обращавшимся к нам учёным и даже студентам, имеющим такую потребность, в получении необходимых им данных. Есть условия, на которых мы предоставляем результаты нашей работы (https://www.rusprofile.ru/support/rules.html). Лично мне (не претендую на выражение политики компании) кажется, что получение данных с нарушением этих условий несколько нечестно. Уголовно ненаказуемо, но нечестно. Устраивают условия - соблюдай и пользуйся. Не устраивают - проходи мимо.
Вполне официально. И, кстати, даже платим за это в ряде случаев. Есть такая штука - закон об открытых данных, если без канцелярита. Формально, насколько я понимаю, часть 149-ФЗ. Вся беда в том, что исполняется он у нас часто "на отлепись", многое там мутно и многозначно, поэтому работать с такими открытыми данными неспециалисту будет весьма непросто. Мы эту задачу упрощаем - собираем эти данные (вполне в соответствии с законами и условиями использования ОД), систематизируем, агрегируем, и предоставляем тем, кто готов за такой сервис платить.
Вообще интересную тему подняли. Следует ли считать жульничеством использование результатов чужого труда не на тех условиях, на которых эти результаты предлагаются?
Похоже, в наше время слово "мошенник" ассоциируется исключительно с соответствующей статьёй УК. Хотя в русском языке это всего навсего "Человек, к-рый занимается мошенничеством, плут, жулик" (https://slovarozhegova.ru/word.php?wordid=14975). Можно ли считать плутовством, жульничеством, нарушение пользовательского соглашения? Я полагаю - можно. Хоть это и не статья УК