Парсинг сайтов: как с точки зрения закона выглядит один из самых полезных ИТ- инструментов по миру (и в России)?

[@Truth4oll]

Отличный у вас сайт, быстрый, и верстка табличных данных удобная.

[@JediPhilosopher]

Парсинг не должен нарушать условия использования сайта

А что если в условиях использования прописан запрет парсинга? Вроде в соцсетях так и было сделано когда-то, может и сейчас есть (т.е. запрет получения данных напрямую со страниц, в обход API). Но ведь с другой стороны бот-парсер никакие условия не подписывает, я соглашаюсь на правила пользования обычно при регистрации, а для парсинга она обычно не нужна.

Вопрос вообще интересный, так как например на том же upwork чуть ли не половина работ по моему профилю — это парсинг различных сайтов.

[@makasin4ik]

Это как запрет на фотографирование товаров в магазинах. Такое бывает. Но это не запрещено законом!

[@FreeMind2000]

Таким образом, информация о ценах в магазинах является общедоступной, т.к. нет законодательства ограничивающего доступ к такой информации. В связи с чем переписывать и снимать цены в магазине не запрещается.

Ок.

1) Если на входе в магазин написано — «фото и видеосъемка запрещена», магазин — нарушает конституционные права граждан?

2) Во многих магазинах, при этом ведется видеонаблюдение, причем не только внутри, но и снаружи, без спроса прохожих. Думаю, если меня могут снимать без спроса, значит и я могу это делать без спроса?

Если уж взялись писать такую статью, то попробуйте найти юридический ответ и на эти вопросы.

[@Squoworode]

Вот там разобрано.

[@FreeMind2000]

Спасибо, статья интересная, но все равно полна противоречий…

Вот яркий пример:

Владельцы зданий, помещений, торговых центров, ресторанов, кафе могут устанавливать правила поведения посетителей, но не запрет на съемку.

и ниже

Если собственник не оповестил о своем запрете на съёмку в виде таблички, объявления или в устной форме, вы имеете полное право снимать.

Фотографировать после устного запрета — нельзя!

Если рассуждать логически, то здесь противоборствуют 2 утверждения:

1. Статья 209 Гражданского кодекса РФ «Содержание права собственности»
Собственник вправе по своему усмотрению совершать в отношении принадлежащего ему имущества любые действия, не противоречащие закону…

2. Статья 29 Конституции РФ
Каждый имеет право «право свободно искать, получать, передавать, производить и распространять информацию любым законным способом…

Я считаю так:
Противоречие легко разрешается, если мы знаем, что конституция — это основной закон, а остальные должны ему соответствовать. Тогда получается, что собственник может устанавливать любые правила поведения, но не нарушая конституционные права граждан, т.е. права на получение и распространение информации (которая не охраняется авторским правом и не является секретной). А значит:

1. Вывеска «Фото и видеосъемка запрещена» — является нарушением конституции, и мы можем подать на такой магазин в суд.

2. Правильная вывеска должна быть такой «Фото и видеосъемка объектов охраны и сигнализации запрещена», т.е. посетитель может фотографировать цены магазина, но не может фотографировать камеры, сигнализацию и т.п… В принципе, такой вывески может и не быть, но если пользователь сфоткает секретные объекты — он нарушит закон, со всеми вытекающими…

Если есть юристы, интересно ваше мнение о приведенных выше 2х пунктах.

[@nizkopal]

Извлекаемый контент не должен быть защищен авторским правом

А как узнать, что это так? Декларированы ли стандарты размещения предупреждении об авторских правах?

И еще вопрос — а является ли парсинг сайтов с незаконно выложенной информацией нарушением закона? Например, я уверен, что не все сайты, где можно читать книги онлайн, имеют права на публикацию этих самых книг. Теоретически, если я написал парсер на сбор этих книг в PDF, я преступник?

[@makasin4ik]

Это хороший вопрос — но ответа у меня нет… Надо спрашивать юристов.

[@oleg_gf]

Как может парсинг быть нарушением авторского права том случае, когда он является не копированием, а обработкой информации с сайта?

[@Rambalac]

Любая автоматизированная обработка оригинала не даёт авторских прав, а результат обработки является производной работой, которая сохраняет авторские права оригинала. Более того, переработка без разрешения автора тоже является незаконной, как то создание метаданных или обучение ИИ.

[@sslipchenko]

Существует масса оправданий, но scraping всегда будет в «серой» зоне. Например, прочитав www.facebook.com/robots.txt легко установить незаконность Automated Data Collection для Facebook. Можно конечно утверждать «я не читал», но договор публичной оферты это не отменяет.

[@makasin4ik]

Так написать можно все что угодно. Вопрос как суд это будет толковать.

[@jacksparrow]

Вопрос, если сайт предоставляет рсс то контент из рсс автоматически считает свободным для парсинга и насколько попадают сюда полные текста подгруженные по ссылке из рсс?
(я на эту статью вышел через такого рода парсер, что иронично)

[@2PAE]

«Поисковые системы как Google и Bing делают нечто подобное, когда индексируют веб-страницы, а парсинговые механизмы идут дальше и преобразовывают информацию в формат, который позволяет этими данными пользоваться, заносить в базы или электронные таблицы»

Может показаться немного грубым, но пришел на ум анекдот. «Вы что, геморроидальные свечи едите что ли? А нет, знаете я их в жопу пихаю!»

Поисковые системы делают то-же самое. Индексируют веб-страницы, а после этого заносят информацию в свои базы данных и позволяют этими данными пользоваться неопределенному кругу лиц, бесплатно и даже в коммерческих целях. Такую элементарщину то, знать надо.

P.S. Странно, что статья не переводная, вроде, а Яндекс упущен. Но упомянут Bing.

[@FreeMind2000]

Абсолютно согласен, но самое интересное, почему эти аргументы не приводили в свою защиту компании, которые проиграли суд… Ведь это явная дискриминация, одним парсить можно, другим нет. К тому же, даже обычный браузер — является парсером, и он тоже копирует данные сайта на жесткий диск пользователя.

[@2PAE]

Может кто-то в суде не понимает работу интернета вообще и работу поисковых систем в частности. Судьи, адвокаты и прочие…

[@Neburrarh]

Если речь идёт об общедоступных страницах, то чем парсинг в принципе отличается от просмотра страниц пользователем и ручном копировании данных?

[@ictlawyer]

Ваши юристы забыли о смежном праве изготовителя базы данных. Никто не вправе извлекать из базы данных материалы и осуществлять их последующее использование без разрешения правообладателя, кроме случаев, предусмотренных настоящим Кодексом. При этом под извлечением материалов понимается перенос всего содержания базы данных или существенной части составляющих ее материалов на другой информационный носитель с использованием любых технических средств и в любой форме Ст. 1334 ГК РФ.

[@makasin4ik]

Информация публичная, для широкого круга лиц. То есть Яндекс, который извлекает эти данные закон не нарушает, а парсер — нарушает? Звучит очень странно…

[@ictlawyer]

Мы здесь не Яндекс обсуждаем, а парсеры. Поисковик взамен обеспечивает трафик на сайт. А парсер лишает сайт конкурентного преимущества. Это разные вещи.

[@FreeMind2000]

Так ведь парсер подключается не к БД правообладателя, а к открытым данным на сайте.
БД и сайт — это тоже разные вещи. Причем, инет-магазин не является правообладателем на названия товаров (это к производителям) и не имеет правообладания на число, которое указывается в цене (это к математикам).

А что значит «парсер лишает сайт конкурентного преимущества»?

[@ictlawyer]

Так ведь парсер подключается не к БД правообладателя, а к открытым данным на сайте.

Странный аргумент. А на сайте они откуда берутся? Запрос направлен в БД.

Причем, инет-магазин не является правообладателем на названия товаров (это к производителям) и не имеет правообладания на число, которое указывается в цене.

Да, в БД могут храниться некопирайтные материалы в принципе. Этим смежное право изготовителя БД и отличается от авторского права на БД и хранимые в ней материалы. Это разные правовые сущности.

[@FreeMind2000]

«Странный аргумент. А на сайте они откуда берутся? Запрос направлен в БД.»
— Э нет, парсер не делает запрос к БД, парсер делает запрос к сайту, а откуда сайт берет информацию, парсер не обязан знать, может сайт генерирует данные на лету по алгоритму, может получает из какого-то другого сервиса… Сайт с точки зрения парсера(браузера) — это просто гипертекстовая страница имеющаяся в открытом доступе.

Но вы, так и не ответили на вопрос:

А что значит «парсер лишает сайт конкурентного преимущества»?

Ведь как раз когда пользователь может сравнивать цены разных магазинов — это и есть конкуренция, разве нет?

[@ElizavetaL]

Статья полезная, информативная. В самом списке законов касательно нарушений авторских прав противоречий довольно много, а подстраиваться все равно приходится. Что касается добросовестного выполнения работ самого сервиса, отличным примером будет allrival.com У них даже в разделе «вопрос ответ» о законности все написано.