Как стать автором
Обновить

Суд США полностью легализовал скрапинг сайтов и запретил ему технически препятствовать

Время на прочтение 3 мин
Количество просмотров 70K
Всего голосов 70: ↑69 и ↓1 +68
Комментарии 403

Комментарии 403

А Линкедину не достаточно ввести для просмотра форму с галочкой «я живой человек, а не компьютерная система»? Данные перестают быть общедоступными, и можно защищать их как хочешь.

Если бы они хотели, что бы профили перестали быть общедоступными, то они бы просто запрашивали авторизацию перед их просмотром. Но очевидно, что они хотят, что бы эти профили были именно общедоступными и индексировались популярными поисковыми ботами, но при этом были заблокированы для любых других ботов.

Вы не поверите, но есть союз «чтобы»
Вообще есть российская судебная практика на эту тему, Вконтакте судился с ООО «ДАБЛ» и FriendWork c HeadHuter, в обоих случая не в пользу тех, кто извлекал данные.

Если я правильно понял решение суда, только нельзя мешать сбору данных. И именно поэтому если они будут выдавать эту галку одной программе (боту яндекса или боту hiQ), но не выдавать другой (боту поисковой машины гугла), то это будет расцениваться именно как попытка помешать сбору. (Не грядёт ли новая политкорректность, но уже не в отношении машин: называйте негров афроамериканцами, не мешайте скрапингу и т.п.)


Поэтому вариант только один, озвучен комментарием выше: избавиться от общедоступных профилей вообще. Не знаю, готовы ли пойти на это?

то это будет расцениваться именно как попытка помешать сбору
Не просто попытка помешать сбору, а попытка помешать ведению бизнеса (контрактов бизнеса с клиентами).
Допустим:
— Доступ к сайту с авторизацией.
— Гугл делает у себя форму регистрации для сайтов в которую можно ввести данные
специального аккаунта для гугла, по которому он может ходить на сайт.
И вот боту гугла владелец сайта дал доступ, а боту hiQ не дал.
А что бы hiQ не использовал для этого человеческий аккаут, можно для обычных аккаунтов (не для аккаунта гугла) ввести ограничение на количество просмотров профилей в час/сутки… Обосновав это техническими ограничениями. Или выдавать эти данные в неудобном для автоматической обработки формате. И препятствием скрапингу это сложно назвать, всем пользователям так отдаются данные, это с гуглом особые договоренности.
Есть правда и неудобство, пользователям придется авторизовываться что бы что-то посмотреть.

Это может повлиять и на репутацию Гугла как поисковика, если не предпринимать специальных мер. Зачем мне поисоковик, при клике на результат в котором я не увижу ожижаемого результата, а увижу форму для регистрации?

будут скрапить кеш гугла вместо авторизации на вашем сайте, и что дальше?

X-Robots-Tag: noarchive и кеша гугла больше нет

Это как раз помеха сбору данных. Человек не умеет отправлять запросы по IP, поэтому он использует компьютер, на котором запущена специальная программа — браузер. И тут — внезапно — приходит понимание, что браузер — это клиент протокола HTTP, а скаппер — как раз такое клиент и есть, то есть он тоже браузер. И запускается этот браузер человеком (прямо или опосредованно) и в интересах и от имени человека.
Суд подтвердил понятную логику, что заход бота-скрапера юридически не отличается от захода браузера.

То есть вот эти фокусы будут как раз прямым препятствовавнием некоторым видам доступа к публичной информации и «злостным вмешательством в контракт».
Вы неверно понимаете термин «общедоступный» (в оригинале — public), это крайне распространенная ошибка. Речь идет не о тех данных, с которыми каждый может ознакомиться, сделав определенные шаги. Речь о данных, которые не защищены копирайтом (не имеют ограничений на использование).
Скажем, цена на билет — факт, она не может быть защищена копирайтом, это публичная (общедоступная) информация.
А, например, авторская статья с того же сайта о путешествиях — результат творчества, она защищена копирайтом (если намеренно не передана в общественное достояние).

Проблема конкретно с профилями соцсетей (не постами в них, замечу) — то, что содержимое профиля — тоже набор фактов, а не творческое произведение, соответственно, копирайтом эти факты защищены быть не могут.
Спасибо за пояснения. А если линкедин заставит пользователя ставить галочку «я передаю авторские права на содержимое моего профиля компании линкедин»? Прокатит?
Зависит от страны, но в России факты не могут быть защищены авторским правом. Вот если вы CV в стихам напишите или в виде художественного произведение, тогда да. Или я не знаю, авторское фото вставите или рисунок какой-нибудь и его тоже скопируют.
Опять же, нельзя запретить взять дату рождения. Хоть в ямб её оберните, хоть хокку. Т.е. у Вас в CV:
Родился в деревне
Января двенадцатого
Кучевые облака.

Это копировать к себе нельзя, но никто не запрещает выделить конкретную дату + год из никнейма и вуаля.
Я, конечно, не юрист, но где-то читал, что авторские права не могут быть переданы кому-либо, и закреплены за тем человеком или людьми, которые создали произведение.
Неспециалисты вечно используют термин «авторское право» там, где, на самом деле, следует говорить смежные права.
где, на самом деле, следует говорить смежные права.

Правильно говорить «права на результаты интеллектуальной деятельности, средства индивидуализации и смежные права» и ссылаться стоит на гражданский кодекс, а не википедию.

… при обсуждении решения американского суда в отношении LinkedIn? хаха.

Есть личные неимущественные авторские права, вот они не могут быть переданы, а имущественные могут. В личные неимущественные это право называться автором (или использовать псевдоним), запрет искажений текста или названия, который приведет к нарушению чести и достоинства автора (ну например, если редактор без разрешения сделает из вашего любовного романа отборную порнографию) и т.п.
Все остальные права — можно передать.

Опередили). Вообще даже те, кто сталкивался часто не понимают разницу между имущественными и неимущественными правами и все считают авторскими и от этого пляшут. Сам не юрист, но пришлось в этом разбираться

Чаще путают авторские права и право авторства :)

Ещё раз перечитайте мой комментарий, где я объясняю, что может, а что не может быть предметом копирайта. Нельзя передать права на то, на что они не распространяются с самого начала. Это, конечно, слегка различается в разных юрисдикциях, но общий принцип — только авторское творческое произведение может быть защищено.
НЛО прилетело и опубликовало эту надпись здесь

Нет, если эта информация является творческим произведением и не является фактом.
Собственно, это весьма ожидаемо, что такое решение суда желающими воровать чужой контент будет воспринято, как индульгенция, потому что они не хотят ни в чём разбираться, хотят воровать.

НЛО прилетело и опубликовало эту надпись здесь
Раньше ластик давал все эти данные через API без всяких проблем

Хм? Я как в 2013-м написал качалку картинок через API — так она по сей день и работает, разве что периодически приходится подпирать костылями вида image = image.replace('/i/u/300x300/', '/i/u/')


UPD: впрочем, я только после отправки комментария подумал о том, что могут быть нужны все фотки сразу — такого я в API таки действительно не видел

НЛО прилетело и опубликовало эту надпись здесь
Снимаю шляпу, решение и в правду внушает. Пойду позаимствую модель для своей задачи пожалуй…
UPD: Кэширование у вас там есть?
НЛО прилетело и опубликовало эту надпись здесь
А не проще было скрейпинг написать на чем-то типа javascript, python, lua и т.п. и отдавать вместе с URL, а собстенно работало бы это у пользователя на десктопе. Плюсы очевидны: меньше трафик к серверу и его загрузка.
НЛО прилетело и опубликовало эту надпись здесь
Ну API же был. Теперь нет. Значит, владельцы сайта не против того, что вы будете целиком их странички скачивать и время от времени «бомбить» сервера запросами. Вы же не против использовать простой эндпоинт, отдающий JSON, в т.ч. чтобы не создавать лишнюю нагрузку. А так — владельцы сайта ССЗБ, чего о них беспокоиться-то.

То, что пользователь загрузил какое-то изображение куда-то, и что вы его можете просто так посмотреть, вообще никак не означает, что изображение можно использовать хоть как-то ещё. Это вечное заблуждение. Вы можете быть несогласны с законом, но это не значит, что закон от этого перестает существовать.


Проще говоря, если что-то лежит у всех на виду, это не значит, что кто угодно это может взять и забрать себе.

Автоматически забрать получается можно.
А вопрос использования — это уже другой вопрос.

Нет, не так.
Публикация с целью предоставления другим возможности ознакомиться с изображением (посмотреть на него) подразумевает создание локальной копии только для этого.
А вот если вы начинаете "автоматически забирать", случается "копирование с целью создания подборки произведений". Это может быть легко запрещено лицензией.

Автоматически забрать — на грани между


При этом запись произведения на электронном носителе, в том числе запись в память ЭВМ, также считается воспроизведением.

и


Не считается воспроизведением краткосрочная запись произведения, которая носит временный или случайный характер и составляет неотъемлемую и существенную часть технологического процесса, имеющего единственной целью правомерное использование произведения либо осуществляемую информационным посредником между третьими лицами передачу произведения в информационно-телекоммуникационной сети, при условии, что такая запись не имеет самостоятельного экономического значения;

Оговорка про "не считается" заточена прежде всего под различное кэширование и логирование

НЛО прилетело и опубликовало эту надпись здесь
Скажем, цена на билет — факт, она не может быть защищена копирайтом, это публичная (общедоступная) информация.
А, например, авторская статья с того же сайта о путешествиях — результат творчества, она защищена копирайтом (если намеренно не передана в общественное достояние).
А вот интересно, как их различать?
Берите и продавайте доступ к своей статье за деньги (только кому она будет нужна).

Вы не понимаете разниу между "доступом" и, например, использованием (перепечаткой).

А вот интересно, как их различать?

Общепринятый способ — экспертная оценка


Берите и продавайте доступ к своей статье за деньги

Художественные, научные и т. п. тексты могут быть бесплатными, но тем не менее защищаться авторским правом. Или бесплатными для личного или образовательного использования и платными для коммерческого.

Набор фактов, но набор личных фактов. Нельзя ли автоматизированный сбор этих фактов подвести к "вмешательство в личную жизнь"? Особенно если собранные факты, проданные кому-либо, на эту личную жизнь по итогу повлияли?

Весьма сложно. Потому что конкретно в США есть понятие public records, в некотором роде, противоположное "личным данным" в смысле того, что по умолчанию такие данные — открыты. https://en.m.wikipedia.org/wiki/Public_records

Что-то мне кажется, что информация о том, где вы работаете и работали никоим образом не относится к public records.

Нет, но я этого и не имел в виду, речь шла о том, что многое, что, например, россияне или европейцы с недавних пор относят к "персональным данным", в США может относиться к общедоступным фактам, в том числе, потому что там совершенно другой подход к этому. Поэтому, ваша попытка проецировать российские реалии на американские — заведомо ошибочна.

Какие «российские реалии», вы о чем? Мы статью обсуждаем? Так статья про США и LinkedIn! При чем тут европейцы?
Скрапят LinkedIn, а там как раз где люди работают и работали.

Я о том, что вы употребляете термин, который существует в российской правовой системе, но не существует в американской.

Какой термин? Термин не Public Records вас устроит? Если вы сами что-то опубликовали в своем профиле Linked In не делает эту информацию Public Records.

Хватит уже прикидываться. Я о "личных данных".

так пользователи сами публикуют информацию о прошлых и нынешних работах, их никто не заставляет это делать
> информация о том, где вы работаете и работали
> никоим образом не относится к public records

Думается мне, что разрешение на получение информации зависит не содержания этой информации (дата рождения, музыкальные предпочтения, любимый цвет, котики или там собачки), а только от того — предоставил ли доступ к этой информации её владелец добровольно сам или не предоставил.
А если на странице будет прописан запрет на сбор этих данных и перепродажу — тогда как? А если запрет на сбор этих данных и перепродажу записан в пользовательском соглашении сайта? Нюансов очень много.
Если я напишу номер кредитки на заборе, это все равно не дает никому права воспользоваться этим, что бы себе что-нибудь купить.
Вы правы, воровать плохо, даже если это сделать легко. Потому что воровство противозаконно. И если условия контракта/соглашения, пусть даже добровольно или «добровольно» заключённого, противоречат законодательству, то они признаются ничтожными.
Т.е. не имеет значения, что там назапрещали или наразрешали в пользовательских соглашениях, если эти пункты противоречат закону (а решение суда в некоторых системах права равносильно закону).
Конечно, все эти споры и рассуждения имеют смысл лишь в юрисдикциях, где фактически происходит надзор за соблюдением и независимый суд.
НЛО прилетело и опубликовало эту надпись здесь
Если я напишу номер кредитки на заборе, это все равно не дает никому права воспользоваться этим, что бы себе что-нибудь купить

морального права не даёт
но банк договором обязывает вас хранить в секрете чувствительные данные и в случае их публикации по вашей вине снимает с себя ответственность за ассоциированные с этими данными средствами
да, я всё это только что сам придумал, но здравый смысл подсказывает что примерно так и обстоят дела или, по крайней мере, должны обстоять
> Нельзя ли автоматизированный сбор этих фактов
> подвести к «вмешательство в личную жизнь»?

А как можно это подвести к вмешательству в личную жизнь, если её владелец предоставил к ней общий доступ для неопределённого круга лиц добровольно сам?
Насколько я помню, копирайт тут не работает. Если вы выставляете информацию защищенную копирайтом на всеобщее обозрение, то не можете запретить отдельной категории пользователей (скрапботов) читать её. Вот воспроизводить — да, нельзя. А, например, строить на ней аналитику — запросто.
Проблема конкретно с профилями соцсетей (не постами в них, замечу) — то, что содержимое профиля — тоже набор фактов, а не творческое произведение, соответственно, копирайтом эти факты защищены быть не могут.
Конкретно в линкедине (да пожалуй и в любой другой соцсети) есть как минимум описательная часть профиля которую нельзя назвать фактами. Плюс — будет ли считаться фактом мое заявление что я закончил Гарвард если я его не заканчивал? Требования писать правду и только правду у линкедина нет. Я понимаю что значение факта в данном случае несколько отличается от общепринятого, собственно я и пытаюсь понять насколько сильно и как оно отличается.

Содержимое новостей, например, не перестает априори считаться фактом, даже если в конкретном случае там содержится ложь.

Примеров я могу и сам придумать, мне критерии интересны. У вас есть какое-нибудь хотя бы относительно формальное их описание?
Конечно, ГК РФ Статья 1259. Объекты авторских прав

Не являются объектами авторских прав:

4) сообщения о событиях и фактах, имеющие исключительно информационный характер (сообщения о новостях дня, программы телепередач, расписания движения транспортных средств и тому подобное).
Речь шла о понимании в США, не РФ. Это разные вещи все же.
Проблема с вашими примерами — в том, что вы не знаете, что защищает copyright, а потому не можете, на самом деле, ничего придумать. А я — понимаю, потому — могу, так чтобы проиллюстрировать, о чем идет речь.
А вам — вот сюда www.copyright.gov/help/faq/faq-general.html и далее по ссылкам.
What does copyright protect?
Copyright, a form of intellectual property law, protects original works of authorship including literary, dramatic, musical, and artistic works, such as poetry, novels, movies, songs, computer software, and architecture. Copyright does not protect facts, ideas, systems, or methods of operation, although it may protect the way these things are expressed.
Проблема с вашими примерами — в том, что вы не знаете, что защищает copyright, а потому не можете, на самом деле, ничего придумать. А я — понимаю, потому — могу, так чтобы проиллюстрировать, о чем идет речь.
Именно это я и пытался вам сказать — я не знаю и хочу у вас, знающего спросить. Спасибо за ссылку.
После ознакомления вопрос не решился. У них самих в FAQ говорится:
Copyright does not protect facts, ideas, systems, or methods of operation
и дальше:
See Circular 1, Copyright Basics, section «What Works Are Protected.»
Но в самом документе факты уже не упоминаются:
Copyright does not protect
• Ideas, procedures, methods, systems, processes, concepts, principles, or discoveries

Более того, я не нашел нигде причин по которым нельзя сказать что мое описание себя (если оно сделано более чем одной фразой или слоганом) не является литературной работой, а является именно фактом.
На всякий случай — я не пытаюсь сказать что вы в чем-то не правы, я хочу именно разобраться или хотя понять что нужно изучить чтобы разобраться.
я хочу именно разобраться или хотя понять что нужно изучить чтобы разобраться.

Не вопрос. Чтобы разобраться в какой точно момент информационный факт превращается авторское произведение (точнее когда можно с большой вероятностью выиграть суд по авторскому праву), нужно получить высшее юридическое образование в США и иметь лет 10 практики в области авторского права.

Нет, серьезно. Ваша идея это примерно «я ничего не понимаю в программировании, но расскажите, что можно изучить побыстрому, чтобы принимать правильные архитектурные решения при разработки приложений уровня фейсбука и поиска гугла».

Грубо говоря, если вы полностью исказите оригинальное описание и оставите только чистую информацию — вероятность проиграть суд будет небольшой, но я бы все равно проконсультировался вначале с грамотными юристами по авторскому праву США.
Чтобы разобраться в какой точно момент информационный факт превращается авторское произведение (точнее когда можно с большой вероятностью выиграть суд по авторскому праву), нужно получить высшее юридическое образование в США и иметь лет 10 практики в области авторского права.
Отлично. То есть чтобы создать сайт и не попасть потом под суд мне нужно сначала получить высшее юридическое в США. Это как-то не так должно работать на мой взгляд.
Ваша идея это примерно «я ничего не понимаю в программировании, но расскажите, что можно изучить побыстрому, чтобы принимать правильные архитектурные решения при разработки приложений уровня фейсбука и поиска гугла».
Моя идея немного о другом. Она о том — а как мне, без юридического образования в США, да еще и по конкретному профилю, понять а все ли я правильно делаю или мне завтра прилетит иск который разорит мой стартап? Варианта нанять нужного юриста у небольших фирм обычно нет, этот юрист будет стоить в десять раз больше чем вся остальная команда вместе взятая.
понять а все ли я правильно делаю или мне завтра прилетит иск который разорит мой стартап? Варианта нанять нужного юриста у небольших фирм обычно нет, этот юрист будет стоить в десять раз

А зачем нанимать? Часовая консультация юриста по авторскому праву стоит 200-300 евро в Европе, в США скорее всего чуть дороже, но все равно по сравнению с остальными тратами на открытие стартапа — копейки.

Вопрос в этом контексте стоит обратный: что, наоборот, является творческим произведением.

содержимое профиля — тоже набор фактов

Скользко… а если я в статус выгружу/вместо города проживания укажу свое стихотворение? Будет ли это нарушением моих прав, если его соскрапят?

Интеллектуальные права это всегда скользко.


Будет ли это нарушением моих прав, если его соскрапят?

Если соскрапят — скорее всего нет, если опубликуют — вероятно, да.


Но если вы начнете жаловаться или пойдете в суд, то с большой вероятностью все закончится, тем что ваше стихотворение просто удалят или выплатят символическую компенсацию, так как уровень выплат зависит от уровня ущерба, а сильно сомнительно, что вам удастся доказать, что случайная публикация вашего стихотворение нанесла вам ущерб на огромную сумму.

Стих содержал информацию интимного характера, не подлежащую огласке.
Моральный ущерб довольно-таки велик.
А еще мой бизнес-партнер собирался предложить сделку на 200 миллионов, но после прочтения моих од собачим ану носам, передумал.
Стих содержал информацию интимного характера, не подлежащую огласке.

Которую вы сами опубликовали на публичном сайте, доступном без регистрации.


А еще мой бизнес-партнер собирался предложить сделку на 200 миллионов, но после прочтения моих од собачим ану носам, передумал.

Он точно так же мог найти его в гугле, после индексации линкедина. Будете подавать иск на 200 миллионов на гугл?


P.S. Судиться вам никто не с кем не запрещает, но судьи же тоже не идиоты.

Наверное, вы правы.
Насколько я понимаю, от галочки данные не перестанут быть общедоступными. Общедоступные данные же по определению те, к которым может получить доступ любой человек.

Ещё проще можно сделать. Принять скрапинг ботом за "DDos атаку", т.к. она вызывает нагрузку мнржественными запросами. И разрешить сбор только вручную либо поисковым ботам на основании выделения им ресурсов.

Собственно в поисковых ботах и проблема — насколько я понимаю решение суда оно, по сути, говорит о том, что вы либо закрываетесь ото всех, либо открываете информацию для всех. Как только вы пытаетесь открыть информацию поисковикам, но закрыть для скрапперов — вы нарушаете закон, независимо от того что вы заявляете как причину. Но речь именно о доступе к информации, возможности построить бизнес на ДДосе и требовать не мешать у вас не появилось все же.
И любой запрос с такой галочкой будет содержать ложное утверждение, потому что запрос делает программа, действующая от имени человека, а не человек. И скаппер/граббер будет точно такой же программой: с точки зрения протокола, такая программа является браузером, инициирует запрос, а точнее — серию запросов, человек, то есть запросы идут от имени человека, запустившего эту программу. То есть либо такой запрос «с галочкой» будет ложным в любом случае, либо он будет истинным в любо же случае. Человек не умеет отправлять запросы по IP, он умеет только кнопки нажимать. Ну или слова произносить, если говорить о системах с распознаванием речи, или ещё как-то отдавать команды компьютеру.
4. Если на сайте есть пользовательская информация, то пользователь должен решать, можно ли эту информацию утаскивать.

П.С. А строчку «Да, это же его сайт» лучше бы расширить «Да, т.к. именно владелец сайта потратил время, силы, и деньги на сбор этой информации»
владелец сайта потратил время, силы, и деньги на сбор этой информации
Скорее не владелец, а пользователи. Владелец обеспечивает её хранение и распространение.
На ситуацию можно смотреть в контексте антимонопольных мер. Линкедин получил «естественную» монополию на доступ к профилям пользователей т.к. пользователи не захотят снова и снова вносить данные в другие системы. Напрашивается аналогия с монополиями на газовые трубы или электросети.
Нет не должен решать, если выложил в интернет, значит выложил для всех. Иначе всё это скатывается в монополии, что только гуглу можно парсить сайты, а вк хранить профили.

>именно владелец сайта потратил время, силы, и деньги на сбор этой информации
Потратил молодец, но это не означает, что теперь другие не могут переиспользовать открытую информацию и сделать на её базе что-то своё.
не должен решать, если выложил в интернет, значит выложил для всех


Во-первых, это довольно голословное утверждение: вы считаете что «значит выложил для всех», а я вот, например, так не считаю.

только гуглу можно парсить сайты, а вк хранить профили.

Гугл в итоге обеспечивает переход новых пользователей на ваш сайт из поисковой системы в отличии от ваших конкурентов, а если вы не хотите чтоб гугл ходил на сайт — просто отредактируйте директивы robots.txt
Равно как и если я храню информацию в ВК, я _против_ того чтобы кто-то эту информацию утаскивал и рассовывал по каким-то базам без моего ведома. Ибо информацию в ВК я могу скрыть, удалить, или изменить, а если эта инфа куда-то утекла — то мне некуда писать, чтобы они ее у себя удалили.

Во-вторых, представьте: например, я заключил договоры с 50 авиа, Ж/д компаниями и автобусными парками, и плачу им деньги за еженедельные выгрузки билетов. Потом выкладываю эту информацию на свой сайт для посетителей, и получаю доход с рекламы. Потом какая-то другая компания парсит мой сайт, и зеркалит все данные на свой сайт, и привлекает на него посетителей, и зарабатывает на этом.
Итого: я плачу деньги за информацию, которую у меня копируют, и на этих же данных выращиваются конкуренты, а я теряю доходы. Это несправедливо, откуда ни посмотри. Итогом такой работы станет закрытие моей компании, потому что у меня издержки на покупку/обработку данных гораздо выше чем у тех, кто эту инфу у меня тупо копирует.

Ибо информацию в ВК я могу скрыть, удалить, или изменить
Слово — не воробей. Если кто-то заскринил — вы всё равно ничего не измените. Базы хранят то, что Вы рассказали миру в прошлом, сохраняют историю Ваших публичных поступков.
мне некуда писать, чтобы они ее у себя удалили.
Вы не может заставить людей «развидеть» или убрать записи из своих дневников, например. Это Ваша репутация. Право на забвение в реальном мире отсутствует, мы называем это «репутацией». В виртуальном мире действуют те же принципы, что логично и справедливо. Люди должны иметь права вести записи о поступках других людей, и никто не должен их принудительно изымать.
я заключил договоры с 50 авиа, Ж/д компаниями и автобусными парками, и плачу им деньги за еженедельные выгрузки билетов
Зачем Вы это делали, если знаете, что эта информация не стоит своих денег? Суд США сказал, что Вы должны были получить эту инфу бесплатно, так что никакой несправедливости нет.
я плачу деньги за информацию
Вы заплатили монополисту за информацию, за которою он по справедливости не должен брать денег. В этом корень проблемы, а не в том, что у вас её потом тоже взяли. Получается ситуация «Я получил по голове, а Иван не получил! Не справедливо! Пусть Иван тоже ударится о стену!».
Итогом такой работы станет закрытие моей компании
Которая всё равно не делала ничего полезного для рынка, при условии что эта информация становится публичной и так.
Зачем Вы это делали, если знаете, что эта информация не стоит своих денег? Суд США сказал, что Вы должны были получить эту инфу бесплатно, так что никакой несправедливости нет.

Сама информация может быть и бесплатна, а вот скорость ее получения может быть не бесплатной. Например расписание автобусов на вчера мало кому интересно, если автопарк не озаботился выкладыванием оперативного расписания в интернет и решил вместо издержек на это поиметь прибыль за письмо раз в день с вложенным csv-файлом, то скрапить потом такое — не выглядит честным.

Кстати в этом свете интересно — на что должны жить новостные агентства, которые добывают и продают новости, но не занимаются публикацией? Ведь интернет-СМИ, которые их покупают, можно скрапить и банально копировать, чем все и занимаются.
можно скрапить и банально копировать, чем все и занимаются

Копировать сам текст статьи нельзя, это авторское право журналиста. А вот сам факт новости как запрещать? Ведь это реальный факт из жизни, ну скажем опубликовала газета Урюпинска условно «Алсу ждет ребенка» и что больше никто не имеет право повторять эту новость?
Я ни в коем случае не призываю что-то запрещать. Новостные агрегаторы(Яндекс, Гугл и другие) именно копируют тексты новостей, сохраняя ссылки и копирайт — вот и стало интересно, за счет чего в этом случае живут интернет-СМИ и новостные агенства? Агрегаторы им платят? Или только за счет переходов на сайт?
скорость ее получения может быть не бесплатной
Для этого есть fair usage и прочее. Проблема не новая и имеет решение в виде установленных фиксированных тарифов на использование инфраструктуры, смотрите газовых, железнодорожных и электросетевых монополистов.
Не понял вашего ответа. Как в описанном примеры с расписанием автобусов помогут fair usage или фиксированные тарифы? Человек выполняет работу, другой берет ее результат и делит доход первого пополам(условно). LinkedIn может себе позволить штат юристов для оказания административного давления на обидчика, а одинокому IT-шнику из Урюпинска что прикажете делать?
Linkedid обязан предоставить всем желающим доступ к public data на условиях fair usage. Аналогично тому, как компания-владелец железнодорожных путей принуждается к тому, что бы предоставлять их в использование сторонним компаниям за адекватную плату (не сильно выше себестоимости).
Аналогично с расписанием. Хотите заработать на сборе инфы с остановок — найдите покупателя, который заплатит за эту услугу. Или найдите способ сами заработать на этой информации так, что бы не скопировавший не делил Ваш доход пополам.
Значит, предоставляйте доступ к этой табличке за деньги и в условиях договора укажите, что распространять эту информацию нельзя. Или ещё что-нибудь в этом роде. В частности, именно так поступают магазины вроде LitRes: получают от автора книгу и продают право на скачивание, не передавая, при этом, покупателю право дальнейшей передачи.
Слово — не воробей. Если кто-то заскринил — вы всё равно ничего не измените. Базы хранят то, что Вы рассказали миру в прошлом, сохраняют историю Ваших публичных поступков.


Вы чутка разные вещи смешиваете: персональные данные, и общедоступную информацию: Европейский GDPR настолько злой закон, что сейчас миллионные штрафы могут начать прилетать фирмам за несвоевременное удаление моего аккаунта с какого-то их интернет-магазина. Да и законы «о забвении» что у нас, что в США есть, правда применяются у нас они довольно спорно.

Люди должны иметь права вести записи о поступках других людей, и никто не должен их принудительно изымать.

Вы имеете право вести запись о поступках других людей, кто бы спорил. Однако копировать и публиковать чужие записи о поступках людей вам нельзя (это охраняется копирайтами, и в решении суда США это оговаривается).

Зачем Вы это делали, если знаете, что эта информация не стоит своих денег? Суд США сказал, что Вы должны были получить эту инфу бесплатно, так что никакой несправедливости нет.

Во-первых, мне надо было связаться с каждой из 50 компаний-источников и сказать «разрешите нам получать от вас точные данные, а ещё пожалуйста апдейты при изменении расписания или цен». Это мой труд организовать всё это, верно? Либо надо писать 50 разных парсеров, которые будут ходить на сайты этих компаний и разбирать корявый фронтенд с пагинацией, брать эти данные, и в приводить к единому красивому виду. Это тоже труд, согласитесь?
И совсем крайний случай — если информация вся в открытых источниках — есть, в виде бумажки с расписанием, приходи да читай, на станции на стенде за стеклом приклеено это расписание. Фотографируй, копируй, велкам, потом распозновай, проверяй, и добавляй на сайт. Это ведь тоже мой труд?
И потом всю эту инфу — проверять и перелопачивать ежедневно — а вдруг в расписании изменения появились.

А потом приходит какая-то компания и просто копирует ту инфу, которую я с кучей сил и средств собирал, агрегировал, нормализировал.

В случае с Линкедином, я считаю, ситуация аналогичная — Линкедин тратился на разработку/тестирование, маркетинг, привлечение пользователей, хелпдеск, и тд и тп, чтобы эту базу данных собрать. А потом кто-то приходит, и делает бизнес на его данных. Единственный вариант как тут ему теперь придется бороться — создать аналогичное консалтинговое агентство, и продавать ту же аналитику но вдвое дешевле. Но вообще я думаю что линкедин ещё поборется в судах, и мы сейчас услышали не завершение матча, а только один из раундов. Все-таки штат юритов у них немалый.
есть, в виде бумажки с расписанием, приходи да читай, на станции на стенде за стеклом приклеено это расписание. Фотографируй, копируй, велкам, потом распозновай, проверяй, и добавляй на сайт.

Ну тогда по логике, вас должна засудить железная дорога, ведь это ее расписание. Так можно дойти до того, что каждая компания будет засуживать всех кто пытается взять любые данные.

Либо надо писать 50 разных парсеров, которые будут ходить на сайты этих компаний и разбирать корявый фронтенд с пагинацией, брать эти данные, и в приводить к единому красивому виду.

Тут есть проблема в том, что компании формально получается могут вас засудить даже если вы им рекламу делаете (ну по принципу, заработать чуток денег раз вы без спроса взяли), то есть получается на любую информацию (скажем, взять адрес фирмы с сайта) придется спрашивать разрешения или ждать исков. Если дойти до маразма, то чтобы опубликовать вообще любой факт, связанный с компанией, придется заключать письменный контракт. Например, опубликовали вы гневный отзыв покупателя, а вам иск от компании за раскрытие их данных.

То есть любая крайность плохая, если совсем завернуть рамки, то условно компания-перевозчик будет торговать своей информацией, мол расписания своих билетов я разрешаю публиковать только компании А и никому больше.В результате будут образовываться картельный сговоры и монополисты.
компании формально получается могут вас засудить даже если вы им рекламу делаете

А они так и делают. К нам иногда стучатся какие-то наркоманы и требуют удалить плакат со страницы фильма и им как-то пофиг, что (а) это «правомерное использование» (б) с той же страницы предлагают купить билеты на сеансы, т.е. им эта страница какие-то деньги и так приносит.

Для закона, в этом случае, приоритетно право людей распоряжаться продуктом своей деятельности. Даже если такое расположение противоречит, например, их личной выгоде.
В противном случае, был бы возможен бред, когда кто-то у кого-то что-то сначала украл (скопировал), а потом — предложил честную, с его точки зрения, цену, и пытался бы потом сказать, что никакой кражи не было, потому что он оставил владельцу некую сумму. Принцип двустороннего обоюдного согласия (контракта) при этом нарушается. Это снова анархо-коммунизм.

Вы чутка разные вещи смешиваете: персональные данные, и общедоступную информацию:
Я не смешиваю. Персональные данные — это данные, которые человек выставляет для обозрения только ограниченного круга лиц без права распространения. Информация в соцсети, которая выставляется для доступа любому другому пользователю соцсети — это не персональные данные.
Однако копировать и публиковать чужие записи о поступках людей вам нельзя
Можно конечно, если эти записи были получены не под NDA. Я могу записывать, кто себя как ведет из моих знакомых. И эти записи могу публиковать. Как и спрашивать у своих знакомых мнения о человеке, который им извистен, а мне — нет.
это охраняется копирайтами, и в решении суда США это оговаривается
где такое написано?
Во-первых, мне надо было связаться с каждой из 50 компаний-источников и сказать «разрешите нам получать от вас точные данные, а ещё пожалуйста апдейты при изменении расписания или цен». Это мой труд организовать всё это, верно? Либо надо писать 50 разных парсеров, которые будут ходить на сайты этих компаний и разбирать корявый фронтенд с пагинацией, брать эти данные, и в приводить к единому красивому виду. Это тоже труд, согласитесь?
Ну можно и за проход в парк Остапу Бендеру заплатить, это Ваше право. Никто не должен гарантировать Вам возможности поддерживать платежеспособный спрос на этот труд.
Линкедин тратился на разработку/тестирование, маркетинг, привлечение пользователей, хелпдеск, и тд и тп, чтобы эту базу данных собрать
И теперь обязан доступ к этой информации предоставить на правах fair usage близко к себестоимости, аналогично тому, как собственник жд путей должен их предоставлять в пользование другим транспортным компаниям.
где такое написано?

Это, сорри, не в определении суда, а в русскоязычном тексте статьи. Есть законы об авторском праве (копирайте). И наши, и зарубежные. Если вы напишете и опубликуете в интернете статью «О скитаниях вечных, и о Любви», то вы получаете авторское право на эту статью, и эту статью можно будет спокойно читать посетителям. Однако публикация этого произведения на других ресурсах запрещена, если явно не разрешена вами (или вашим издателем).
Вам, возможно, известный блогер Илья Варламов вкатил иски к 10 интернет-порталам за утаскивание фотографии котят из его блога. По цене 10 тысяч рублей за одну скопированную фотку. Вот такое вот законодательство.

Информация в соцсети, которая выставляется для доступа любому другому пользователю соцсети — это не персональные данные.

Немного не так. Вы путаете понятия «персональные данные» и «персональные данные, на обработку которых не нужно согласия субъекта».

Вот текст закона: «Персональные данные — любая информация, относящаяся к прямо или косвенно определенному или определяемому физическому лицу».
То есть ваше ФИО с адресом аккаунта в соцсети однозначно является ПД.
Также надо помнить, что если доступ к вашему профайлу доступен только пользователям соцсети, то это уже подмножество, то есть «ограниченный круг лиц» и это уже не общедоступные данные.

И, наконец, в _любой_ момент вы имеете право написать в _любой_ сервис который обрабатывает ваши ПД, и они будут обязаны удалить ваши ПД. Вне зависимости от того, получены они были из общедоступных источников, или нет.
И, наконец, в любой момент вы имеете право написать в любой сервис который обрабатывает ваши ПД, и они будут обязаны удалить ваши ПД.

С точки зрения законов РФ это неверно не совсем верно. Вы можете написать, а вот они удалить — не обязаны.
Например, банки обязаны хранить данные о клиентах в течение 5 лет — по какому-то закону о террористах/отмывании денег.
Другой пример относится к случаям, когда в законе явно прописано, что ПД можно обрабатывать без явного разрешения. В частности, при заключении (любого) договора не нужна отдельная бумажка на разрешение обрабатывать ФИО и другие ПД (в том числе паспорт), указанные в этом договоре. То, что такие бумажки собираются даже в библиотеке — перестраховка руководства. Пока действует мой договор с организацией, она имеет право обрабатывать мои ПД.

Например, банки обязаны хранить данные о клиентах в течение 5 лет — по какому-то закону о террористах/отмывании денег.

Это уже исключения, они отдельно в законе перечислены. Я же имел в виду компании, которые откуда-то взяли ваши общедоступные данные без вашего на то ведома.
И если например вам по телефону звонят и говорят «здрасьте, %ваше ФИО%, мы звоним вам из ООО „Лохотрон“, предлагаем вам записаться на курсы управления автоматическими навозоразбрасывателями».
То вы имеете право потребовать у этого ООО удалить ваши ПД из своей базы. Правда они скорее всего просто повесят трубку на это предложение )

Полностью согласен.
Я придрался к выделенным словам: далеко не любой сервис и не в любой момент обязан удалить данные. Список исключений довольно велик, хотя и ограничен условиями закона.


А придрался, потому что видел "гениев", которые наслушались неаккуратных цитат и призывают банк не звонить по кредиту, потому что я отзываю свое разрешение на ПД.

Например, банки обязаны хранить данные о клиентах в течение 5 лет — по какому-то закону о террористах/отмывании денег.

Ключевое слово здесь клиенты банка.
Если банк звонит с предложением лицу, никогда не являвшимся клиентом этого банка.
То такой банк может аналогично принужден законом ПД.
копировать и публиковать чужие записи о поступках людей вам нельзя
Речь не отом, можно ли копировать мои записи, а имею ли я право публиковать свои записи о других людях без их согласия. Если имею, значит другие люди, фактически, лишаются права на забвение. Базы данных могут хранить свои копии Ваших публичных заявлений и не обязаны гарантировать вам возможность их отозвать как это делает вконтакт.
Я знаю, что законы во многих странах формально дают право на забвение, но я считаю, что это фикция и явление временное так как противоречит здравому смылу. Этот смысл выражается пословицей «слово — не воробей».
Речь не о том, можно ли копировать мои записи, а имею ли я право публиковать свои записи о других людях без их согласия.

С этим вроде бы никто не спорил, ибо к сабжу не относится. Хотя и тут есть куча нюансов: одно дело, вы пишите репортаж о том, что Остап Бендер попал под лошадь — то за это вроде бы ещё не наказывают. Однако если вы напишете, что Остап Бендер имеет паспорт номер 4603 123456 и проживает на улице Золототельцвых Пилильщиков, д.12, а вдобавок что его папа — турецкоподданный, и ещё ему одинаково сексуально привлекательны и люди, и например, гуси — то все это будет разглашением и ПД, личной и семейной тайны.
С этим вроде бы никто не спорил
Вы спорили:
мне некуда писать, чтобы они ее у себя удалили.

если вы напишете, что Остап Бендер имеет паспорт номер 4603 123456
А вот это к разговору не относится, ведь мы обсуждали публичные данные, которые пользователи сами выставляют на публичное обозрение.
Ещё раз. Если мои персональные данные были взяты из общедоступных источников, это не значит что теперь кто угодно может их публиковать сколько угодно времени. По закону (откройте 152-й) оператор ПД, то есть тот, кто их обрабатывает, обязан удалять их по первому моему запросу, повторюсь, ДАЖЕ если если эти ПД были взяты из общедоступных источников.

Например, вы по своему недоразумению залили скан паспорта на файлообменник, чтобы передать товарищу, но не знали что все файлы на обменнике — публичные, и видны в каталоге /uploads/
Кто-то взял и скопировал ваш скан паспорта на свой сервер, также в открытую базу. Аргументация что ваш паспорт был взят из общедоступных источников не является валидной. Если администратор сайта не удалит скан паспорта, вы пишите хостеру, или сразу жалобу в РКН, и они выдают им предписание.
Если мои персональные данные были взяты из общедоступных источников
Не персональные данные. Про персональные данные речи не идёт. Речь идет о Ваших публичных заявления. То, что вы на площади кричали.
Я-то писал конкретно про персональные данные. А не про чьи-то публичные заявления :) Про удаление информации, которую я опубликовал во Вконтакте — мой телефон, ФИО, религиозную и политическую принадлежность.

Однако иной контент, если это например, «длиннопост», стихотворение, или видеоролик с моим котиком — то их тоже нельзя просто так брать и переопубликовывать на своих сайтах, ибо этот контент попадает под защиту закона об авторском праве.
Да, это не про персональные данные, но у любого результата интеллектуальной деятельности есть автор.

А то, что я кричал на площади — вы можете, конечно сохранить себе как репортаж, что мол втираю дичь на митингах, при условии что не будете переопубликовывать тексты моих, рассказанных на площади, стихов.

Публиковать свои политические взгляды ВКонтакте — все равно что прокричать из на площади. Удалению не подлежит.

все равно что прокричать из на площади


Сведения, касающихся расовой, национальной принадлежности, политических взглядов, религиозных или философских убеждений, состояния здоровья, интимной жизни — являются персональными данными.

Это — цитата из закона.

Удалению не подлежит.

Сведения о субъекте персональных данных должны быть в любое время исключены из общедоступных источников персональных данных по требованию субъекта персональных данных либо по решению суда или иных уполномоченных государственных органов.

Я уже писал, что знаю что мои взгляды в этом вопросе противоречат некоторым законам некоторых государств, но считаю что неизбежно, така как законны имеют внутренние противоречия.

НЛО прилетело и опубликовало эту надпись здесь
Я употребил слово «справедливость» когда отвечал человеку в его же терминах, намереваясь продемонстрировать внутреннюю противоречивость его аргументов, которые опирались как раз на «справедливость». Но вообще не вижу никакого противоречия в том, что бы говорить о справедливости в рамках либертарианской парадигмы. Справедливость не обязательно должна быть в рамках социализма.
так пусть и другие компании берут данные оттуда же, откуда беру их я, а не пользуются плодами моего труда. Разве с точки зрения уменьшения энтропии вселенной будет лучше, если билетных сервисов удобных не будет ни одного из-за того что все хотят нахаляву?
А они и не будут пользоваться плодами Вашего труда. Труд по сбору публичных данных станет вообще не нужным. Linkedin всё сам должен будет отдать, и не препятствовать.
Ещё раз, если проводить аналогию, то Ваша жалоба в том, что Вы купили кирпич (потратили силы на парсинг инфы, которая должна предоставляться всем желающим), и Вам обидно, что остальные не хотят Вам за это платить.
НЛО прилетело и опубликовало эту надпись здесь
О каком договоре речь сейчас? Между кем и кем? Речь сейчас шла о том, что Линкедин отказывается давать данные за какие-либо деньги. Говорит, что данные ихние и никому их продавать не хотят.
Анархо-каталисту я скажу, что антимонопольная служба — это добровольное объединение огромного числа агентов, которые договорились, что будут предавать полному остракизму тех агентов, которых посчитают монополиями, что приведет к их (монополий) немедленному разорению. А государство — это кооператив такой. Всем, кому не нравятся правила пользования сервисами компании «государство», оно предлагает полною свободу делать что угодно за пределами своих владений.
НЛО прилетело и опубликовало эту надпись здесь
Для этого надо будет показать, что таковое объединение вообще всегда неизбежно возникнет.
Надо для чего? Оно не неизбежно возникает, но возникло. Вполне в духе анархо-капитализма. Есть компания «государство» и департамент «антимонопольный комитет».
И лично я бы подвергал остракизму тех, кто в таком объединении участвует
Пожалуйста, только вас пока намного меньше и рыночная доля мизерная, и уровень организованности так себе, так что рыночного давления никакого и остракизму поддавать никого не можете. Что вполне соответствует духу анархо-капитализма :)
Я веду к тому, что анархо-капитализм уже наступил, мы в нем давно живем. Так получилось, что в нем образовались территориальные компании-монополии, которые называют себя «государствами», в этом и проблема анархо-капитализма — скатывается в монополии.
НЛО прилетело и опубликовало эту надпись здесь

А чем современное мировое социальное устройство не соответствует анкапу? Чем государство отличается от компании-монополии с отделом безопасности?

НЛО прилетело и опубликовало эту надпись здесь

Если не с вашего, то с согласия ваших родителей. Иммигранты так вообще не могут предъявить таких претензий. Они при въезде в государство подписывают полный отказ от всех прав, добровольно.

… это и есть контракт с компанией "государство". А что, безграничный капитализм :)

НЛО прилетело и опубликовало эту надпись здесь
Разорвать стандартный контракт с государством, эмигрировав из него. С монополиями всегда так, они вам стараются впихнуть кучу ненужных вам вещей вместе тем, на что у них монополия.
НЛО прилетело и опубликовало эту надпись здесь

Речь не о пользовании, а о доступе к инфе других пользователей. У линкедина монополия на эту инфу, такая же как у государства монополия на землю и насилие. Масштабы разные проблема одна.

НЛО прилетело и опубликовало эту надпись здесь

В условиях капитализма одинаково нельзя жить без какого либо ресурса — тот у кого его нет всегда проиграет тем, у кого он есть. Не важно, это земля или определенный вид информации.

НЛО прилетело и опубликовало эту надпись здесь
В долгосрочной перспективе — да. Ну как с железными дорогами. Промышленные компании к которых нет доступа к ЖД транспорту могут с теми, у которых есть?
НЛО прилетело и опубликовало эту надпись здесь

Или даже не эмигрировав, а просто выйдя из гражданства, не меняя место жительства. Другое дело, что процесс этот долгий и конкретно от армии скорее всего не защитит. Плюс международные конвенции, заботящиеся о том, чтобы число лиц вообще без гражданства стремилось к нулю. То есть нужно позаботиться сначала о наличии другого гражданства. Ну или убедительных для родного государства гарантиях его получения.

Уехать в страну, где нет службы в армии?

Проблема анкапа в том, что нет механизма сдерживания злонамеренных агентов, которые формируют государства и прочие монополии. В реальном мире не работает. История разрушения первобытно общинного строя и формирования государств — это история коллапса анархо-капитализма.

НЛО прилетело и опубликовало эту надпись здесь

Я предпочитаю не выводить никаких других слегка или сильно фантастических людей, а адаптировать идеи под тех, что реально существуют.

НЛО прилетело и опубликовало эту надпись здесь
Получилась либеральная демократия пока, все лучше наивного анкапа.
НЛО прилетело и опубликовало эту надпись здесь

Устойчивость либеральной демократии проверена на практике. Она есть, какая-то. Неустойчивость анкапа опровержена тем, что в мире все занято монополиями-государствами. Внешняя для государств среда вполне соответствует анкапу. Можно даже сказать, что либеральная демократия — это анкап + механизмы контроля и сдерживания за неизбежными монополиями, в первую очередь за государством. Разница только в степени и способах сдерживания

НЛО прилетело и опубликовало эту надпись здесь
что такое «популист»?
Назовёте какое-нибудь либерально-демократическое государство, которое прожило хотя бы столько же, сколько тот первобытный строй, на который вы ссылались чуть раньше?
Не назову, потому что первобытно-общинный строй просуществовал десятки и сотни тысяч лет, а самые первые государства появились, вероятно, не ранее 4500 BC. Но только какое это имеет отношение к теме обсуждения? Либеральная демократия хоть сколько-нибудь устойчива. Что будет препятствовать разрушению рынка при анархизме — неизвестно.
НЛО прилетело и опубликовало эту надпись здесь
Ну вот приходит человек и обещает всем богатства и трехчасовую рабочую неделю, или построить стену, или про врагов кругом.
Это определение не «популиста», а политика, который вам не нравится :)
Странно говорить, что строй A эту проверку прошёл, а строй B — нет, если случаи существования строя A дольше, чем B, неизвестны.
Случаи существования первобытно-общинного строя на современном техническом и социальном уровне неизвестны. Так что нет, первобытно-общинный строй не прошел проверку практикой, а либеральная демократия — прошла.
Почему?
Я могу утверждать, что она де-факто устойчива потому, что есть много примеров государств, где она держится многие десятилетия. Что важно, государства, где я согласился бы жить все в этой группе. Почему так происходит, что она устойчива? Я не могу сказать уверенно, не специалист. Это отдельный разговор.
Что мешает демократически выбрать набор людей, который будет активно закручивать гайки (что мы регулярно наблюдаем много где)?
Мешает то, что такая администрация начинает терять легитимность и рычаги власти — люди просто перестают исполнять волю администрации или начинают требовать за это большую плату. Это происходит не мгновенно и не резко, а постепенно. Становится трудно добиваться своего. В результате такую администрацию побеждает новая политическая группа, которая более склонна к приемлемому с точки зрения общества балансу между свободой и «порядком».
НЛО прилетело и опубликовало эту надпись здесь
Это выглядит как защита Чубаки
не выглядит. Наш диалог коротко:
Я: анкап не может быть стабилен, либдем относительно стабилен.
Вы: либдему меньше 300 лет, он нестабилен в сравнении с первобытно-общинным строем.
Я: в сравнении с первобытно-общинным всё нестабильно, но это не имеет значения, мне важна стабильность в сегодняшних условиях и при сегодняшних требованиях к техническому и социальному уровню жизни.
Вы: Вы отвлекаете от сути.
Я: оО.

Можно ваши критерии прохождения практикой?
Создается впечатление, что Вы намереваетесь меня утопить в несущественных вопросах (придираетесь). Что именно вызывает у Вас сомнения? Что либеральная демократия существует в течении десятилетий и нет никакой уверенности, что она перестанет существовать в ближайшие годы?
Монархия, коммунизм и тому подобное тоже держались в некоторых странах многие десятилетия.
Верно! Я и не говорил, что они нестабильны. При сопоставимой стабильности, либдем лучше вышеперечисленных социальных устройств, на мой взгляд.
Кто мешает при анкапе терять договорам/отношениям/репутации легитимность
Не знаю, я такого не говорил. А про рычаги власти я не понял вопроса. Какие рычаги власти, ведь администрации нет, есть только арбитраж?
НЛО прилетело и опубликовало эту надпись здесь
Пажжите, то есть, на первобытно-общинный строй как реализацию анкапа, которая в итоге развалилась, продемонстрировав неустойчивость анкапа
ссылался. Анкап/ПОС развалились вместе с социальным и техническим прогрессом, тут всё сходится. Анкап нестабилен по сравнению с либдемом при современных требованиях к социальному и техническому развитию, я об этом говорю. Под «анкапом» я подразумеваю то, как я понимаю мейнстримное определение из википедии и прочих попсовых источников. Думаю, что для продолжения дискусии было бы полезно, если бы вы сослались на конкретное определение анкапа, которое подразумеваете и его отличия от минархизма.
в тех странах, где мне хотелось бы жить, не либдем, а какая-то ерунда и пародия с кучей популизма.
Потому что жизнь многообразнее, чем те условия, в которых анкап был бы хорошей идеей :). «Либдем» учитывает то, что популизм и прочее — это часть жизни, с которой приходится считаться, а не игнорировать и притворяться, что это не существует. Популизм не противоречит либдему, это просто один из аспектов его существования, как радуга или ярость.
всё сообщество и есть власть.
В т.ч. монополия, скупившая землю кольцом (просто иллюстративный пример)? Кого саботировать? Монополию? Как это сочетается с NAP, правом на «неограниченную» частную собственность?

Если говорить коротко, то я считаю, что анкап — это внутреннее противоречивая идеология, которая говорит о том, что государство — зло, но не предлагает механизмов сдерживания его и игнорирует тот факт, что государство вполне себе вписывается в эту идеологию и существует в рамках ее принципов.

Государства в их нынешнем виде не вписываются в анкап — из-за того, что получили права на владение землями насильственным путём. Но согласен, что анкап не предоставляет внятной системы сдерживания. Это делает минархизм, который позволяет существовать государству как монолии на применение силы, но уполномоченной лишь обеспечивать защиту свободы договоров.

В рамках анкапа есть понятие первичного присвоения. Мне кажется, государства можно под это понятие подвести. Но вообще, мне кажется, не имеет значения, как была получена собственность государством, если нет препятсвий дня того, что бы такая ситуация повторилась. Минархизм — это совсем другая история, которая не так сильно отличается от современной либеральной демократии и вполне любопытна.

Да, хомстед есть, но это больше про освоение бесхозных ресурсов. Но забудем про землю, возьмём другой новый неосвоенный ресурс, например интернет. Поначалу это был дикий запад, вольница в духе анкапа. И что, государство сказало "ок, ок, вы ребята создали интернет, вы его освоили, развили как вам нравится, государство почти не участвовало — стало быть он весь ваш, я претензий не имею"? Или же теперь Интернет — это собственность государства, и оно нам его "арендует"?

Нет никакого интернета в отрыве от земли. Государство говорит: "вот эти сервера и провода стоят на нашей земле, и биты на их дисках нарушают наши внутренние правила. До свиданья"

НЛО прилетело и опубликовало эту надпись здесь
именно, потому анархия и фантастична.

Кроме того, это прекрасный пример того, как даже без государства в "анархической" среде быстро появляются монополии, которые стремятся уничтожить рынок: линкедин, епл и прочие.

Собственно, все эти монополии пытаются использовать поддержку государства. Без этой поддержки монополии не долго остаются таковыми.

В случае линкедин государство в лице суда блокирует монополию.

В данном случае оно не блокирует линкедин, а просто оставляет без поддержки.

без какой поддержки? Оно блокирует не линкедин, а его монополию, принуждая линкедин к предоставлению информации третьим лицам. Без государства линкедин просто заблокировал бы конкурентов по айпи и прочими тех. средствами.

Без силовой поддержки. Государство не принуждает линкедин предоставлять информацию третьим лицам, потому что линкедин и так это делает — обсуждаемая информация общедоступна, а конфиденциальная остаётся у линкедин. Государство просто не согласилось защищать требования линкедин и наказывать скрейперов от его имени, и сказало, чтобы линкедин отступил и не вмешивался в чужие дела.

не так. Линкедин активно препятствовал скрапперам, баня их по IP и обфусцируя данные. Линкедин не хотел давать скрепперам данные, даже за деньги, злоупотребляя монополией. Суд запретил им это делать.

Развязал войну Линкедин, своим cease and desist letter и угрозами позвать Большого Брата, в результате разборок Брата обратили против него. Если бы он молча обфусцировал данные и не бряцал оружием, на него бы не подавали встречный иск, и никто бы ему ничего не запрещал.

Все верно, и это согласуется с тем, что государство ограничило монополию Линкедин. Линкедин развязал войну ещё до юридических разборок — техническими препонами. Линкедин попытался развернуть наступление на юридическом фронте, но привлек внимание государства, которое ограничило его монополию. Не государство предоставило Линкедин эту монополию, она образовалась без участия государства. Просто линкедин решили попробовать её закрепить с помощью государства, но вышло наоборот, что говорит о том, что в данном случае государство выполнило свою созидательную функцию.

Монополии преспокойно разваливаются сами по себе, без участия государства. Классический пример: к моменту, когда в США придумали и ввели антимонопольное законодательство, монополия Standard Oil (который и спровоцировал принятие этого закона) уже "сама своими силами" потеряла огромную часть своей рыночной доли, так что из закона вышел популистский пшик.


Так что я глубоко сомневаюсь в результативности борьбы государств против монополий, но зато абсолютно уверен в активном участии государств при создании монополий.

Вдобавок, Линкедин не монополия, так как на рынке труда есть множество других брокеров. Они крупные, да, но они не монополисты. И судил их не антимонопольный комитет.

Речь не о монополии на брокерские услуги, а на информацию пользователей. Смотрите контекст.

Линкедин не является монопольным владельцем информации о пользователях. Юридически он даже просто владельцем этой информации не является — информация, предоставленная пользователями Линкедину, продолжает принадлежать пользователям. Линкедин её не покупал, никак не отчуждал, и не может запретить пользователям отдавать ту же информацию конкуретнам. Так что в каком месте он монополист, я так до сих пор и не понимаю.

Уже обсуждалось здесь. Не информации, а доступа к ней. И пользователи не будут повторно вводить ее в других сервисах по историческим причинам и из-за демпинга со стороны линкедин. Точно как сеть электроснабжения: теоретически можно построить вторую, но на самом деле нереально, даже если поставщик сильно (не бесконечно) зависит цены на поставки.

И пользователи не будут повторно вводить ее в других сервисах по историческим причинам и из-за демпинга со стороны линкедин.

"Не верю." (с) Допустим, Линкедин яростно демпингует и становится монополистом. Дальше что? Как он монетизирует своё монопольное положение? Поднимет цены на заоблачную высоту, чтобы отбить расходы, и понадеется, что не возникнут альтернативные площадки, и что пользователи не потекут на эти другие площадки, как вода сквозь пальцы? И что же их удержит — необходимость повторно ввести биографические данные и заполнить резюме?


Даже если пользователю лень самому вводить данные на нескольких площадках, то появятся сервисы, которые будут делать это за него: "Введите данные у нас один раз бесплатно, а мы разместим их в Линкедин, в Глассдор, в Хедхантерс и ещё в 100 других мест — в 2 раза больше мест, чем делают наши конкуренты!".

Как он монетизирует своё монопольное положение
он уже его монетизирует, также как и фейсбук.
что же их удержит — необходимость повторно ввести биографические данные и заполнить резюме
да, этого достаточно что бы одолеть всех конкурентов.

Если уже сейчас, при низких ценах, он монетизирует себе в прибыль, то это не демпинг по определению. Это эффективность. Если некто отгрызает большую долю рынка за счёт большей экономической эффективности — то это хорошая, правильная монополия. Иначе вы будете натравливать антимонопольный комитет на каждого, кто изобрёл то, чего никто ещё не изобретал, и поэтому весь рынок — его.


Если же он демпингует в убыток, то однажды ему придётся задрать цены. Но рынок брокеров и IT вообще слишком текучий, нет проблем [вос]создать ещё 100500 систем сбора и обработки резюме за считанные дни и поставить цены ниже монопольных. Никакого бюджета не хватит демпинговать вечно.

Это стандартный механизм удержания монополии: демпинговать там, где могут вырасти потенциальные конкуренты и задирать цены там, где есть возможность. Линкедин предоставляет как минимум две услуги: распространение сырых данных и анализ этих данных. Цены на услуги анализа линкедин занижает, а за распространение данных — завышает (до бесконечности). Это не экономическая эффективность, а, в значительной мере, удача. Майкрософт просто купил монополию на данные в виде линкедина и теперь злоупотребляет этим аналогично тому, как они делали с парой Windows/Explorer, Windows/Office и т.д.
Цены на услуги анализа линкедин занижает, а за распространение данных — завышает (до бесконечности).

В каком смысле? Вы где-то видите прейскурант с "Access to personal data — $∞"?


монополию на данные в виде линкедина

У Линкедина нет монополии на собранные им данные, кто угодно может собрать те же самые данные (и собирают), и Линкедин не может этому воспрепятствовать. Корпорации не используют исключительно Линкедин для подбора персонала. Люди не используют исключительно Линкедин для подачи резюме. Линкедин на вершине хайпа, но он не может начать получать монополистической прибыли, поставив цены выше рыночной, потому что даже сейчас у Линкедина есть куча конкурентов, которые собирают и обмениваются персональными данными.

НЛО прилетело и опубликовало эту надпись здесь
орган, которому вы делегируете выполнение договоров?
это называется государство. Минархизм, с моей точки зрения, это подвид либеральной демократии.
НЛО прилетело и опубликовало эту надпись здесь
Кто мешает этому органу разрастись до неприличия?
общественные институты, снижение легитимности по Веберу, нежелание граждан соглашаться и оказывать администрации поддержку, саботаж, протесты, политическая конкуренция.
НЛО прилетело и опубликовало эту надпись здесь
Работа которых контролируется государством
это более сложное равновесие. Ещё вопрос кто кого контролирует. На самом деле, конечно, все контролируют всех, либдем — это распределенная система взаимного сдерживания.
Вот прям само по себе?
Почему само по себе? Я же приводил конкретные механизмы снижения легитимности, «механистические» последствия, и то, как они приводят к возникновению в обществе negative feedback loop и, в конечном итоге, откручиванию гаек. Я писал про саботаж администрации, возрастание цены на лояльность, протесты, вот это вот всё. Если гарантия, что оно всегда будет хорошо работать? Нет, life is hard.
Всё прямо как при напчике.
При напчике нет администрации, некому оказывать поддержку/саботировать. При напе администрация заменяется монополиями, на которых нет управы т.к. насилие запрещено, ведь монополии не нарушают NAP.
Проблема с NAP'ом на самом деле одна, и очень очевидная: что такое агрессия.
согласен что проблема, возможно не одна.
скупать землю вокруг города, как у вас в соседнем примере, чтобы лишить людей хлеба — агрессия
тогда становится неясно, чем анкап отличается от либдема/минархизма и зачем городить новое понятие.
НЛО прилетело и опубликовало эту надпись здесь
можно эффективно закручивать гайки при всех формальных элементах либеральной демократии.
я с этим и не спорил, life is hard. Ну и ещё не вечер. Вопрос в том, как сделать лучше и не привлекать сверхъестественных сил, как делают коммунистические идеологии. С моей точки зрения анкап — такая же наивная идея, как коммунизм.
зачем ограничиваться либдемом, если можно придти к более универсальному анкапу?
Я не вижу никаких причин считать, что анкап универсальней. И я не один, моя критика банальна и была ранее озвучена либертарианскими авторами.
анкап тоже не панацея и не серебряная пуля.
Вопрос в том, лучше ли он того, что есть (либдема).
все действия монополий не нарушают NAP
Я не про все, а про вполне конкретные. Пример с «осадным» кольцом не нарушает принципов NAP на первый взгляд, но я бы не хотел в такое кольцо попасть.
вы оставляете за собой свободу не отдавать контролирование выполнения договоров и/или выполнения базовых функций (а какие, кстати, базовые?) конкретному государству
Обычно сторонники анкапа говорят не про конкретное, а вообще любое государство, потому и «anarcho». Если Вы за возможность смены государств, то это скорее минархизм и я с Вами согласен.
Вы немного замели под ковёр там.
Воу-воу, давайте без обвинений.
Дайте определение анкапу!
минархизм ⊂ анкап
на какие определения вы ссылаетесь? В чем отличия между минархизмом и анкапом?
Some minarchists argue that a state is inevitable, thus believing anarchy to be futile.
То есть некоторые либертарианцы считают, что минархизм и анкап — взаимоисключающие устройства. Даже статья про минархизм на википедии пишет о том, что минархисты считают, что анархо-капитализм невозможен т.к.
it is not sufficient to enforce the non-aggression principle
НЛО прилетело и опубликовало эту надпись здесь
На формальную логику.
Что бы это понять, нужно знать, как вы определяете минархизм и анкап. Минархисты часто считают анкап несовместимым с минархизмом и с реальной жизнью вообще. Так что нельзя просто так сказать «это очевидно из формальной логики». Не очевидно.
принимать NAP за основной принцип
NAP является основным принципом целой кучи идеологий. Это не значит, что они все совместимы с анкапом. Анкап — это не только NAP. Дайте ссылку на то определение анкапа, которое вы подразумеваете. Оно, видимо, какое-то своеобразное и не совпадает с мейнстримными анкап-идеологами.
На определённой территории вы по общей договорённости можете хоть монархию, хоть коммунизм устраивать.
Вебер говорит нам, что так и есть сегодня, что почти все государства либо имеют признанную гражданами политическую структуру, либо переживают революцию. Большинство успешных с моей точки зрения государств не находятся в активной стадии революции. Они живут при анкапе?
НЛО прилетело и опубликовало эту надпись здесь
Всё остальное из него вытекает.
Это очень спорно, минархисты считают, что запрет на государство не вытекает из NAP. Я уже цитировал источники, где пишут, что анкап выступает строго против государства.
Я не могу уехать в Сибирь
Потому что Сибирь находится в собсвенности компании «РФ». Переезжайте в другую компанию или Антарктиду/океан/остров. Чем существование компании «РФ» нарушает анкап? Насилием? Так оно «добровольное», как вам скажут в администрации компании. Где в анкапе тот механизм, который сможет предотвратить злоупотребление термином «добровольный»? Нет его. В либдеме есть, возникает в результате отчуждения гражданами «неограниченных» прав на собственность, что, конечно, противоречит анкапу.
Но минархизм ⊂ анкап.

Логически это так, но практически тут встаёт вопрос легаси и технического долга — я не вижу плавного ненасильственного перехода от текущего строя к анкапу, которому бы не предшествовал минархизм, а насильственный противоречит самой идее анкапа. Если таковой переход начнёт осуществляться, то, думаю, он остановится на минархизме (возможно, в виде сильного ИИ в качестве гаранта).


кто мешает государству при минархизме разрастись?

Например, короткий и недвусмысленный свод законов, который бы явно запрещал добавления/изменения, противоречащий базовым принципам. Разрастание государства при либдеме происходит в основном за счёт бешеного принтера, печатающего всё больше регуляций Богу Регуляций. Вот хотя бы эту практику конституционно запретить.

Я согласен с Вами в части про переход, остановку и сдерживание.
Я не уверен только на счет тонкостей определений. Если я правильно понимаю мейнстримные определения, то минархизм и анкап — это подмножества либертарианства, при чем минархизм — это не часть анкапа, расхождения именно в том, что минархизм за, а анкап против (минимального) государства.
Anarcho-capitalists seek complete elimination of the state in favor of privately funded security services while minarchists defend night-watchman states which maintain only those functions of government necessary to safeguard natural rights, understood in terms of self-ownership or autonomy.
НЛО прилетело и опубликовало эту надпись здесь
За выполнением которого следит… Кто?

Все. Если свод законов мал, и большинство считает, что это благо и правильно, то любая попытка любой группы интересов протащить для себя лишний закон будет очень заметна и вызовет возбуждение в народе и обвинения в нарушении конституции. В отличие от либдема, где законов столько наплодили, что плюс-минус дюжина роли не играет, у народа насыщение и апатия.

НЛО прилетело и опубликовало эту надпись здесь
Я не сказал «постулирует», я употребил слово «говорит».
Anarchism is a theory of society without the state… anarcho-capitalists oppose the state
Анархо-капитализм не исчерпывается NAP
НЛО прилетело и опубликовало эту надпись здесь
на сколько я могу судить, это немейнстримное определение анкапа для тех людей, кто себя причисляют к его сторонникам. Так как вы говорите обычно определяют либертарианство в целом.

Мне весьма любопытно в контексте всей этой ветки, где анархо-капитализм соотносится с первобытно-общинным строем, как это у вас получается, если этот строй практически везде и всегда имел и имеет племенной уклад со всеми элементами этой структуры, для своего уровня развития — весьма авторитарной?
Также добавлю, что философия, лежащая в основе анархо-капитализма, весьма сильно пересекается с тем, как люди с пассивно-агрессивными чертами рационализируют свое поведение (включая, например "альтернативные" наивные способы принуждения через стыд). Мне, например, по этой причине, довольно сложно относиться к этому серьезно.

Также добавлю, что философия, лежащая в основе анархо-капитализма, весьма сильно пересекается с тем, как люди с пассивно-агрессивными чертами рационализируют свое поведение (включая, например «альтернативные» наивные способы принуждения через стыд). Мне, например, по этой причине, довольно сложно относиться к этому серьезно.


Почему она с этим пересекается и почему вам из-за этого сложно относиться к этому серьезно? У анкапов нет никаких проблем с пассивной агрессией, включая наивные способы принуждения через стыд.
:). Если серьезно, то анкап не исключает определенный «авторитаризм» в рамках экономических отношений и наёмного труда. Так что тут не такие уж большие расхождения. А на счет наивности анкапа я согласен. Впрочем, критика анкапа которую я привожу совершенно неоригинальна и была уже многократно озвучена «видными» минархистами и прочими либертарианцами.
> Между линкедином и агрегатором.

Вы том-то и проблема, что линкедин отказывается продавать информацию по разумной цене. Не хочет заключать контракт на скрапинг.
НЛО прилетело и опубликовало эту надпись здесь

Аналогичен ответ и тем, кому не хочется заключать контракт на условиях государства. Щито поделать.

НЛО прилетело и опубликовало эту надпись здесь

Есть вариант разорвать контракт с государством и переехать. Правда это не очень комфортно. Аналогично с линкедин. Можно, но неудобно очень.

НЛО прилетело и опубликовало эту надпись здесь
Не так же, а иначе, но принцип тот же. Монополия создаёт неудобства и навязывает услуги, которых не просили, но отказаться нельзя.
НЛО прилетело и опубликовало эту надпись здесь

Монополист по производству хлеба вполне может появитьсяи и без государства. Как и монополист по доставке газа, электроэнергии и т.п. Вообще механизм появления государства в рамках анкапа очень прост: организация местных агентов покупает большой кусок земли и устанавливает на нем свой закон. Обратного пути у этого процесса практически нет. Дальше соседние компании под предлогом угрозы со стороны нового соседа повторяют трюк. Так мы прошли средневековье и образовали национальные государства.

НЛО прилетело и опубликовало эту надпись здесь
скупив плодородную землю и/или торговые пути в достаточном количестве. Достаточно просто купить землю по периметру города.
Для этого нужно согласие жителей куска земли.
1) Жители != владельцы
2) Не нужно в рамках первоначального присвоения.
3) Кто сказал, что оно не было получено? Есть куча стран, в которых проводились референдумы о независимости. Вот вам и разрешение и акт добровольного оформления кооператива. Но вообще это, конечно, мои наивные рассуждения в вакууме, на самом деле есть механизмы легитимации власти и среди них нет насилия. Так что выходит, что практически все государства — это добровольные кооперативы.
НЛО прилетело и опубликовало эту надпись здесь
Или там, не знаю, можно ещё пришельцев попросить.
скупить землю кольцом несопоставимо проще.
совершенно нереалистичные сценарии
что нереалистичного в монополиях основанных на больших объемах капитала? Монополия — это один из очень эффективных способов максимизировать личный профит. Если я куплю землю кольцом вокруг города, то я смогу получить ВЕСЬ добавленный продукт тех, кто внутри кольца. У них просто выбора не будет, т.к. без моей услуги они не проживут, а я её продам только за ту цену, больше которой они не смогут заплатить.
Ну значит всё, нет вопросов.
и зря. Вы спросите окружающих, они хотят разрушения государства, в котором живут? Не хотят, т.к. считают, что оно для них полезно. Вот и согласие.
Если я куплю землю кольцом вокруг города, то я смогу получить ВЕСЬ добавленный продукт тех, кто внутри кольца

Не только продукт, а скажем за поставки еды или возможность покинуть город жители могут заплатить вообще все чем владеют и еще в долги влезут.

Если я куплю землю кольцом вокруг города,

Даже не объязательно покупать всю землю, достаточно просто договорится со всеми кто землей владеет (им монопольные цены тоже очень выгодны), а потом поделить сверхприбыль на всех владельцев. И так с любыми возможными видами монополий, договорится и назначить сверхцены очень выгодно.
НЛО прилетело и опубликовало эту надпись здесь
Однако, схожие сценарии, хоть и в меньшем масштабе вполне реальны уже сейчас. Когда всякими махинациями скупается земля вокруг населённых пунктов/с единственными подъездами, а затем начинает браться мзда.
НЛО прилетело и опубликовало эту надпись здесь
>Я ни разу про такое не слышал, можно пример? И, собственно, если это возможно уже сейчас, то хуже вы точно не делаете такими принципами.

Из недавнего (схожих случаев на самом деле сотни):
finance.rambler.ru/other/42480285-shlagbaum-razdora-v-lenoblasti-za-vezd-v-poselok-s-zhiteley-trebuyut-dengi
www.vesti.ru/doc.html?id=2894238

Сейчас это худо бедно оспаривается в суде (хоть и не всегда) или другими путями. И происходит всё на мелких масштабах, т.к. на больших никто не даст до такого довести. Так что есть куда стремиться в плане «хуже»)
могут научиться переправлять его по воздуху или под землёй

Тоннели под вашей землей это нарушения вашего право собственности (иначе получается каждые может качать вашу нефть просто сделав тоннель). Да, и копать тоннели не быстро и не дешево. Стоимость доставки хлеба вертолетами будет настолько золотой, что на цену особо скажется. Кстати, а разрешает ли в вашем строе пролет кого угодно над вашей же территорией? По идее это же тоже ваше пространство (ну до спутников), иначе каждый повесит дирижабли с рекламой в пространстве города, к примеру, или устроит полеты сверхзвуковых самолетов над вашим парком развлечений.

И да, моя интерпретация слова посередине в аббревиатуре NAP позволяет считать это агрессией

Тогда агрессией будет считаться все что попало. Заблокирован единственный выход к морю — агрессия, заблокирован доступ к пресному единственному озеру в пустонной местности — агрессия и т.д.

Я ни разу про такое не слышал, можно пример

Пример. Россия провела кучу войн для свободного торгового коридора до Черного моря и морского порта на Севере, так как без этого торговлю всем подряд обкладывали дикими поборами. По принципу неагрессии варианта решить вопрос силой уже не будет.
НЛО прилетело и опубликовало эту надпись здесь
Просто тут вместо закона некий универсальный этический принцип, поэтому специального обучения для его интерпретации не надо

Наоборот, универсальный этический принцип каждый будет интерпретировать как ему удобно. Удобно вырезать соседей потому что они заняли выход к морю — значит это была агрессия.

Ничего нового, есть законы, а есть специально обученные люди, чтобы эти законы интерпретировать

Ничего нового, просто война для продвижения своих экономических интересов, потому каждая сторона будет интерпретировать законы как им удобнее — кроме войной это не решается. В общем, все опять сведется к праву сильного уничтожать экономику слабого.
НЛО прилетело и опубликовало эту надпись здесь
потому что если вы вдруг проинтерпретируете так, что в общественном консенсусе уже ваши действия будут агрессией, то вам будет неприятно.

Ну я купил землю, где находится единственный выход к морю у десятка миллионов человек и задрал цены на провоз товаров в десятки раз. Очевидно, они захотят отобрать у меня эту землю и так как их большинство вполне смогут. Но получается, что вообще любое большинство сможет отбирать все, что считает несправедливым.

Уничтожать нельзя, уничтожать NAP не даёт.

А как называется если у меня отберут возможность собирать плату за пользованием своей землей или заставят устанавливать те цены, что им кажутся справедливыми?

Представим простой мысленный эксперимент, есть два города один из которых производит товары, другой продовольствие и я контролирую единственную дорогу между ними. Я пропускаю свои товары бесплатно, а за чужие не пускаю или требую стократных пошлин. Мои предприятия зарабатывают, а чужие разоряются (всякие перевозки вертолетами — явно сделают цены других неконкурентными).

Я скупаю все пахотные земли и все фабрики в каждом из городов и в какой-то момент владею вообще всеми предприятиями, без пахотных земель, без средств производства и без денег конкуренты не смогут конкурировать с моими товарами, даже если к тому моменту сделают дорогу или прокопают тоннель (как с голыми руками наладить производство, ну, скажем, процессоров для компьютера? Да и в горшках крайне сложно вырастить пшеницу, к примеру).

Вместо свободного рынка — получили экономику одного царя, который может просто к примеру уморить тех кто ему не нравится голодом (без всякого насилия, просто уволив их и подняв цены на продукты).
НЛО прилетело и опубликовало эту надпись здесь
На практике у вас скорее не получится скупить всю землю вокруг города так, чтобы сомкнуться плотным кругом. Хотя бы даже потому, что маргинальная стоимость каждого следующего метра кольца всё выше
если скупать землю открыто. Можно делать это через подставных лиц, так что бы лягушка не заметила поднятия температуры.
сценарии должны быть хоть немного реалистичными?
На самом деле, в мире огромное количество ресурсов, на некоторые из них рано или поздно устанавливается (м.б. локальная) монополия. В большинстве случаев это не позволит поработить города сразу, но позволит получать маржу на порядки выше всех остальных агентов. Полученные деньги пойдут на наращивание монополий, в результате анкап превратится в ресурсные диктатуры.
есть законы
это минархизм. Законы, которые позволяют ограничить право собственности при каких-либо остоятельствах противоречат мейнстримному определению анкапа, если я его правильно понимаю.
это, конечно, вопрос общественного консенсуса.
Но тогда сразу разваливается идея анкапа, ведь никакого неограниченного права собственности больше нет, оно ограничено интересами соседей.
Чтобы больше никто не мог продать туда хлеб?
Да.
Но зачем?
Что бы быстро и легко заработать на торговле огромный капитал и ни в чём не отказывать себе, детям, внукам…
У вас не производитель хлеба получается, а
… монополия, кои постоянно возникают даже в современных государствах, и против которых общество с переменным успехом ограничивает, отбирая у них права распоряжаться своим имуществом без оглядки на остальных.
какой-то суперзлодей из комиксов
Суперзлодей — это фанатик, который стремится к разрушению. Мой монополист стремится легко и быстро разбогатеть. Это совершенно разные мотивации. Вообще лучше избегать аналогий в аргументации, если не все стороны с аналогиями согласны.
могут научиться производить хлеб внутри города
не могут, им нужно брать воду и удобрения откуда-то. Кроме того есть вопрос времени, что они могут не успеть наладить производство за 60-90 дней.
могут научиться переправлять его по воздуху или под землёй
а воздушноеи подземное пространство я не купил кольцом? Почему? Кто мне запретил?
замучаетесь всё скупать
Договорюсь с подельниками, для начала можно маленький городок окружить, тысяч на 10-100 жителей.
Это какое-то очень нерациональное вложение средств.
Не, ну ничего себе, получить компанию с прибылью размером в ВВП стотысячного города просто скупив пару сот гектар земли.
скупить землю кольцом несопоставимо проще

Мир не плоский, он многомерный. Люди извнутри кольца могут коммуницировать с теми, кто снаружи. Скупка земли вокруг города приведёт к тому, что товары в блокадное кольцо будут возить самолётами или придумают другие способы контрабанды. Если монополист будет сбивать самолёты — огребёт за агрессию. Если будет ловить контрабандистов и выдворять за кольцо — будет тратить слишком много ресурсов, и выгоды в конечном итоге не получит.


Кроме того, в современной мировой практике принято предоставлять право проезда по трерритории (сервитут), тот кто полностью запретит у себя сервитут получит порицание от других сообществ.

Вы, наверное пропустили контекст вопроса. Подразумевается наступление анкапа с внедрением NAP и полным и неограниченным правом честной собственности. В таких условиях все приведенные Вами меры противодействия невозможны. Мы уже обсудили их в этой ветке, смотрите ниже.

Да нет, не пропустил. Я как раз о том, что будучи связанным по рукам NAP, монополист не сможет так же легко воспрепятствовать передаче хлеба осаждённым, как он мог бы это делать без NAP. Ему придётся применять нечеловеческие усилия и дорогие меры, чтобы избежать насилия против всех тех масс перевозчиков, которые окажутся привлечёнными повышенными наценками за перевоз через кольцо и будут просачиваться через границу в тысяче мест. Ему придётся охранять весь периметр в режме 24/365, что дорого. В это время его конкуренты, торгующие свободно и не несущие затрат на осаду, будут развиваться и опережать, создавая для него экзистенциальную угрозу. В конце концов ему придётся самому организовать коридоры безопасности, чтобы избежать дорогих тяжб со всеми, кто пострадал на его территории.

Эти аргументы тоже уже обсуждали (см. посты vedenin1980). При таком широком понимании «агрессии» возникает две проблемы
1) каждый будет трактовать её в свою пользу, по-разному
2) никакой речи о фундаментальном для анкапа принципе неограниченного права собственности идти не может. Всегда можно сказать: «твоя собственность — это агрессия против меня».
будут просачиваться через границу
Не будут, нарушение NAP и права собственности, то же самое с самолётами и подкопами, право собственности их запрещает. Контрабанда — это агрессия, выходит не анкап, а война всех против всех.
Даже так исторический опыт показывает, что осада часто бывает выгодным делом. Возможно этот опыт не применим при сегодняшних технических реалиях, но только против «сильных». Задушить городишко вполне можно. Городишко за городишком…

Возможно, общественный консенсус будет таким, что отказ в сервитуте (праве свободного прохода) к смежной территории (или к мировому рынку) будет расцениваться как агрессия и нарушение права свободной торговли. Типа как если я запру вас в своей комнате без еды и воды, то даже если я не трогаю вас и пальцем, я всё равно нарушаю ваше естественное право на свободу передвижения.


(это ответ и vedenin1980)

что отказ в сервитуте (праве свободного прохода) к смежной территории (или к мировому рынку) будет расцениваться как агрессия и нарушение права свободной торговли

Отлично, у меня есть дорога (обычная или ж/д), порт или судоходная река. Предлагаете, разрешить всем пользоваться им бесплатно? Если не бесплатно, то за сколько? И почему именно за столько?

Дальше, ладно проход, есть у меня скажем единственное пресноводное озере или река без которого стотысячный город, стоящей в пустынной местности, долго не протянет (завозить воду для всех нужно очень дорого). Сколько будет често просить за литр воды?

Ок дальше. Я владею верхней частью реки, могу я ее перекрыть плотиной и лишить воды тех кто ниже? Могу разрушить плотину и утопить тех кто ниже? А если плотина разрушиться сама, потому что у меня нет денег ее содержать? Сколько жители снизу должны платить мне?

Проблема в том, что для решения подобных вопросов потребуется создавать по сути государство причем с реальной силой, которую случашись бы все. То есть никакого совершенно свободного рынка, который сам все будет разруливать тут не будет.
возможно… отказ в сервитуте… будет расцениваться как агрессия
Тогда непонятно, что остаётся от анкапа вообще.
применять нечеловеческие усилия и дорогие меры, чтобы избежать насилия… будут просачиваться через границу в тысяче мест… Eму придётся охранять весь периметр в режме 24/365,

Вроде сама идея вашего строя была в том, что все соблюдают NAP и право собственности добровольно и без принуждения. А у вас получается полная анархия — раз собственик не охраняет — воруй, ломай, проникай. И что собственник должен делать с теми кто проник на его территорию и он их обнаружил? Растреливать на месте? Вроде NAP? Вежливо просить не рубить его лес, не травить его живность, не носить контрабанду, наркотики и т.п.? И что ему делать, если собственника пошлют?

Я так вижу как только собственник увидит, что NAP и право собственности не работает, он контрабардистов будет просто отстреливать. Конрабандисты не дураки умирать за просто так и будут ему отвечать аналогично. Дальше полносценные военные действия с созданием армий, переделом собственности в пользу сильных и т.д. А там уж легко и просто образуется государство как объединение многих частных армий и ваш строй прикажет долго жить.
получит порицание от других сообществ

Он вполне в рамках закона гребет деньги лопатой, ему скажут «фу, как не стыдно» и он ту же прекратит? Когда и где это работало?
Коррупция вон тоже общественно порициается, вот только одним порицанием без других наказаний нигде ее победить не удавалось.

Так же наивно полагать, что все сообщества настолько будут порицать, что откажутся иметь с ним дело при том что он будет платит большие деньги. Вот наши коррупционеры уезжают за границу и там закрывают глаза на то отуда их доходы.

Есть три основных "раздела контракта с государством":


  • общее право, чаще всего по территории
  • гражданство, чаще всего по рождению
  • налоговое, чаще всего по месту основного проживания

Государство энфорсит свои законы через насилие, а не остракизм.

Насилие — это правила пользования сервисом. Если вы не согласны с правилами пользования — покиньте собственность компании «государство» и не будет насилия.
НЛО прилетело и опубликовало эту надпись здесь

А если я (возможно в доле с другими людьми) приобрёл в частную собственность крупный надел земли, можно мне не уезжать, а организовать на нём своё государство, со своими законами, и ожидать, что государство вокруг моего участка будет уважать моё право собственности (в духе анкапа), и будет предоставлять мне свои услуги за деньги, на контрактной основе, а не под угрозой отнять мою собственность?

Нет, потому что частная собственность на землю в любом государстве ограничена, вы в реальности приобретаете не абсолютное, а только ограниченое право на землю по определенным условиям (в частности сохранении ее в рамках государства и его законов). Вы может удивитесь, но на Западе можно купить землю и не иметь право там построить там частный дом, к примеру (а только, скажем, заниматься сельхозяйственной деятельностью или если это лес, добывать какое-то кол-во древесины и, скажем, решать кто сможет гулять по лесу и все).

Купить землю в абсолютное неограниченное пользование — нужно заключать с государством контракт по примеру того как заключался контракт на покупку Аляски, что государство вам отдает эти земли в полное и неограниченное пользование и отказывается от них полностью с изменение границ. Вроде остров в Тихом океане вполне можно купить в полное свое владение (ну или хотя бы попробывать).
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Ну вот, вероятно, такой остров будет по уровню признания где-то около Силенда (оно остальным государствам нужно иметь себе лишную головную боль)?

А Безососы или Цукерберги могут себе в личное пользование и вполне реальное Африканское государство прикупить, только подозреваю без нормальных законов о двойном налогообложении сильно о налогов не уклонишься.

Вполне официально предлагают уклонятся от налогов в Швейцарии, платишь определенную фиксированную сумму от 100 до 500 тыс в год и никого не волнует сколько ты заработал на самом деле.

Никак, и это ещё один аргумент в пользу того, почему анкап может быть только для сферических агентов в вакууме. В реальной среде сразу приходится отказываться от свобод ради возможности кооперации с другими агентами. Правила этой кооперации известны как государственные законны и международное право.

Ну вот давеча некий коллектив, населяющий полуостров "К", коллективно "проголосовал", и "решил" разорвать контракт с компанией "У" и начать пользоваться услугами компании "Р" — и это в определённых кругах считается совершенно законным правом на самоопределение.


А мог бы тот же самый коллектив отказаться от услуг "У" и не подписывать контракт с "Р", но так, чтобы при этом не получать угроз насилия от обеих услугодателей?

Те же самые определенные круги считают, что призывы индивидуумов из некого коллектива населяющего обособленную область «К» разорвать контракт с компанией «Р» и начать пользоваться услугами компании «Г» — есть не право на самоопределение, а самое что ни на есть хулиганство и нарушение общественного порядка.
Двойные стандарты они такие да… войти можно, выйти — нельзя.

Проблема в том, что полуостров — не человек, он не имеет право голоса. В рамках анкапа люди на острове могут только его добровольно покинуть, ведь он им даже не принадлежит, а сдается в аренду кооперативом "государство".

Если кооператив отнял землю силой, то в рамках анкапа возникает вопрос законности приобретения, а значит и сомнения насчёт легитимности.

Я не говорил про силу. В рамках первичного накопления либо сделки. Как Аляска.

Практически все государственные земли были приобретены силой. Аляску внячале "открыли" и "приобрели", не спрося алеутов, хотят ли они её продать, а потом продали, так же никого не спрося. 100% законное "первичное накопление" — это разве что безлюдные пустыни, ну и Луна с Марсом тоже сойдут :)

Вы и я скажем, что силой, а государство скажет что наоборот, их служба безопасности восстановила исконное право государства на владение этими землями :)

Государство не продает землю, а только сдает в оренду. Вам просто негде купить ее. То что называется "продажей" земли — маркетинговая уловка. Это прописано в контракте на "покупку" земли с государством.

Ну можно и за проход в парк Остапу Бендеру заплатить, это Ваше право. Никто не должен гарантировать Вам возможности поддерживать платежеспособный спрос на этот труд.

Но ведь в итоге у моего сервиса появляются конкуренты со скрапперами, падают посещения, я понимаю что сервис не окупается, закрываю его, конкуренты со скрапперами соответственно закрываются тоже.

Теперь у меня нет денег, у конкурентов нет денег, а у пользователей нет удобного сервиса из-за государственного вмешательства. Не выглядит как здоровая рыночная ситуация, верно?
Не выглядит, если вы не смогли сбалансировать эту ситуация, не означает, что другой более грамотный человек её не сбалансирует, чтобы все остались довольны.
Конечно, при должном желании и смекалке можно сделать что угодно, но это не оправдывает создание лишних препятствий для бизнесменов.

Почему человек должен придумывать какой-то костыльный способ предоставлять людям услугу, когда уже придуман нормальный?
Вы чутка разные вещи смешиваете: персональные данные, и общедоступную информацию

Персональные данные могут быть общедоступными :) Юридический антоним к общедоступной информации — конфиденциальная или тайная, секретная. Антоним к персональным данным — неперсональные данные. Эти измерения ортогональны, Любую, наверное, информацию можно разложить по "квадратам", от общедоступной неперсональной до конфиденциальной персональной

Персональные данные могут быть общедоступными :)


Контекст был в том ключе, что даже _общедоступные_ ПД вы имеете право в любой момент запретить обрабатывать, то бишь, если по-русски, потребовать удалить; и в случае отказа — накатать жалобу в РКН.
Это несправедливо, откуда ни посмотри

Да, с одной стороны это выглядит несправедливо. Но рассмотрите такую ситуацию:
Я зашёл на сайт, узнал цену на билет на автобус Сыктывкар-Алапаевск. А потом позвонил другу и рассказал ему о ней. С вашей точки зрения это тоже несправедливо, ведь ваши доходы упали как минимум вдвое!
Или ещё несправедливее: я, как единственный на весь дачный кооператив владелец телефона с интернетом, зашёл к вам на сайт и увидел что электричка до города перенесена на 30 минут назад. И написал об этом объявление на инфостенде своём заборе. Меня расстрелять?
>Итого: я плачу деньги за информацию, которую у меня копируют, и на этих же данных выращиваются конкуренты, а я теряю доходы

Ничто и никто не может помешать разориться горе-бизнесмену.
>Итогом такой работы станет закрытие моей компании

Это рынок. Это конкуренция. Следует из этого лишь то, что принятая вами бизнес-модель больше не работает и её надо менять, а не то, что следует запретить вашим конкурентам вполне легальными методами использовать несовершенства вашей бизнес-модели в свою пользу.
Нет не должен решать, если выложил в интернет, значит выложил для всех.

Если это творческое произведение, то нет, автор или правообладатель в праве определять порядок использования произведения третьими лицами через лицензию. Эта норма проистекает из самой концепции частной собственности.
Утверждать обратное — анархо-коммунизм.

Если это набор фактов — то да, значит что выложил для всех.
Т.е. я захожу по URL такому-то, мне показывают произведение, а затем внизу, в лицензии написано, кто прочитал тот должен принести в жертву младенца. И как мне быть, ведь мой браузер всё загрузил и я даже кое-что прочитал?

Это бредовый пример, потому что такая лицензия — ничтожна. Сходите, например, на Flickr, где лицензия прописана в явной форме под каждым фото на видном месте, ознакомьтесь, как это бывает. Авторы публикуют свои фото, предоставляя всем возможность их смотреть, а вот использование (копирование, создание чего-то на их основе) ограничено лицензией. Кроме случая, когда публикация — public domain, что явно также указано.

предоставляя всем возможность их смотреть

На самом деле это тоже часть лицензии. Вернее авторы предоставляют таким ресурсам лицензию на показ всем желающим, типа как кинопроизводители предоставляют лицензию кинопрокатчикам с правом сублицензирования кинотеатрам.

Именно, я не упомянул про это только потому, что говорил о регулировании отношений между авторами и третьими лицами, а не авторами и сервисом.

Скрапинг — это бич десятилетия)
НЛО прилетело и опубликовало эту надпись здесь
Если бот тянет данные условно со скоростью среднестатистического пользователя и в разумных объемах, то почему бы и нет? Особенно если данные общедоступные. А вот если пытается скачать 100500 страниц в секунду то это уже совсем другая история.
Ну здесь вопрос правильной защиты от подобных вещей, ведь это может быть не парсинг а ДиДос)), как говорится надо отличать муху от котлеты.
Лично видел примеры когда люди хотели именно «немного спарсить», а для сайта это был самый настоящий DDoS.
Поисковые боты так же заходят и скачивают все страницы. Если сайт не выдерживает — скорее вопрос оптимизации производительности, memcached подключить, структуру данных причесать…
Если сайт не выдерживает, то можно ничего не оптимизировать:
— Crawl-delay для всех кроме гугла; в robots.txt
— Crawl rate в настройках сайта, нужна Google Search Console правда. Но это всяк проще.
Это сработает только тогда, когда автор робота знает об этих параметрах… Я, например, не знал, так что если бы я писал бота для сканирования страниц, я бы плевал на эти параметры с высокой колокольни. Не со зла, конечно, но владельцу сайта от этого не легче. И что-то мне подсказывает, что 99% ботов пишут ламеры типа меня…
ну для меня есть разница между «обычные поисковые боты» и «наколеночные грабберы/скраперы». Если это рядовой сайт, ничем не примечательный, который не интересует скрапперов, маловероятно что он ляжет от поискового бота, даже если он на шаред хостинге за 1$ сидит.

Может просто DoS? Или вот прямо distributed?

Интересно, получается, что теперь можно свободно парсить поисковую выдачу гугла и они не имеют права препятствовать это всякими каптчами, банами по IP и прочими способами? Ведь поисковая выдача — это же общедоступная информация.

ну и отлично, отчасти поэтому возможна работа DuckDuckGo и сторонних приложений, например для ютуба.

Вот тоже об этом мелькнула мысль.
И будет ли отмазкой для защиты наличие платного апи для выборки

Я не юрист, но что-то мне подсказывает, что поисковая выдача — это не общедоступная информация. Это информация, которая генерируется на основе выполняемой работы, т.е. это результат работы сервиса, распоряжаться которым гугл волен как хочет. Вообще логично было бы сделать так, если владелец сайта выкладывает(или определяет правила выкладывания) информацию в сеть и разрешает кому-либо, например тому-же гуглу, ее бесплатно автоматически обрабатывать, то он обязан разрешать так же бесплатно ее обрабатывать всем остальным. Если же он скрывает информацию ото всех не подходящих по некоторому критерию(регистрация, платный доступ, друзья в соцсети), то имеет полное право препятствовать и юридически и технически ее автоматическому сбору.
НЛО прилетело и опубликовало эту надпись здесь

исходя из этого и страничка linkedin тоже самое.
что бы сгенерировать страницу нужно на основе данных от браузера вернуть ему данные с его правами доступа.

Всегда можно было. В стародавние догугловские времена даже существовали так называемые метакравлеры, которые одновременно обрабатывали выдачи нескольких поисковиков.
Они имеют право делать, что захотят, но с одним условием — их желания должны касаться абсолютно всех и людей и ботов. То есть, если Гугл создал какую-то защиту от ботов, то эта защита работает и для каждого человека, будь он Трамп, глава ЦРУ или Джон с МакДональдса. Суд ясно же пояснил, что бот ничем не отличается от обычного пользователя. И нельзя выборочно создавать правила для отдельных пользователей(в том числе ботов).
Было бы здорово, а то мои роботы чувствуют себя ущемлёнными
А я вот против такого развития событий, например есть такие сервисы qaru, которые тянут ответы с стековерфлоу и тупо переводят их на русский машинным переводом, получается полное дерьмо, а трафик и реклама идет — лавеха мутится. Я бы предпочел, что бы такое было не законно.

Зато если поиском на русском языке находится ответ на этом qaru, то с него же можно перейти на оригинал и там читать.
Если бы такого перевода не было, то находилась бы всякая муть, т.к. русский язык в поиске в приоритете.

К сожалению у них нет ссылки на оригинал.
Есть, написано — «источник», всегда перехожу. Ранжируются они часто лучше оригинала, несмотря на то что я даже русских слов в запросе не пишу.
Ну да, запретить то проще, чем подумать как разобраться в ситуации.
получается полное дерьмо,

иногда кстати, на удивление, в qaru получается вполне нормальный перевод
Ну а теперь смотрите фокус. Стековерфлоу не считает нужным реализовать перевод для русскоязычной аудитории. Тогда с какой стати он будет запрещать делать это другим? А если реализует, то будет иметь очевидное преимущество. То есть есть прибыль, которую либо не получит никто, при отсутствии конкурента, либо получит конкурент при нежелании оригинала что-то делать, либо получит в осноовном оригинал, при желании что-то для этого сделать. Практически всегда в таких случаях оказывается, что ваши конкуренты используют вашу информацию не так, как ее используете вы, но вы при этом так ее использовать не хотите. Вы делаете информацию, не являющуюся копирайтом, доступной всем, но при этом диктуете другим как интерпретировать и использовать эту информацию.
В Ваших рассуждениях есть логика и я с ней согласен, не будь qaru такой низкокачественной помойкой претензий бы не было. Действительно стянуть все вопросы и ответы и качественно из перевести, ручками, это будет полезно, трафик и деньги тогда будут заслуженны.

Однако тут возникает проблема я однозначно против варианта qaru, но за предложенную мной альтернативу, хотя по сути они одно и тоже.
Справедливости ради, есть стэк на русском. Но там мало народа и мало информации. Собственно, понятно почему он не популярен: многие кто пользуется подобной информацией в состоянии читать её на английском. А те, кто не способен, зачастую и не обладают достаточной квалификацией, чтобы генерировать полезный контент на стеке. Понятно, что обобщения грубые и есть исключения, но, как мы видим, их недостаточно.
и не обладают достаточной квалификацией, чтобы генерировать полезный контент на стеке

Не только в этом дело. Вот сейчас на собеседовании я могу сказать «у меня 38 тыс репутации на английском SO» и это доказательство проф.уровня во всем мире (в том числе и странах РФ). А на русском — полезен только на русскоязычном рынке, но даже там ценится ИМХО меньше. Поэтому мотивация отвечать на русском — меньше.

И до сабжа подобные действия были полностью разрешены непосредственно правилами SO и лицензией CC BY-SA

Шикарно. Теперь у поисковика есть полный резон "договориться" с владельцем сайта (MSFT, LinkedIn) за хорошее вознаграждение и проводить индексацию по не-публичному каналу. А потом показывать результаты только авторизованным у этого сайта пользователям. В обоюдных интересах, разумеется. Да еще и рекламку всунуть (еще 100500 очень релевантных результатов, только зарегистрируйся там-то).


Поди и наезды будут теперь в духе "вы поменяли структуру страницы, сделав ее необоснованно трудной для разбора и это сломало наш скрейпер; вы нарушили закон и причинили нам ущерб, не хотите ли договориться в досудебном порядке, господа?".


Когда уже будет обязательный IQ тест для законодателей? Идиоты.

и проводить индексацию по не-публичному каналу. А потом показывать результаты только авторизованным у этого сайта пользователям. В обоюдных интересах, разумеется.

Их засудят скорее всего, это получается гугл будет иметь конкурентное преимущество по сравнению с другими поисковиками, так можно все крупные сайты договорится индексировать по не-публичному каналам.

Ну jobs.google.com, например, пока не засудили, а он именно этим и занимается (https://cloud.google.com/talent-solution/job-search/docs/apis). Я думаю раньше этого не делали, т.к. коммерческого смысла не было. А теперь — есть.

он именно этим и занимается

Там немного в другую сторону получается система, каждый желающий создает вакансии, это вполне обычное поведение сайтов вроде линкед-ина. Плюс это все-таки отдельный сервис, а не поисковик.
Не совсем понял, почему гугл этим не занимается. Вот ссылка ниже. Находясь на странице гугла, можно искать работу, описание места работы собрано с других агрегаторов и находится на сервере гугла:
www.google.de/search?safe=off&q=data+analyst+job&ibp=htl;jobs#fpstate=tldetail&htidocid=HnD7ktYG93_mguD6AAAAAA%3D%3D&htivrt=jobs
Ваш браузер или устройство не поддерживается либо сервис недоступен в вашей стране.

Судя по тому что на разных браузера на Линуксе (включая последний хром) не работают, в ЕС сервис недоступен, может быть как раз из-за интеллектуальных прав.
В анонимном режиме и .ru тоже работает. Вот
Тоже самое относится к сервису shop: гугл показывает цены и описание, на сайты ходить не обязательно. Вроде как удобно. А магазины теряют пользователей, зато платят за хостинг и гуглу за рекламму. А смысл в рекламме, если он показал сайт с ценой, а рядом конкурента с более низкой ценой.

По-моему магазины не теряют ничего. Им нужен клиент, а не пользователь. Поэтому Гугл можно сказать снимает нагрузку на сайт. Так же Гугл бережет деньги Магазинов, оплаченные на рекламу. То есть если магазин заказал рекламу в Гугл, то ему будет выгодно показать цену до клика. Чтоб пользователь не кликнул и Гугл не снял деньги за клик по рекламе.

НЛО прилетело и опубликовало эту надпись здесь
вы поменяли структуру страницы, сделав ее необоснованно трудной для разбора и это сломало наш скрейпер;


Вряд ли. Такой умысел очень трудно доказать, если нет явных препонов в виде капчи.

Злой умысел тут не при чем. Ключевое слово — "необоснованно". Обоснованность в суде будет определять приглашенный истецом эксперт в коннотации "а возможно ли расценить...?". Сколько лет уже эта балалайка и в патентном троллинге и в compliance phishing практикуется.


А капча как раз не является нарушением этого закона, по крайней мере я не усмотрел. Капча отфильтровывает всех роботов, а не только скрейперов.

Ключевое слово тут «трудный для разбора». В чем измеряется труд робота?

И капча смотря какая. Гугловскую v3, которая на подходе, как настроят, так и будет запускать.

В итоге все сводится к антимонопольному законодательству, страдает ли пользователь vs страдает ли бизнес. Если окажется что держатель контента дискриминирует роботов и от этого страдают пользователи — будет проблема для провайдера. Если окажется что дискриминирует роботов (и их бизнес страдает), но пользователи выигрывают, будет проблема для скрапера.

ref developers.google.com/recaptcha/docs/v3

Труд робота измеряется сложностью алгоритма его реализации и стоимостью его эксплуатации. В частности стоимостью использования API, за которые скрейперы как раз платить и не хотят (да и не могут при 500М акков). Я в PDF не вижу запрета на противодействию любым роботам.


Там фокус как раз в том, что LinkedIn дискриминацией роботов (хаха!) нанес ущерб договоренностям HiQ по отношению к третьей стороне.


LinkedIn послал cause-and-desist ноту HiQ, утверждая что те нарушают пользовательское соглашение. Те в ответ обратились в суд, утверждая что LinkedIn своими действиями подрывает их бизнес. Суд принял решение на основе того, что таки да, подрывает, при том избирательно (а Гуглу, вон, не подрывает). Это при том что HiQ Гуглу не конкурент даже.


В Oppinion читаем:


LinkedIn has taken steps to protect the data on its website from what it perceives as misuse or misappropriation. [...] The instructions in LinkedIn’s “robots.txt” file [...] prohibit access to LinkedIn servers via automated bots, except that certain entities, like the Google search engine [...]

Дальше вообще обалденно. HiQ смогли даже irrepearable damage пропихнуть на основе того, что они:


LinkedIn also urges that even if there is no adequate alternative database, hiQ could collect its own data through employee surveys. But hiQ is a data analytics company, not a data collection company.

Т.е. "вам нужны данные — вы сами и собирайте у ваших клиентов, если хотите" — "мы не можем, поэтому вы обязаны нам предоставить"

Т.е. «вам нужны данные — вы сами и собирайте у ваших клиентов, если хотите» — «мы не можем, поэтому вы обязаны нам предоставить»

С точки зрения закона, это не так. Должно быть:
мы не можем, поэтому вы обязаны перестать препятствовать нам в получении доступа к данным, которыми вы не имеете права распоряжаться по своему усмотрению, так как они вам не принадлежат
.
Потому что речь идет о профилях, содержимое которых — факты о пользователях, которые те сами опубликовали. То, что они опубликовали их только благодаря существованию LinkedIn, не создает для LinkedIn никаких уникальных условий с точки зрения закона.
Я как владелец персональных данных дал разрешение на публичную публикацию моих данных на сайте linkedin, а также даю право обрабатывать мои данные компании google. По логике суда: значит я автоматически даю разрешение на обработку любому другому сайту?

В этом судебном решении вообще не идёт речь о персональных данных, как юридическом понятии. Более того, такое понятие не существует в американском законодательстве в виде, сходном с российским или европейским. Потому ваши рассуждения о "логике" — неправомерны.

LinkedIn license agreement 3.1: вы предоставляете бессрочную не-экслюзивную лицензию на свой контент, они могут его обрабатывать и модифицировать, но не обязуются хранить или обеспечивать доступность. А в п. 3.4 говорится что они могут забанить и отказать в доступе по целому ряду пунктов.


Напомню, что суд вынес свое решение отчасти базируясь на том, что HiQ может понести убытки если им отрубят халяву. Так что это именно "мы не можем, поэтому вы должны". Рассуждений про права на контент я там не видел. А распоряжаться своим сервисом они могут как хотят, вплоть до полного закрытия.

Да, это соглашение с пользователем, которое позволяет LinkedIn обрабатывать всё (не только данные профиля). Но не регулирует ваши отношения с третьими сторонами и LinkedIn, как посредником. Там нет рассуждения про права, там есть конкретные термины, которые при непрофессиональном прочтении теряют смысл.

Итого имеем:


  1. Нарушает ли LinkedIn права пользователей, препятствуя третьей стороне использовать их контент — нет, п.3.1, т.к. выдача результатов является обработкой.
  2. Нарушает ли LinkedIn права третьей стороны, препятствуя сбору публичных данных — нет (до этого прецедента), т.к. в отсутствие соглашения между сторонами означает что отношения регулируются по действующему закону. LinkedIn в праве сам определять как обрабатывать запросы из интернета, потому что сервис является его собственностью.
  3. Наносит ли LinkedIn ущерб HiQ мешая им собирать данные? Да. Потому что HiQ — это компания-паразит, операционно на 100% зависящая от LinkedIn, при этом не платящая им ни копейки. И их деятельность без скрейпинга вообще невозможна. Соглашений с LinkedIn у них, как я понял, нет никаких, иначе бы им давно дали отлуп за нарушение TOS.

Решение суда создало прецедент, при котором (3) достаточно, при креативной трактовке CFAA, для изменения (2) в пользу истца.


ИМХО это совершенно несправедливое решение, даже если с юридической точки зрения придраться не к чему. А в свете изложенных выше соображений — еще и опасное.

Представим, что моя компания продаёт яблоки, и ради привлечения покупателей мы позволяем каждому взять по одному бесплатному яблоку. Разумеется, перенося стоимость "бесплатного" яблока на стоимость платных яблок, т.е. фактически, эти яблоки мне уже оплачены.


И тут появляется некая компания, которая использует бомжей и нищих, неотличимых от платёжеспособных людей, которые подходят, берут по одному бесплатному яблоку, уносят его — и компания потом их продаёт за деньги. Или же эти нищие сами продают своё бесплатное яблоко — я точно не могу знать, что с этим яблоком дальше происходит. Я лишь вижу, что не могу препятствовать продаже уносимых яблок.


Я это замечаю, и чтобы бороться с этим, начинаю прямо в момент выдачи намеренно портить яблоки тем, кто собирается яблоко унести, но не порчу тем, кто согласен съесть яблоко прямо на моих глазах. Вправе ли я это делать, если, напоминаю, стоимость яблок уже оплачена, есть публичная оферта что эти яблоки отдаются безвозмездно, и, портя яблоко которое уже в руке, я, фактически, порчу чужое яблоко?

Если в публичной оферте сказано, что бесплатные яблоки, по усмотрению продавца, могут быть гнилыми, надкусанными или вообще перестать раздаваться — без проблем. Яблоки тут ни кто не портит, просто отказывается раздавать.


Я думаю ваша аналогия упускает важные детали. Аналог бы звучал так:


Фермер привез яблоки на рынок и предлагает попробовать желающим бесплатно, как и принято на рынке.


Бойкий предприниматель Хитрый нанимает бомжей, надевает на них фирменные футболки "бухло от Хитрого", и говорит им ходить к лотку, брать яблоки и носить ему, чтобы он смог сделать из них наливку.


На третий день фермер идет в Хитрому, грозит обвинить его в воровстве, и требует прекратить, но Хитрый его игнорит. Тогда фермер перестает давать бесплатные яблоки бомжам в фирменных майках, и предлагает Хитрому купить яблоки или вырастить самому.


Хитрый вызывает полицию и обвиняет фермера в недобросовестной конкуренции. Хитрый заявляет, что:


  • фермер давал ему бесплатные яблоки три дня подряд. На основе этого Хитрый спрогнозировал, что через 6 недель сможет поставить около 100л. наливки покупателям, и взял с них деньги за бухло вперед.
  • а теперь фермер перестал давать яблоки, так что у Хитрого нет возможности произвести 100л. наливки. Покупая яблоки он не сможет окупить затраты на производство и обанкротится.

Полицейский рассудил, что:


  • термин "воровство" в данной ситуации не применим, потому что пробные яблоки бесплатные, применить ст. 158 УК РФ нельзя, и следовательно (!) запрещение со стороны фермера — не правомерно
  • Хитрому нельзя запрещать собирать бесплатные яблоки через бомжей, потому что у Хитрого (!) есть обязательства перед клиентами, которые он не может исполнить без халявных яблок

Исходя из этого фермер — недобросовестный предприниматель, и впредь обязан раздавать яблоки всем, независимо от того, носят ли они футболку Хитрого или нет. То же теперь относится и ко всем продавцам на рынке, предлагающим товар "на пробу".


Когда фермер возмутился, полицейский объяснил, что если бы Хитрый гипотетически мог обойтись без халявных яблок, или если бы фермер вообще перестал их раздавать, проблем бы не было. А так — фермер своими действиями (!) поставил Хитрого в безвыходную ситуацию, и, следовательно, ведет нечестную конкуренцию.


Хитрый, конечно, гнида, но больше всего здесь коробит логика полицейского. 158 УК конечно применять нельзя, фермер сам виноват что на него сослался, но вот остальное — это лютый идиотизм.

Я думаю ваша аналогия упускает важные детали.

Да, точно, я упустил одну критически важную деталь, которая есть в заключении судьи: яблоки не принадлежат фермеру (!!!), их приносят ему другие люди, которые ими владеют, гордятся и желают, чтобы яблоки раздавались всем желающим. Фермер лишь предоставляет место для этой ярмарки тщеславия (и немножко зарабатывает, упаковывая яблоки в эксклюзивные коробки).


Цитата из решения: "LinkedIn invokes an interest in preventing “free riders” from using profiles posted on its platform. But LinkedIn has no protected property interest in the data contributed by its users, as the users retain ownership over their profiles. And as to the publicly available profiles, the users quite evidently intend them to be accessed by others, including for commercial purposes—for example, by employers seeking to hire individuals with certain credentials."


и впредь обязан раздавать яблоки всем, независимо от того, носят ли они футболку Хитрого или нет.

Он не обязан раздавать всем, но если он таки раздаёт, он не может заставлять людей делать с яблоками только то, что он считает правильным. Более того, так как яблоки ему не принадлежат, то он всего лишь проводник воли тех, кто эти яблоки принёс и поручил их раздавать. Если Хитрый делает наливку из яблок, и владельцы яблок не возражают — это его право, и не дело фермера ему указывать. Вдруг наливка Хитрого приносит пользу? А фермер этому препятствует, ущемляя права тех, кто принёс яблоки. Вот если кто-то из владельцев яблок скажет фермеру "Не давайте мои яблоки Хитрому" — тогда фермер может ограничить Хитрому доступ к конкретно этим яблокам.


В принципе, я думаю Линкедину достаточно добавить в свои настройки опцию: "Скрывать мои данные от поисковых роботов" (если такой ещё нет) — тогда по крайней мере можно будет сослаться на волю пользователей.

Можно уточнить ещё ближе к реальному случаю.
Бизнес фермера построен на том, что он предлагает всем желающим избавиться от излишков фруктов. Сам он, при этом, делает из некоторых из них компот. Тем, кто несёт ему бесплатно излишки, предлагает скидку на компот, остальным продает его по полной цене. При этом, некоторые фрукты, не идущие в компот, он раздает бесплатно ради рекламы своей продукции на рынке.

Другой важный момент — лишние фрукты, которые фермер раздает ради рекламы, у него никогда не кончаются. Так что единственная реальная проблема, кроме ощущения несправедливости — то, что бомжи могут создавать толпу, которая мешает ему торговать компотом.
Иронично, что схема "питания объедками и излишками" — весьма в духе всякого рода анархически настроенных хиппи и прочих нонконформистов.

их приносят ему другие люди, которые ими владеют, гордятся и желают, чтобы яблоки раздавались всем желающим. Фермер лишь предоставляет место для этой ярмарки тщеславия (и немножко зарабатывает, упаковывая яблоки в эксклюзивные коробки).

«Люди сами приносят» — не совсем так.
Линкедин тратится и на рекламу, содержание сайта, программистов…
Скорее «Фермер ездит по частникам, которые не знают, куда девать свои яблоки, собирает их, приводит в товарный вид и везет на ярмарку». А Хитрый «ездой по садам не занимается, а занимается изготовлением наливки из готового сырья, которое ему фермер обязан подогнать, коли он все равно поехал за яблоками для своих целей»

Хитрый не крадёт яблоки, он их берёт на той самой ярмарке, где и все берут, наравне со всеми, ничего не взламывая. Просто он берёт не руками по одному, а вывозит самосвалами оптом, но при этом всё в рамках законности. Яблок при этом всем хватает, т.е. Хитрый даже не создаёт искуственного дефицита, как скупщики билетов, например.


Да, модель Линкедина страдает — но это вообще беда всех бизнесов, которые занимаются раздачей "халявы". Рынок не терпит бесплатных вещей, если кто-то что-то раздаёт ниже рыночной цены, то возникает перекос спроса и предложения, и почти всегда найдётся желающий взять это дешёвое и продать по истинной цене, исправив перекос и наварившись на арбитраже. И всегда найдутся святоши, которые обвинят честного спекулянта в аморальной наживе и будут призывать государство запретить спекулировать.


Если Линкедин теряет деньги из-за дыры в своей бизнес-модели, значит ему нужно менять модель. Он же хочет не латать дыру, а с помощью Большого Брата запретить чужую законную бизнес-модель, эксплуатирующую эту дыру. Это так же глупо, как поведение компаний, которые вместо латания дыр в безопасности начинают прессовать хакеров, эту дыру раскрывших, но никаких данных не укравших.

Я вас прекрасно понимаю.
Я не понимаю, с какой стати государство диктует бизнес-модель Ликедину. Не хочет он поставлять их Хитрому — какого фига ему говорят: «нет, ты обязан»?
Кому-то хочет поставлять бесплатно, кому-то нет. Фейсконтроль, блин. Не хочу — не пускаю в свой клуб лиц с вызывающим поведением. Да, теоретически зайти может каждый. Но вот конкретно этого видеть не хочу. Даже в дверях у входа чтобы не ошивался.

Рынок не терпит бесплатных вещей, если кто-то что-то раздаёт ниже рыночной цены, то возникает перекос спроса и предложения, и почти всегда найдётся желающий взять это дешёвое и продать по истинной цене

Мне это напоминает, к примеру, дегустацию в магазине.
Раздача бесплатного. Пока нормальные люди подходят и пробуют — все нормально. Но если особо одаренные подходят и выносят приготовленное к раздаче коробками, мотивируя это тем, что пообещали это продать по истинной цене, а им мешают… Мне это странно.
с какой стати государство диктует бизнес-модель Ликедину.

Оно не диктует ему бизнес-модель, оно отказывает ему в просьбе запретить чужую законную бизнес-модель на одном лишь основании, что эта чужая модель неудобна для их модели.


Не хочет он поставлять их Хитрому — какого фига ему говорят: «нет, ты обязан»?

Я же написал выше: линкедин не имеет прав на пользовательские данные, только сами пользователи могут говорить "не хочу, чтобы данные попадали Хитрому". С одной стороны Линкедин обещает пользователям, что их открытые данные будут видны всем желающим, с другой — пытается огородиться, т.е. пытается распоряжаться чужой собственностью как своей.


Аналогия с дегустацией не очень работает — Линкедин отдаёт данные не на пробу, а для полноценной работы рекрутеров, и он не устанавливает правил типа "только один килограмм данных в одни руки".

Я же написал выше: линкедин не имеет прав на пользовательские данные, только сами пользователи могут говорить «не хочу, чтобы данные попадали Хитрому». С одной стороны Линкедин обещает пользователям, что их открытые данные будут видны всем желающим, с другой — пытается огородиться, т.е. пытается распоряжаться чужой собственностью как своей.

Простите, но при чем тут «пользователи не хотят, чтобы данные попадали Хитрому»?
Хотят, чтобы попадали — пусть сами ему и отдают. Линкедин им вовсе это не запрещает. Равно как не препятсвует Хитрому собирать эти данные. Вот если бы Линкедин заявил «я уже собрал эти данные, а ты не смей» — был бы другой разговор.

Он не хочет отдавать Хитрому результаты своего труда по сбору, упорядочиванию данных и т.п.

Примерно как аналитические отчеты — данные общедоступны, ищите и обрящете. А вот свести их воедино в удобоваримый вид — это труд. И с чего вдруг Линкедину указывают, кому и на каких условиях их предоставлять.

Я вашу точку зрения прекрасно понимаю. Надеюсь, и вы поняли, что я хотел донести.

Кто-то считает, что любой труд должен быть оплачен.
А кто-то считает нормальным проехать на электричке бесплатно, ибо она же все равно едет, от нее не убудет.
И у него своя правда, своя точка зрения, которую в двух словах сложно изменить.
Это нормально.

В завершение беседы просто выскажу надежду, что Линкедин таки победит, и меня не будут принудительно заставлять предоставлять результаты моего труда всем, а не только тем, кому я считаю нужным (и выгодным для моего бизнеса).
Простите, но при чем тут «пользователи не хотят, чтобы данные попадали Хитрому»?

Не знаю при чём, я написал обратное: "Пользователи хотят, чтобы Линкедин показывал их данные всем желающим, в т.ч. и Хитрому". У Линкедина перед пользователями есть обязательства — не скрывать их публичные данные. Он эти обязательства нарушает.


Кто-то считает, что любой труд должен быть оплачен.

Я именно так и считаю: если Линкедин хочет устранить ситуацию, то он должен ограничивать доступ всем и брать рыночную плату за свой труд со всех, а не раздавать бесплатный сыр. Как только кто-то начинает нерыночный аттракцион беспримерной щедрости, всегда будут появляться халявщики, скупщики, патологические накопители и т.п., и всегда будет соблазн вызвать Большого Брата чтобы их ограничить. Т.е. вначале создаём аморальную ситуацию, а потом жалуемся на то, как аморально действуют те, кто действует в своих интересах.


Если Линкедин ценит свой труд, то цена отдаваемых данных не должна равняться нулю. Но на самом деле Линкедин уже получил плату за свой труд, перенеся затраты на платных пользователей.

Не хочет он поставлять их Хитрому — какого фига ему говорят: «нет, ты обязан»?
Государство препятсвует дискриминация клиентов, аналогично тому, как происходит в конфликте епл-квалком. Линкедин предоставляет доступк к чужим данным, причем бесплатно. Но некоторым компаниям он почему-то отказывается предоставлять доступ на тех же условиях. Государство это пресекает.
НЛО прилетело и опубликовало эту надпись здесь
и Вы ещё критиковали мой пример с кольцом осады :). Разница с гостями в том, что тут нет рынка, нет бизнеса, нет монополии. Для определения разумных границ этих терминов есть государство.

Тут, скорее так: я (и многие другие) продаём свои квартиры и нанимаем агента, который приводит гостей посмотреть квартиры. Агент обещал, что будет добросовестно приводить всех желающих. Но он заметил, что один тип что-то зачастил и записывает себе в блокнотик какие-то цифры. Агент решил, что это агент конкурента и стал препятствовать ему, ограничивая вход. Тем самым он нарушает своё обещание приводить всех (что включает и конкурентов).


Выход простой: брать со всех желающих небольшую копеечку за просмотр, тогда массовые сборщики отсеятся рыночным способом.

НЛО прилетело и опубликовало эту надпись здесь
Тут шансы неравны, скрейпер, вероятно, выиграет. Я думаю, что если бы суд просто сказал, что скрейпить можно, этого было бы достаточно — линкедин забил бы на защиту. Я бы с вами согласился полностью, но Линкедин получил монополию на пользовательские данные, поэтому они должны обязаться не злоупотреблять ею. Решение суда действует против монополизации.
Еще раз, непонятно что такое препятствовать. Если сделать SPA, который роботу использовать гораздо тяжелее, но при этом значительно улучшает UX обычного пользователя, это как расценивается с точки зрения закона? Тут вроде никаких уникальных условий для LinkedIn.
вы поменяли структуру страницы, сделав ее необоснованно трудной для разбора и это сломало наш скрейпер

Если эта структура меняется для всех, а не только для определённых посетителей, то никакой дискриминации нет. Ну и что, что рандомная каша из тегов легко воспринимается человеком на экране и плохо — ботом, использующим XPath?

Хм, есть сайты с CloudFlare-капчей, которые нельзя посетить без установки галочки я-не-робота в этой самой капче. Это будет считаться техническим препятствием?)

Скоро будут сайты без галочки, которые роботы не смогут посетить. См. ссылку. developers.google.com/recaptcha/docs/v3
Основная фишка reCAPTCHA v3 — предоставить вебмастеру больше свободы при защите от роботов:

1. Если сессия не вызывает подозрений (по заданному порогу score) — тогда пользователю или боту не придется проходить challenge и кликать по картинкам

2. Если сессия подозрительная — то вебмастер может на это как-то отреагировать. Можно потребовать пройти reCAPTCHA v2, можно выдать shadow ban или пометить у себя, что этот пользователь абузит и как-то это учитывать в дальнейшем. Причем действия можно варьировать в зависимости от раздела сайта — при регистрации/авторизации можно просить дополнительное подтверждение по sms, при постинге спама эффективным может оказаться именно shadow ban — когда свои сообщения никто, кроме бота, не увидит, или они уйдут на премодерацию. В случае скрапинга эффективнее не блочить, а отдавать недостоверные случайно сгенеренные данные, и т.п.

Полная блокировка доступа вообще редко применима без последствий для легитимного пользователя. И учитывая, как часто reCAPTCHA v2 капчует даже если с IP не производится какого-либо скрапинга, будет много недовольных. Особенно пострадают пользователи Firefox, который с недавнего времени блочит все трекеры, в т.ч. Google Analytics.

Есть у меня сайт на сопровождении, где трафик ботов и парсеров если их апетиты не регулировать — больше чем все пользователи. И что, с этим решением они предлагают убрать лимиты для ботов и оплачивать услуги амазона по повышенному прайсу в угоду этой нелепой благотворительности, ради паразитов?

Если пользователи вашего сайта страдают от деятельности ботов, значит есть основание их ограничивать. У Линкедина таких оснований не нашлось, CFAA не применим в их случае — они выкладывают общедоступную инфу своих пользователей, и по закону должны обеспечивать доступ к ней без дискриминации, как-то так. Ну и кроме того, теперь будут прецеденты, когда начнет страдать бизнес, будут дела, будут новые прецеденты, это все не стоит на месте. Само понятие общедоступной информации становится размытым, вон привел в пример гугловскую капчу выше, так что законодателям еще трудиться и трудиться.
Всегда можно было и можно будет регулировать роботов, при этом не ограничивая доступ к информации.
robots.txt — де-факто стандарт.
https://www.robotstxt.org/robotstxt.html
Почему этот робот игнорирует мой robots.txt?
Возможно, он был написан неопытным программистом. Иногда в школах дают задания ученикам «написать веб-робота». Но в наши дни более вероятным будет робот, явно написаный для сканирования вашего сайта с целью злоупотребления…
Использование robots.txt это соглашение, а не препятствие. Но мне все равно непонятно, к примеру, если я решил сделать SPA вместо статики, будет ли это расценено как излишняя работа для роботов.
По хорошему теперь должен быть принят закон для скраперов, которые должны ориентироваться на robots.txt и владелец сайта должен иметь право блокировать роботов, если они нарушают эти правила. Также должны быть заданы определенные стандарты, иначе владелец тупо укажет не больше одной страницы в год на скрапера. В общем, всё это нужно прорабатывать, а где на всё это взять спецов? Там сидят дяденьки и тётеньки с мышлением 19 века.
Чрезмерное законодательное регулирование решает 1 вопрос/проблему и тут же порождает десяток других.
Более правильным на мой взгляд, было бы решение
а) не запрещать и не ограничивать законом методы/технологии защиты от скрапинга,
б) не запрещать законом сам скрапинг.
Про запрет препятствовать скрапингу как-то сомнительное решение суда. Владелец сайта на то и владелец, чтобы решать, кто и на каких условиях будет пользоваться размещенной на нем информацией. Захочет — так вообще диапазон IP заблокирует для своего сайта. «Злостное вмешательство в контракт» тоже неясно, почему применили. Какое отношение имеет Linkedin к договорам, заключенным третьими лицами друг с другом? Да никакого не имеет. Может, конечно, это юридическое правило имеет свою специфику применения, которая подходит в данной ситуации. Но в целом — ощущение неправильности.
В такой ситуации можно прийти к тому, что только гуглу (и другим корпорациям) будет позволено парсить сайты. И это неправильно. То, что вы владелец ничего не значит, так как вы живёте в обществе и благодаря обществу имеет определенные возможности. И у общества есть свои интересы помимо ваших.
Возьмем и заселим к вам в квартиру несколько бездомных. То что квартира в вашей собственности — ничего не значит, вы же ее благодаря обществу приобрели, а у него свои интересы.
Вот мы и пришли к тому, что нужен разумный баланс. Может даже вводить для корпораций отдельное законодательство, чтобы затем не бороться с их монополиями.

А от общества вы ни как не уйдете, вы в нём живете, платите налоги, соблюдаете правила и законодательство. Например, в «Европах», если квартира или дом в вашей собственности, то это еще не означает, что вы можете как угодно его модифицировать без соглашения с обществом. Вам запретят вешать внешний кондиционер, без согласования делать ремонт и вот это всё.

Вы утрируете, а в Испании действительно есть проблема «окупас». Если в отсутствие владельца кто-то проникнет в жильё и поселится там — выгнать по закону можно лишь через суд. Суды тянутся долго, причём за это время «окупас» даже могут успеть продать жильё.

Хм. Проблема позвать друзей и набить морду «окупасу»?
… и сесть на много лет, когда тот вызовет полицию, да еще и выплатить компенсацию за ущерб.
Мда, дебильные законы.

Да и не обязательно представляться. Маски/перчатки, избить, вывезти за город. Самим приехать через неделю. Можно подумать, что кто-то будет расследовать их заяву (если вообще обратятся) так, как убийство президента.

Да, закон — идиотский (спасибо коммунизму головного мозга у отдельных законодателей), что не делает вас правым.

Я не прав том, что не могу выгнать людей из своего дома? Закон должен быть для человека, а не человек для закона. Без обид, но это рабский менталитет какой-то. Все таки украинцы в чем то правы, когда называют россиян рабами.

Какой бред.
Не потому, что вы не можете выгнать (да, закон — идиотский), а потому что считаете себя умнее других, предлагая самое очевидное и тупое решение, не имея понятия о ситуации и выдумывая аргументы по ходу дела.

Каждый останется при своем мнении. Хотите быть рабами — будьте ими, но не считайте себя правым.

В цивилизованных странах применение насилия допускается лишь в случае, если на вас нападают так, что имеется угроза вашей жизни или здоровью. Если же чувак мирно сидит на вашем диване в вашей квартиры и смотрит ваш телик, то ваш единственный разумный выход: вызвать полицию, показать документы на квартиру, заявить о незаконном проникновении и дать им действовать по обстановке. Если вы начнёте решать дела сами, "как настоящий мужик", а чувак окажется не промах и подаст на вас за побои, за порчу выкинутого из квартиры имущества, то всё чего вы добьётесь — присядете чутка, оплатите ему лечение и стоимость имущества (оцененного с его слов).


Подпись: не россиянин и им не был.

Можно сделать так что бы подавать за побои было бы некому. По человечески ничего плохого в уничтожении такого «окупаса» не вижу

Т.е. заодно вырезать всех родственников до 7 колена, чтобы никто не мог подать иск? Как вы себе эту авантюру представляете, в деталях?

Для запуска расследования достаточно собственно трупа или даже просто пропажи человека. Заявитель совершенно необязателен. Или вы думаете что если внезапно целая семья пропадет, то никто этого не заметит? Вы точно из нашего времени, а не из раннего средневековья?
Кто хватится семьи бомжей, нарков или еще каких маргиналов?
Ну да, а если там окажутся местные черные риэлтеры с обширными связами с криминалом будут пропадать владельцы, которые решали вопрос силой, причем тоже с концами, и никто их тоже искать не будет.

Тут уж либо не ищут никого и полиция не работает, но тогда вы сами легко можете «пропасть» в ближайшем лесу, либо законы работают и тогда за «пропажу» любого маргинала вы садяете лет на двадцать.
Социальные службы. Соседи которые вчера их видели в доме, а сегодня нет. Та же полиция, которая в курсе их существования. Те, кто наткнутся на последствия попытки избавиться от тела. Те, кто заметят подозрительных людей с подозрительным грузом. Да масса вариантов на самом деле.
Можно подумать, что кто-то будет расследовать их заяв

С точки зрения полиции это примерно так же как избить в масках конкурентов. Они вполне законопослушние граждане и ваши претензии полицию не интересуют.

Да и не обязательно представляться. Маски/перчатки, избить, вывезти за город. Самим приехать через неделю

В стране, где полиция работает — придут сразу к тому кому выгодно. С их точки зрения это не отличается от того что вы взяли и избили любого другого гражданина.

Кстати, в такую игру могут играть в двое ворот. Ваши друзья приехали в масках — избили, полиция вас не поймала, завтра их друзья приехали (они же дураки и понимают за что их били) и вообще вас чуть не убили и полиция тоже скажет ничего не знаем. Такие разборки это уровня 90-х, можно и до перестрелок крышующих мафий дойти. Но боюсь именно добропорядочный владелец больше всех потеряет.
Вы в какой-то другой реальности обитаете или носите розовые очки, если считаете, что в Испании нет мафии и все всегда делается по строгому соблюдению закона.
Поезжайте, предложите свои услуги, раз считаете себя хитрее всех. Напишите потом, как обстоят дела с IT в испанской тюрьме.
Вот да. jcpenney пишет: «We Are Currently Unable to Provide a Shopping Experience for This Country» и не дает возможности даже просто полазить по нему, прицениться… Просто по IP адресам из России.
На вопрос: «Зачем туда полез и чем тебе это мешает?» у меня есть ответ. Хотел на наш американский офис отправить заказ заранее, чтобы забрать там во время поездки.
И, тем не менее, я считаю, что JCP имеет право дать мне отворот поворот, как бы обидно и неудобно мне это ни было.
Почему нет?

«Какого фига вы закрываете занавески? Я привык зарабатывать, выкладая в сеть ваше домашнее видео, а вы мешаете моим доходам!»

Это ещё один шаг к обещанной кажется Хоккингом сингулярности — к порядку вещей в котором ИИ создаёт сайты "про людей", которые парсятся ботами для дальнейшей перепродажи контента. Люди превращаются в ходовой товар, а первые страницы списка "Форбс" занимают ИИ и прочие боты.
И ещё — "запрещено препятствовать" — это вам как? Меня чёт передёрнуло… Так и до "уклонения от надзора" не далеко.

Когда я пытался скачать абстракты статей (не сами статьи!) с сайта Physical Review меня тупо забанили по ip да и всё.
<мой вариант, напишу в комментариях>
Есть сайты, которые не рассчитаны на 1К rpm, даже 100 тяжко даются. При том обычно они малопосещаемы, соответственно, ресурсов на доработку не выделяется. Если такой сайт начинает сканить хотя бы один бот, причём целенаправленно, остаётся только спасаться лимитами в Nignx, иначе сайт ляжет для всех.
Воздержался от голосования, ведь все это двояко. С одной стороны, я за разрешение скрапинга и что греха таить сам не плохо знаком с этим и часто использую в своих проектах, но с другой стороны массовое с выгрузка данных с сайта приводит к дополнительным нагрузкам на него, а значит к доп. расходам для владельца сайта, что плохо. Поэтому, тому же linketin'y лучше было бы создать удобное api и вместо судов предоставить таким проектам альтернативу. Думаю, что даже за небольшую плату согласились бы именно пользоваться api, чем парсить сайт.
Исключительно-своевременная новость!
Как раз работаем над ресурсом по агрегированию новостей из штатовских новостных сайтов и сильно напрягались насчет легитимности.
Спасибо.

Легитимности это решение не прибавляет, только легальности

Легальность влияет на легитимность, если определять по Веберу.

Предположим,
— у меня есть сервер;
— на сервере крутится сайт;
— сетевое подключение ограничено тарифом для юридических лиц «1 Мбит/с за 100500 рублей»;
— боты не могут безгранично парсить сайт, т.к. всё упирается в скорость передачи данных.
Создаю ли я препятствия ботам не оплачивая более дорогой тариф?

Защита от DDoS-атак тоже становится «вне закона»? Зашёл миллион-другой ботов на сайт и начинают собирать общедоступную информацию.
Да ладно, неужели и фейсбук заставят отдавать ботам полную информацию.
Очень спорный прецедент.
Насколько я понимаю, аналогичным образом можно привлечь и Google за препятствование парсингу SERP-ов и капчи как таковые.
Очень и очень спорно. Один лишь пример. Мне для решения некоей задачи (надеюсь скоро опубликую на хабре статью об этом) потребовалось множество прокси-серверов. Есть сайты, публикующие список прокси. Например www.proxyrotator.com/free-proxy-list. ВСЕ БЕЗ ИСКЛЮЧЕНИЯ (по крайней мере те что я находил) они платные. Оформляешь подписку и качаешь список прокси через API. Веб странички там исключительно демонстрационные. И чтобы всякоразная хитрожопая публика не извлекала из них прокси на халяву, применяются меры антискрапинга. Например на www.proxyrotator.com/free-proxy-list ip-адрес замусорен невидимыми символами, а номер порта передаётся в виде картинки. Я, когда мне это было надо, всё это успешно преодолел. Однако в этой ситуации я считаю неправым СЕБЯ, а не владельца сайта. Это его бизнес. И он вправе его защищать. Что, по новому закону получается он не имеет на это права ???
А мне вот вообще непонятно, как на суде будет доказываться, что сайт именно препятствует скрапингу. Например, если владелец заявит, что ему технически удобно передавать номер порта как картинку, а в ip-адрес добавлять невидимые символы?
Мне это тоже абсолютно непонятно. Есть общепринятый стандарт веб-страничек — html. Я имею полное право публиковать абсолютно всё, что с ним совместимо (если конечно сама информация не нарушает закон). А если какой-то хитрожопец желает перевести информацию с моей странички в какой-то другой формат (что собственно и есть скрапинг), то это ЕГО проблемы, а не МОИ. Если уж доводить до абсурда, то публикуя фотографию девушки, я по этому закону обязан выложить все её личные данные. Ведь вдруг какому-то скрапперу это понадобится!
то это ЕГО проблемы, а не МОИ
Да, ровно до тех пор пока вы не начинаете считать скраппер вашей проблемой и решать ее. Впрочем если вы создали проблемы для всех ботов сразу, то скорее всего к вам претензий не будет. Но вы, как владелец сайта, наверняка захотите чтобы проблемы не появились у поисковых ботов. И в тот момент когда вы начинаете разделять ботов на плохих и хороших и давать информацию только одним — вы однозначно попадаете под действие обсуждаемого закона. Ничего сложного тут вообще-то нет.
Если уж доводить до абсурда, то публикуя фотографию девушки, я по этому закону обязан выложить все её личные данные. Ведь вдруг какому-то скрапперу это понадобится!
Ваш переход необоснован: по закону вы обязаны не препятствовать получению информации которая на вашем сайте уже есть и публична (то есть не закрыта специально и очевидно). Если там не было данных этой девушки, то по закону вы не должны их предоставлять, никакой проблемы здесь нет.

Посмотрят джиру и увидят там задачу "сделать антискрапинг". Все просто. Или еще проще, спросят под присягой. А вранье под присягой ну очень черевато.

Что, по новому закону получается он не имеет на это права ???
По новому закону вполне может оказаться что вести бизнес именно так — действительно нельзя. Точно так же как есть законы против работорговли, которая тоже была чьим-то бизнесом или законы ограничивающие работу казино. Это вид регуляции. С новым законом владельцам этого бизнеса придется либо перестать публиковать даже демонстрационные страницы, либо перейти на другую модель заработка.
Так можно очень далеко зайти. См. выше мой ответ tommyangelo27.

Мне интересно как можно доказать препятствие работе скрапперов?
Ага. Это и есть самый смех. См. комменты чуть выше.

Заключения экспертов.

Ну например, свидетельскими показаниями. «Мой босс вызвал меня и велел придумать для нашего сайта капчу, потому что скрапперы уже задолбали».
Отлично!
Давайте сделаем генератор скрапперов для сайтов США и будем искать такие, которые попадут под этот прецедент. А потом слать письма или нанимать адвокатов и выигрывать миллионы!
HiQ забирает информацию только из общедоступных профилей LinkedIn.
Эмм, но ведь там уже много лет authwall для всего подряд. Или пользователи могут его настройками приватности отключать для своего профиля? Есть примеры таких «общедоступных»? Мне что ни попадались — везде authwall.
НЛО прилетело и опубликовало эту надпись здесь
Хороший план :)
Или продавать за пол цены право присоединиться к группе с экскурсоводом.
Нуачо? Все равно ведь рассказывает, от него не убудет.
Если будешь рассматривать право так узко у меня для тебя плохие новости, приставить лестницу без разрешения директора ты не можешь по закону, лицензии на туристическую деятельность у тебя нет, обеспечить безопасность своих зрителей ты не сможешь ну и так далее…

Всем добавившим статью в закладки, возможно, будет интересно. В начале лета в Евросоюзе наконец-то была принята Директива об авторском праве на Едином цифровом рынке.


Официальные исследователи могут теперь в исследовательских целях автоматически собирать и обрабатывать данные (text and data mining, TDM), если это не создает проблем в функционировании ресурса, даже если в иных случаях это запрещалось бы законодательством об авторских и смежных правах. Можно даже на какое-то время сохранять собранное локально для верификации результатов исследований.


Но скрапить персональные данные GDPR почти прямо запрещает, как выше уже писали в комментариях.


И Solid тут порекламирую, конечно.

Не хотите чтобы данные не попадали кому бы то ни было — просто не выкладывайте их в интернет. Либо создавайте легенду, меняйте адреса и фамилии. Попало в интернет — все, забудь о своих правах на защиту по закону.
Любая. Повторюсь любая регламентация интернет — путь к цензуре. И не важно кто этим занимается — власти самой демократической страны, Мордор или парочка компаний и крупных бизнесов

Ну а как вы хотели. Или тогда давайте действовать так чтобы законы каждой страны действовали на территории где находится клиент и тогда придется ограничивать доступы, судиться и делать прочие телодвижения чтобы эти ваши права защищались.

А если кто-то выложил данные против воли?

По данному вопросу наше законодательство и его исполнение гражданами гораздо прогрессивнее) У оцифрованной информации есть неотъемлемое свойство — неограниченное копирование и как-то запретить его невозможно.

А ведь какой-то инофирмочке я писал модуль грабилки из LinkedIn на SQL сервер… Даво это было — названия уже не вспомнить… Интересная задачка была, учитывая расположение и формат данных — где-то неделю убил на это.

Получается, согласно этому закону, google (а также яндекс, при наличии у него представительства в США), тоже не могут препятствовать сбору данных и анализу поисковой выдачи в любом объеме.

Тут вопрос «многогранный», который может (и должен) рассматриваться с разных сторон.

С одной стороны если кто-то публикует информацию на ЛинкедИн, то он делает (во всяком случае должен делать) с одной целью — чтобы как можно больше потенциальных работодателей могли найти его, и предложить лучшую из возможных работ. Поэтому там не должно быть никакой «порочащей информации» по определению. Это — «визитная карточка» (или «рекламный буклет») потенциального работника. Плюс, чем больше «клиентов» увидят эту информацию, тем лучше. Поэтому доступ должен быть открыт для всех и вся (а если какая-то информация не должна быть в открытом доступе, то ее изначально не нужно туда выкладывать, или нужно редактировать/удалять).

Другой вопрос — «интеллектуальная собственность». Есть понятие «писатель» (создатель информации), и «публицист» (который эту информацию показывает другим). «Авторские права» принадлежат создателю (да, права могут принадлежать «публицисту», если была официальная передача прав от «создателя»). В случае с ЛинкедИн, они просто являются «площадкой», на которой «пользователи» размещают СВОИ данные. То есть ЛинкедИн не имеет «эксклюзивных прав» на содержимое своего сайта (ну, кроме вещей, которые они сами создали). Поэтому я еще могу понять, если кто-то из опубликовавших свое резюме (опять же, в «публичном доступе»), предъявит претензии кому-то еще, что «те скопировали его резюме с ЛинкедИн и использовали без его разрешения». Но опять, ЛинкедИн не имеет прав на содержимое своего сайта, так как «авторские права» им не принадлежат.

PS. Я понимаю откуда растут «претензии» ЛинкедИн. Чисто бизнес, ничего личного. Если кто-то берет информацию с их сайта (причем в автоматическом режиме), и использует где-то у себя для получения прибыли, то это «потенциальные убытки» ЛинкедИн. Причем именно «потенциальные».