В общем, есть доказательство, что robots.txt, на которые переводит стрелки Яндекс, не всегда спасают от индексации. Т.е. надо вешать именно замок, а табличку «закрыто» яндекс игнорирует.
Да это даже интереснее сексшопа — можно заранее узнать имена попутчиков и прикидываться потом Шерлоком Холмсом. Или устроить флэшмоб — встречать заданный поезд с плакатами имён пассажиров.
У меня в 3х-комнатной квартире весь день включены 5 компьютеров, ночью один. В сумме с другой бытовой техникой это действительно заметно жарит. Отопление зимой мы не включаем, оплата по счетчику, но платить все равно приходится (коммунальщики несколько раз присылали мальчика с ноутбуком, подключался к нашему квартирному счетчику отопления, чтобы «доказать» что мы дурим счетчик) — специально для нас разработали «норму», что если счет выходит меньше какого-то числа за метр, то надо платить за метраж пропорционально расходу на общие помещения. Я говорю — вы на счет за электричество посмотрите, станет ясно, кто нас греет. Но контору отопителей не греет тот факт, что на мне нагревается контора электриков, у них разные кассы :)
Да. У меня на всех сайтах и метрика, и аналитикс. И нигде я не видел в соглашениях моего согласия на индексацию тех урлов, которые я передаю метрике. Я их Метрике передаю, чтобы он мне статистику считал, а не поисковому индексу на публикацию. Это ведь разные сервисы.
P.S. От того, что понижением кармы вы не даете мне отвечать чаще 5 минут, моё мнение не изменится :) Приводите более убедительные аргументы.
А соглашались ли они где-нибудь явно на индексацию/публикацию этих URL'ов (частной информации, принадлежавшей владельцам сайтов, открытой ими только пользователям)? Тут противоречие и упоминаемому Вами ФЗ.
Мы не знаем, по какому каналу пришло письмо тем пользователям. Вполне возможно, что на MX оно пришло по SMTP со STARTTLS (на своём сервере вижу, что многие отправители его используют, т.к. видят анонс его поддержки в EHLO), и с большой вероятностью пользователь прочел его по httpS или imapS. Т.е. нигде от очереди исходящих на почтовом сервере шопа и до почтовой программы у пользователя открытым текстом оно не шло.
Да и какая разница — сниффинг паролей вряд ли законное дело. А тут как раз полная аналогия (не с открытого сайта стащен URL, а с промежуточных «технических средств»).
Да, кстати, а Яндекс спрашивал разрешение у пользователей на хранение (не говоря уж о публикации в индексе) их информации, когда получал эту информацию в шопе?
Или на поисковые системы закон не распространяется? В смысле — скупщик краденного не вор? Тогда надо еще отдельный закон для поисковиков придумать, иначе от ФЗ-152 будут отмазываться «я не получал информацию от пользователей, я её только индексировал, как поисковик».
Все таки страничку с никому неизвестным адресом нельзя считать обнародованной. И мой визит на секретную страничку тоже не «народует» её. Эдак можно до чего угодно договориться. Пароль на мой MySQL тоже не обнародован. Предупреждаю: если яндекс стащит откуда-нибудь мой пароль, то не читайте мои таблички :) Или, если хакер стащил мой пароль, а я не забанил чужие IP в конфиге MySQL, то тоже я виноват, а хакер белый и пушистый сидит в открытом интернете и ищет незапертые двери?
Спалённых уже не спасти, они о новых думают. На странице изначально не будет никаких данных, а только вопрос «ваша фамилия, гражданин», яндекс её не знает и дальше воровать не пойдет, соответственно ничего кроме вопроса в индекс не попадёт. Но туда будут ломиться спец-роботы, которые натаскали урлов про «твоё фамилиё» из яндекса, и далее атакой по словарю фамилий будет доиндексировать яндексовые недоработки. А может и яндекс наловчится подбирать — в борьбе за полную индексацию. Список фамилий — открытая информация, чо!
Эти данные не были публично доступны ботам, пока метрика не стащила секретный URL в пользовательском браузере.
Она (метрика) конечно не могла не узнать этот URL из реферера (и админ шопа ей это явно разрешил), но вовсе не должна была этот URL включать в общий индекс. Пауки пауками, а метрика метрикой. Паук не нашел бы этот URL, т.к. его нет нигде кроме письма у пользователя.
Если я начну перечислять в своих robots.txt все секретные каталоги своего сервера (на всякий случай уж), то яндес-роботов это может и отвадит, зато других роботов наоборот привадит именно туда!
P.S. Есть еще один способ «сдачи» поисковикам секретных URL'ов, даже если там нет никакой метрики — рефереры. Если на секретной страничке была ссылка на другой сайт, то пользователь може туда сходить с выдачей этому сайту своего секретного урла. А если например статистика рефереров того сайта открыта, то роботы доберутся до секретной страницы и без метрики. Т.е. там должна быть зашита, даже если метрики нет (поэтому, кстати, трюк с редиректом не очень-то надежно поможет). Поэтому безусловная виновность яндекса не означает, что авторы шоп-скрипта не виновны. Они тоже виновны, но яндекс больше :)
> Все, что вы делаете доступным любому человеку, доступно и Яндексу. Ведь так?
Если ЛЮБОМУ, то так. Но шоп выслал секретный URL (как если бы выслал пароль) ОДНОМУ человеку, ни на какой сайт «для всех» этот URL не помещал, а без этого никто бы его «случайно» не подобрал. Т.е. фактически никакого отличия от пароля. И Яндекс, взяв этот URL из адресной строки пользовательского браузера (а не с открытого сайта) выдал его всем.
Точно также он может стащить на пользовательском браузере (яндекс.баром) и параметры POST-запросов, и пароли. И стащит когда-нибудь, если его на первых кражах не остановить.
Разница принципиальная. Все те секретные URL'ы, по которым прошелся Яндекс НЕ БЫЛИ в публичном доступе (или где тот сайт, откуда он их взял?).
Поэтому и возникает вопрос — где он их взял? Либо через метрику — скрипт метрики стащил урл из адресной строки в пользовательском браузере (ваша адресная строка — открытый доступ?), либо через яндекс.бар, который тоже берет адрес из браузера, а не с открытого доступа.
В следующий раз он стащит не URL из браузера, а пароль, который вы ввели в том же браузере, но в другом поле — это тоже ему прощать?
Здесь именно вывернули карманы пиджака (браузера) на Пете (компьютере пользователя). Никуда этот секретный URL не падал — ни на какой открытый сайт его авторы шопа не выкладывали. Яндекс стащил его из браузера пользователя — кармана на живом Пете. Без угрозы насилием, конечно, а незаметно для него. Какая там статья для карманных воров?
В данном случае URL (как ключ к секретной странице) был ТОЛЬКО на пользовательском компьютере в адресной строке его браузера. Не на сайте («камере хранения») каком-нибудь, и даже не в реферере. Натурально стащил из-за незапертой двери.
Если этот ключевойURL был в открытом доступе — то пусть Яндекс в свою защиту приведёт URL страницы, на которой он увидел этот «открытодоступный» ключевойURL! Тогда все претензии к Яндексу снимаются, и виновными остаются авторы шопа в одиночку.
Вот, наконец, и вывод дискуссии: поисковые машины — кровососы, паразиты и хищники? Яндексов бояться — в Сеть не ходить :)
Всё таки Яндекс в данной истории стащил URL НЕ СО СТРАНИЦЫ В ИНТЕРНЕТЕ, а скриптом на странице стащил адрес страницы или яндекс.бар'ом в браузере стащил адрес посещаемой страницы. В первом случае он без ведома пользователя запущенным у пользователя скриптом стащил приватные данные, во втором — вроде как с ведома (пользователь сам установил бар), но все равно приватные.
Если Яндекс в этой истории будет оправдан, то в будущем писатели кейлоггеров будут иметь прецедент-отмазку «а нефиг было пароль на клавиатуре набирать, она в открытом доступе (моему шпиону)». Может Яндекс.Бар кроме урлов и пароли сливает? Где его исходники? И что, он потом скажет, что надо было в robots.txt написать «яндекс, не используй мой пароль»?
Программисты шопа, конечно, виноваты, но это не значит, что Яндекс не виноват. И Яндекс виноват намноооого больше.
А еще можно показывать сокращенную фамилию и сокращенный адрес :) Как номера кредитных карт никогда не показывают на страницах полностью — наверняка уже давным-давно на грабли с утечками натыкались.
P.S. От того, что понижением кармы вы не даете мне отвечать чаще 5 минут, моё мнение не изменится :) Приводите более убедительные аргументы.
Да и какая разница — сниффинг паролей вряд ли законное дело. А тут как раз полная аналогия (не с открытого сайта стащен URL, а с промежуточных «технических средств»).
Или на поисковые системы закон не распространяется? В смысле — скупщик краденного не вор? Тогда надо еще отдельный закон для поисковиков придумать, иначе от ФЗ-152 будут отмазываться «я не получал информацию от пользователей, я её только индексировал, как поисковик».
Она (метрика) конечно не могла не узнать этот URL из реферера (и админ шопа ей это явно разрешил), но вовсе не должна была этот URL включать в общий индекс. Пауки пауками, а метрика метрикой. Паук не нашел бы этот URL, т.к. его нет нигде кроме письма у пользователя.
Если я начну перечислять в своих robots.txt все секретные каталоги своего сервера (на всякий случай уж), то яндес-роботов это может и отвадит, зато других роботов наоборот привадит именно туда!
P.S. Есть еще один способ «сдачи» поисковикам секретных URL'ов, даже если там нет никакой метрики — рефереры. Если на секретной страничке была ссылка на другой сайт, то пользователь може туда сходить с выдачей этому сайту своего секретного урла. А если например статистика рефереров того сайта открыта, то роботы доберутся до секретной страницы и без метрики. Т.е. там должна быть зашита, даже если метрики нет (поэтому, кстати, трюк с редиректом не очень-то надежно поможет). Поэтому безусловная виновность яндекса не означает, что авторы шоп-скрипта не виновны. Они тоже виновны, но яндекс больше :)
Если ЛЮБОМУ, то так. Но шоп выслал секретный URL (как если бы выслал пароль) ОДНОМУ человеку, ни на какой сайт «для всех» этот URL не помещал, а без этого никто бы его «случайно» не подобрал. Т.е. фактически никакого отличия от пароля. И Яндекс, взяв этот URL из адресной строки пользовательского браузера (а не с открытого сайта) выдал его всем.
Точно также он может стащить на пользовательском браузере (яндекс.баром) и параметры POST-запросов, и пароли. И стащит когда-нибудь, если его на первых кражах не остановить.
Поэтому и возникает вопрос — где он их взял? Либо через метрику — скрипт метрики стащил урл из адресной строки в пользовательском браузере (ваша адресная строка — открытый доступ?), либо через яндекс.бар, который тоже берет адрес из браузера, а не с открытого доступа.
В следующий раз он стащит не URL из браузера, а пароль, который вы ввели в том же браузере, но в другом поле — это тоже ему прощать?
Если этот ключевойURL был в открытом доступе — то пусть Яндекс в свою защиту приведёт URL страницы, на которой он увидел этот «открытодоступный» ключевойURL! Тогда все претензии к Яндексу снимаются, и виновными остаются авторы шопа в одиночку.
Всё таки Яндекс в данной истории стащил URL НЕ СО СТРАНИЦЫ В ИНТЕРНЕТЕ, а скриптом на странице стащил адрес страницы или яндекс.бар'ом в браузере стащил адрес посещаемой страницы. В первом случае он без ведома пользователя запущенным у пользователя скриптом стащил приватные данные, во втором — вроде как с ведома (пользователь сам установил бар), но все равно приватные.
Если Яндекс в этой истории будет оправдан, то в будущем писатели кейлоггеров будут иметь прецедент-отмазку «а нефиг было пароль на клавиатуре набирать, она в открытом доступе (моему шпиону)». Может Яндекс.Бар кроме урлов и пароли сливает? Где его исходники? И что, он потом скажет, что надо было в robots.txt написать «яндекс, не используй мой пароль»?
Программисты шопа, конечно, виноваты, но это не значит, что Яндекс не виноват. И Яндекс виноват намноооого больше.
Ну, секретный URL тоже ведь можно считать своего рода паролем…