Pull to refresh

Comments 278

Поисковик проиндексировал ссылки, доступные без авторизации. Ужас!
Ну мало ли что они доступны без авторизации, пусть Яндекс докажет, что они были доступны свободно в интернете, а не слиты Яндексу его браузером.
Если эти файлы были доступны в интернете, то чего Яндексу вообще боятся и удалять их из выдачи? Доказали бы, что они тут не при чём, выдав адреса куда люди сами слили эти ссылки.
А так что-то дурно пахнет это всё.
Даже если слиты браузером, в чем проблема? Если браузер собирает обезличенные данные, а ссылка публичная, то все ok.

Если бы яндекс слил данные, которые под паролем находятся, тогда другой разговор.
Кто сказал, что эта ссылка публичная?
А браузеру точно разрешали собирать данные? Я им не пользуюсь не в курсе.
Если конечно там прям так и написано, что все страницы посещённые вами будут переданы поисковику, то проблем нет.
любая ссылка без авторизации потенциально может быть проиндексирована. Разве не так поисковики работают?

robots.txt индексацию не запрещал, пароль на ссылку никто не поставил.
Так то так, но чтобы ссылка была проиндексирована, она должна у поискового робота откуда то появится. И вся проблема только в этом.
Представим, что я её поисковику засабмиттил. Прислали мне ссылку на документ, а я её добавил в индекс (у Яндекса, вроде, форма где-то была, чтобы добавить ссылку). Нигде ведь не дано определение «публичной ссылки».
Да уже вопрос снят и проблемы нет. Осталось услышать подтверждение от Яндекса, что они используют браузер пользователей для индексации интернета.
В соглашении они получили для себя это право.
Все браузеры так делают. Chrome тоже. Не то чтобы это нуждалось в подтверждении.
В FF это отключается, например.
Кому FF отправляет ссылки, и как это отключить?
Не вижу чтобы там было написано, что собираются адреса посещённых страниц.
Откуда у вас информация, что хром использует статистику для наполнения базы краулера?
Действительно, поискал сейчас — есть исследования, доказывающие, что это не так. Что ж, значит, некоторые работодатели, запрещающие использование Chrome, слишком параноидальны (хотя информация с загруженных страниц вполне может использоваться менее очевидным образом).
Да ладно? Если у вас адресная строка совмещена с поисковой, а у поисковой есть auto-suggest, то браузер чуть ли не автоматом слил инфу в ваш поисковик ещё до того как вы нажали enter.
То, что он послал строчку в поисковик ещё не значит, что поисковик включит эту страницу в индекс. Ваш КО.
> Разве не так поисковики работают

Не совсем, для индексации ссылка должна попасть в поисковик. Из известной поисковику страницы, ручным заявлением или из карты сайта (которая указана в robots). Просто случайную страницу он не схватит, ради чего-то (профиля аккаунта?) они сливают посещённые страницы. Помнится, этим страдал один сервис и тогда это вызвало всеобщее возмущение, но сервис обламывается об https, а браузер — нет.
В вашем «интересном случае» ни слова о том, что документы были доступны только через секретный URL…
это ж внутренняя вики, они не были доступны вообше никак за пределами внутренней сети. а гугл все равно проиндексировал :)
Судя по статье на которую вы ссылаетесь «они не были доступны вообше никак за пределами внутренней сети» — это было пожелание. А в реальности они-таки были доступны. Потому Гугл их и проиндексировал…
См. (только я б заменил в его комменте «Яндекс.Браузер… добавил ссылки…» на «есть подозрение, что Яндекс.Браузер… добавил ссылки…»).
Да, п.5.1 — yandex.ru/legal/browser_agreement
Я вам еще больше скажу: в Метрике есть отдельный пункт «отправлять на индексацию страницы, посещенные пользователем». Это немного оффтоп, т.к. в доксе явно Метрика не стоит, но все же.
Ну тогда взятки гладки, не понятно почему тогда Яндекс испугался и удалил выдачу.
Раз уж легально собирают всё, то зачем бояться.
Это же могли быть ссылки не только собранные браузером :) И не только легально…
Если бы эти документы всегда показывали, то никто бы и слова не сказал, а вот так вдруг появившийся немаленький пул специфических документов — это что-то не то. Вот и решили, что проще выпилить, чем потом объяснять РКН кто тут верблюд.
Ой да они там уже могли лежать годами как это было с контактом, а потом тото догадался сделать хитрый запрос и всё всплыло.
Ну тогда взятки гладки, не понятно почему тогда Яндекс испугался и удалил выдачу.
Раз уж легально собирают всё, то зачем бояться.

Потому что не все так просто.
1) Нельзя просто написать «пользуясь браузером вы отдаете все имущество и личную свободу компании Яндекс», то есть написать можно, а вот легально работать оно не будет, так как есть базовые права, которые нельзя нарушать договорами, в частности право на приватность личной жизни, всякие права на защиту персональных данных.

2) Там не сказано про индексацию, только использование для улучшения сервиса. Проблема в том, что по сути персональные данные раскрылись всему свету из-за ошибки Яндекса (он не должен был индексировать приватные ссылки на диски),

3) И если вам мало, Яндекс имеет офисы в ЕС, среди пользователей его браузера найдутся русскоязычные граждане ЕС у которых могли утечь в сеть приватные данные (вроде скана паспорта) — те кто следит за соблюдением GDPR с радостью вкатят штраф в десятки миллионов $. Впрочем в РФ тоже есть закон о персональных данных (не следил, не знаю насколько он страшен).

Постойте, приватные данные раскрылись всему свету из-за ошибки пользователей, а не Яндекса. Яндекс не виноват, что пользователи не понимают различия между "доступен по ссылке" и "доступен по паролю"

А вот это нужно доказывать в суде, что это вина пользователей, а не злоупотребление сбором статистики. В случае, GDPR в теории могут наказать за намного меньшие проступки. Но вот говорить однозначно в лицензии есть, то все нормально — не стоит, юридически это не так.
Я думаю, тут и доказывать нечего. При чем тут GDPR? Гугл доксы никогда не позиционировались как защищенное хранилище приватной информации. Положил пароли в облако — сам дурак!, все, что попало в Интернет, рано или поздно будет скомпрометировано. Я даже облачному LastPass не доверяю, а народ открытым текстом кладет, и потом у них хватает совести вопиять «Ах гадский-гадский Яндекс, проиндексировал нашу инфу!» «Ах, у нас украли!» Да не у вас, блин, украли — вы сами туда это положили.
Да нет. У меня украли. Я ввёл строку запроса в браузере, а он рассказал о ней всему миру.
Ну а кто виноват, что вы пункт 5.1 в соглашении не прочитали?
Тут я с вами согласен. Пользователи Яндекс Браузера ССЗБ.
Однако стоит заметить, что невозможно отследить за изменениями лицензионных соглашений при каждом обновлении всего испольуемого софта.
ТАк что по хорошему, такие вещи на уровне законов должны признаваться не имеющими силы.
И я с вами согласен, пункт 5.1 — это полный п.
Где тут ошибка пользователя?
У меня в доме доступ по коду — разве код стал публичным от того, что я его записал в телефонный блокнот?
Сам URL является кодом доступа. Он не нигде не публикуется, значит его знают только те, кто должен. То что поисковик своими махинцаями за ним подглядел — так он также может и пароль подсмотреть.

Если ваш телефонный блокнот доступен без пароля в интернете — то да, он стал публичным. Неправда ли все те, чьи iot устройства с дефолтным паролем можно найти через shodan.io — сами виноваты? Чем лучше те, кто оставил свою информацию в интернете БЕЗ пароля?
Яндекс же не скопировал все эти пароли в фейсбук с заголовком "Шок! Слитые пароли", он просто их нашел. Он же, как бы, поисковик.

Что значит «нашел»? Каким волшебным образом?
Он его «нашел» в моей записной книжке, доступной ему.

Есть разница между "браузер проиндексировал приватную информацию, и ее теперь видно в поиске (хотя по ссылке она не доступна)" и "браузер намайнил какой-то урл, на который из интернета пришел бот и в поиске появилось что-то (что доступно любому по этому урлу)"

Нет НИКАКОЙ разницы.
Даже больше — куча сервисом делается авторизщацию через передачу данных в виде хэша в get запросе. И о боже, у них на выходе получается как раз та самая ссылка, по которой можно получить доступ к данным. И что? Эти ссылки теперь можно выкладывать в интернет свободно?

Правильные авторизующие ссылки во-первых одноразовые, во-вторых потухают. Если какой-то сервис делает не так — это плохой, не безопасный сервис. Именно по той причине, что урл это идентификатор ресурса, а не способ аутентификации.

О да, типичный пользователь гугл докса должен разбираться в ИБ на уровне, на котором не каждый средний админ разбирается.
Серьезно?
От закрытой сложной ссылки вполне логично ожидать, что она не станет публичной никаким образом кроме прямой публикации.
Если оно происходит иначе — это не вина пользователя.

Пожалуй вы правы, Гуглу следовало более явно обозначить риски.

От закрытой сложной ссылки


Она НЕ закрытая. Она просто длинная и сложная, но для обычного пользователя, подозреваю, она не отличается от любой другой. Я не думаю, что они читают урлы, и транскрибируют их с английского языка. Они просто знают, что если кликнуть мышкой вот на этот набор букв — попадешь на одноклассники, а на вот этот — в документ с паролями.
Ну, я так подозреваю. Почти уверен.
Есть сервис со ссылками вида «XNNNN», где X — это случайная буква, а NNNN — порядковый номер документа. Являются ли его ссылки «сложными и закрытыми»? Можно ли доверять такому сервису свои пароли? А рабочие данные компании? Ну и кто дурак, если сделает это? И на сколько у гугла сложнее ссылки?
Когда вы сможете перебором смотреть ссылки на гугл доки — тогда ваш комментарий будет иметь какой-то смысл.
Пока — нет.
И на сколько у гугла сложнее ссылки?

По сложности подбора в квадралионы раз.
Давайте тогда доведем ad absurdum — сейчас можно прямо в url вбить base64 картинки в png и браузер покажет ее, как картинку. Какой-то хитрый одмен скинул пользователю его пароль в виде такой вот картинки в url. Пользователь открыл ее в Я.браузере. Значит ли это, что теперь Яндекс имеет право проиндексировать эту ссылку и показывать ее в выдаче своей поисковой системы по запросу «base64 пароль»?

Я больше чем уверен, что браузеры делают не настолько глупые люди, чтобы не отфильтровать схемы вроде data-uri, smb или file. И кстати найти это изображение по слову пароль при всем желании будет нельзя — потому что ни в урле, ни в картинке слова "пароль" нет

И кстати найти это изображение по слову пароль при всем желании будет нельзя — потому что ни в урле, ни в картинке слова «пароль» нет
OCR не вчера, однако, придумали…

У меня есть убеждение, что поисковики не прогоняют каждое найденное изображение через OCR. Если у вас под рукой есть ссылка с подтверждением обратного, я буду рад поменять свое убеждение:)

все те, чьи iot устройства с дефолтным паролем можно найти через shodan.io — сами виноваты?


Абсолютно да, они виноваты сами.
В настройках приватности в gdocs можно выбрать уровень — доступен только тем, у кого есть ссылка. Это отдельный пункт от «публичный документ». Пользователь, выбирая такой уровень, не ожидает что его документ покажут в поисковой выдаче, и морально к этому не готов. Он, возможно, и не против передать ссылку в яндекс, но против открытого доступа.
Так может это гугл облажался, забыв прописать правильный robot.txt?
Кто сказал, что эта ссылка публичная?
А браузеру точно разрешали собирать данные?


При чем тут браузер?

ПОСЛЕ того как ссылка была проиндексирована — она была показана обычному пользователю. У которого НЕТ АВТОРИЗАЦИИ.

И он по ней благополучно вошел.

Вы не поняли, я по то, что браузер может собирать данные для передачи на индексацию у пользователей, которые открыли эту ссылку.

В случае этих ссылок авторизация есть у всех у кого есть ссылка. Не авторизованных не может быть по определению.
>«А браузеру точно разрешали собирать данные»

Вы таки удивитесь, но вы сами все разрешили.
Или соглашение перед установкой не читали? ай-яй-яй.
P.S. Человек-айпадоножка
Скайп неоднократно ловили на том, что после передачи в нем ссылки, на эту ссылку приходил микрософт.
Хром — после захода на ссылку приходил гугл.
Яндекс что, рыжий чтоль?
Скайп неоднократно ловили на том, что после передачи в нем ссылки, на эту ссылку приходил микрософт.
А сколько раз при этом страничка попадала на Bing?

Хром — после захода на ссылку приходил гугл.
И странички потом искались?

Яндекс что, рыжий чтоль?
Судя по обсуждаемой статье — таки да…
Если браузер собирает обезличенные данные, а ссылка публичная, то все ok.

Если ссылка фактически не была опубликована, то почему вдруг она может считаться публичной?
Я создал сайт. Нигде не публиковал ссылку на него. Он оказался проиндексирован. В чем разница?
Нет разницы. Если вы нигде не опубликуете, он и не будет проиндексирован.
Неужели вы думаете, что поисковику делать нечего, кроме как случайные строки генерировать и искать, есть ли сайт с таким названием.
Но создать сайт и не опубликовать как-то не просто. Вы как минимум его опубликуете в DNS.
Хм, но ведь есть dns сервера где вся эта инфа хранится, зачем строки генерить?
Вы можете создать сайт и без DNS, и у такие есть, и они не попадут в выдачу, так как надо знать не только IP, но и порт. И угадать это совсем не просто, поэтому поисковики не гадают, они берут только то, что опубликовано.
Какая вся эта? Там только сзязь IP-имя, нужен ещё порт и адрес страницы, тем более можно получить список только корневых доменов, поддомены без разрешённого трансфера недоступны, не говоря об именах страниц.
PS. Да и список доменов получить тоже не просто. Есть у регистраторов запрос «дай все свои домены»? Подозреваю что нет, а регистраторов много.
Регистратор может не знать поддоменов, несмотря на их наличие — wildcards.
Это уже совсем сильное колдунство, так сказать «контрольный выстрел в перебор страниц».
Регистратор разве вообще их знает? Я вот указываю на регистраторе DNS хостинга, поддомены завожу на хостинге — ИМХО, регистратор об их количестве и составе понятия не имеет. И вообще об этом знает только хостинговский DNS (и более вышестоящие DNS сервера на уровне кэша, если кэш не протух). Я прав?
Домен еще не говорит о том, что там можно найти веб-сервер. Да и вообще домен — штука опциональная.
Абсолютно так же сайт не будет проиндексирован. Краулеру просто неоткуда будет взять ссылку, чтобы начать шариться там.
Будет. Просто скорость и качество индексации зависят напрямую от популярности сайта. Если просто опубликовать пустой шаблон в гугловском конструкторе — может индексироваться и месяц, а если там будет трафик (даже прямой) — намного быстрее.
У краулера _очень_ много источников, где взять ссылку на сайт/страницу. И прямой href= — это только самый простой и понятны для большинства.
У краулера _очень_ много источников, где взять ссылку на сайт/страницу.

Отсюда можно поподробнее?
Браузер, системы аналитики (я там выше про Метрику в частности писал), плагины/виджеты, всевозможные каталоги (где они сами берут ссылки хз), партнерские системы (привет Skype&Yahoo, FB&CambrigeAnalytics), мобильные приложения, скриншоты (имхо, врял ли — слишком трудоемко, но ЯДиск тем не менее очень неплохо распознает текст на скриншотах). И, наверно, еще десяток неочевидных вариантов, до которых так сразу и не додумаешься.
Другое дело, что ошибкой Яндекса в данном случае была индексация/ранжирование всех этих документов. Скорее это база, собранная для задач внутренней аналитики/обучений нейросетей, и которая почему-то попала вместо «ToAnalyze» в «ToIndex».
Все вами названное подразумевает те или иные утечки по вине юзера.
браузер — по вине юзера??
внутрисайтовая аналитика — по вине юзера?
мобильные приложения — по вине юзера?
Ну тогда извините, юзер виноват в нарушении безопасности потому, что открыл таблицу, ок.
браузер — по вине юзера??
У браузера яндекса, как пример, в пользовательском соглашении же русским по белому написано, что они аналитику собирают. Юзер выбрал его добровольно среди других альтернатив.

внутрисайтовая аналитика — по вине юзера?
Аналитика на сайте с претензией на анонимность? Серьезно?)
Вы вроде спрашивали о возможных источниках, где краулер ссылки может взять :)
Концепция защиты Gdocs и кибербезопасность в общем — это отдельная тема пары сотен докторских диссертаций)
Нет, речь шла уже не о гуглдоках, а неком приватном сайте, который, по вашем словам, обязательно окажется в лапах краулера.
Ну да. И я варианты привел. Виноват в индексации юзер или Хоттабыч — это важно? Почти все эти способы подразумевают, что не было прямой href-ссылки с индексируемого ресурса на «приватный».
Судя по интересам вы в курсе, что и как в веб-разработке? Dev-домены потому и закрывают всегда (ага, щаз) от индексации, что иначе через пару недель разработки вдруг полуготовый сайт оказывается в поиске. А иногда такие домены находят сеошники лет через 5 жизни сайта.

Я не говорю, что невозможно закрыть сайт от краулера. Я говорю, что способов получить ссылку далеко не один. И если вы не оставляли ссылку на «приватный» сайт в публичных интернетах, то это не значит ровным счетом ничего.
Виноват в индексации юзер или Хоттабыч — это важно?

Если это не важно, то что вообще важно? Может кто-то сделает выводы. Под новым углом посмотрит на привычные инструменты. И начнет как-то заботиться о своей приватности.
Котики, например, важны. Они точно важнее Хоттабыча.
Так варианты так себе — если сайт не копия для разработки, то там может не быть аналитики вообщде (не говоря об отсутствии аналитики на некоторых страницах), что за мобильные приложения? Мессенджеры? Тогда вот и вопрос к яндексу о сливе из мессенджеров ссылок ему, если нет, то каким образом ссылка в них попала? Мобильное приложение, связанное с сайтом? У большинства как-бы нет.
Остаётся браузер.
А с чего вы взяли, что используется только какой-то один вариант? Все. И еще те, что я не назвал. А на выходе и получается. что практически любой более-менее существенный контент в ограниченное время окажется в поиске.
И да, список мобильных приложений не ограничивается одними мессенджерами, совсем нет.
Я разрабатывал сайты много раз, и я не могу сказать, что индексация происходит прямо вот очень быстро. Году так в 2008-2011 если создать сайт, и вообще нигде ссылку на него не публиковать (не сабмитить в поисковик напрямую и в каталоги), то сайт и через 3-4 месяца и даже больше мог не появиться в выдаче. Сейчас, возможно, индексация идёт быстрее и активнее, всё-таки мощности железа растут.
Добро пожаловать в 2018. Даже Яндекс уже года полтора как очень и очень ускорил индексацию. Гугл примерно так с 2013-15 индексирует в течение дня, если удачно подвернется ссылка.
У любого явления есть хорошая сторона и плохая. Быстрая индексация — чаще, конечно, благо. Но иногда ведь и правда может быть ситуация, что владелец сайта принципиально не хочет его индексации. Как быть, надеяться на robots.txt и добросовестность поисковика? Так судя по комментарию представителя Яндекса, в данном случае и правда файл robots.txt был по какой-то причине проигноририрован (даже не рассматривался).
Как отделить существенный от несущественного? Если обмениваться ссылками через ICQ, например, то как-то путей не видно. И что за модильные не-мессенджеры, которые тырят ссылки?
Я ни в чем не виноват. (Хотя и работал над Яндекс.Браузером)
Имена вымышлены, совпадения случайны :)
Но жаль, что NDA не позволит вам рассказать подробности произошедшего «с той стороны».
Или?..
работал
Что там случилось — для меня такая же загадка как и для вас
Я не говорю, что невозможно закрыть сайт от краулера. Я говорю, что способов получить ссылку далеко не один. И если вы не оставляли ссылку на «приватный» сайт в публичных интернетах, то это не значит ровным счетом ничего.

В теории — конечно, получить ссылку можно множеством способов. Но их легальность и моральная чистота далеко не всегда не оставляет сомнений :)
плагины/виджеты

Вы про JavaScript код?

всевозможные каталоги

Это по сути тот же href.

браузер

А вот законность этого метода уже под большим вопросом. Я как пользователь браузера, возможно совершенно не хочу, чтобы кто-то индексировал посещённые мной страницы, если их ещё нет в индексах.
Вы про JavaScript код?

Метод сбора — ну да, js, наверно, я хз как там плагины работают и на чем написаны. Я про внешний «интерфейс» сбора информации.

Это по сути тот же href.

по сути да. А по смыслу несколько иное. Есть пользовательские ссылки, которые все и воспринимают как ссылки в классическом виде. А есть автогенерируемые каталоги, которые представляют собой свалку всевозможного хлама.
А вот законность этого метода уже под большим вопросом

Лицензию читали? принимали? Дальее вы можете или в рамках допустимого настроить чекбоксы или не использовать ПО.
Метод сбора

Нет, вы не поняли. Я именно про парсинг JS кода на сайтах. Есть же динамически подставляемые ссылки в JS приложениях, которые в теории можно извлечь, анализируя код. Хотя это не всегда тривиально (высокий риск ошибок и очень ресурсоёмкий анализ). Например:

var href = 'https://site.com/' + path + page


А есть автогенерируемые каталоги, которые представляют собой свалку всевозможного хлама.

А как связан процент хлама с вышеописанной ситуацией?)

Лицензию читали? принимали?

Если лицензия нарушает какой-то реально существующий закон — она не имеет юридической силы в этом пункте. Если не нарушает… что ж, всё равно практика отправки куда бы то ни было вводимых в адресную строку URL, даже обезличенных — это очень странно (да, я знаю про удобную функцию autosuggest от Гугла, я и сам иногда ей пользуюсь — однако я без неё проживу, раньше ведь как-то жили во времена IE 6-8).
Для этого нужно непременно перейти с нашего секьюрного сайта на внешний ресурс, где этот заголовок будут ждать.
Конечно. Но Метрика на многих сайтах есть… :)
Но далеко не все секьюрные сайты делаются людьми, которые не знают как referer работает.

У нас, например, CMS преобразует все ссылки «наружу» из somewhere.there/something в secure.site/redirect#http://somewhere.there/something (а на secure.site/redirect висит тривиальный скрипт). Referer в этом случае будет вести на secure.site/redirect, который отправит пользователя на secure.site, так что утечки не будет.
А, так эту схему придумали, чтобы не палить источник перехода? А я-то думал, проверка ссылки по базам на наличие чего-то вредоносного… :) Как пишут некоторые порталы
Проверка по базам — это по желанию. А основное — да, скрыть адреса «внутренних» страниц.
То есть это серьёзно сделано для этого? Тогда я не понимаю, адреса каких страниц скрывают, и зачем :)
Адреса страниц пользователей или групп, на которых произошёл клик по ссылке? Если скрывать такую информацию, вебмастерам будет сложнее отслеживать эффективность переходов с ссылок в разных сообществах. Но я не могу понять, как можно было бы эти данные использовать кому-то во вред.
Если скрывать такую информацию, вебмастерам будет сложнее отслеживать эффективность переходов с ссылок в разных сообществах.
Если учесть, что речь идёт о внутренних страницах, недоступных людям без пароля — то не очень понятно что могут вебмастера делать с подобной информацией.

Но я не могу понять, как можно было бы эти данные использовать кому-то во вред.
В случае если это Wiki? Сами названия страничек будут содержать разного рода конфиденциальную информацию. Названия продуктов, используемых технологий и прочего.

Тогда я не понимаю, адреса каких страниц скрывают, и зачем :)
Адреса страниц пользователей или групп, на которых произошёл клик по ссылке?
Адреса страничек, на которые произошёл переход никому не интересен — они ж публичные, мы с этого начали.

А вот адреса страничек с которых произошел переход — другое дело. На современных сайтах установлены зачастую десятки разных счётчиков и «лайков»… какой из них эту информацию сольёт — неизвестно, так что лучше сделать так, чтобы этой информации просто не было.
Мы похоже совсем друг друга не поняли. Я всё про ВКонтакте толкую, про их скрипт внешнего перехода. Какие сторонние счётчики и лайки там?))

Страницы, с которых осуществлён переход — в 80 процентах случаев доступны без пароля незарегистрированным пользователям, в том-то и дело. Это значительная часть личных профилей и ещё более значительная часть сообществ.

Адреса страниц пользователей или групп, на которых произошёл клик по ссылке?


Я написал «на которых», а не «на которые», это не было опечаткой.

В случае если это Wiki? Сами названия страничек будут содержать разного рода конфиденциальную информацию.


Вы про некую внутрикорпоративную Вики? В таком случае да. Но я писал про соцсети, с вашим сценарием и так понятно, за что есть смысл опасаться.
Я про интранет больше, да.

А в случае с социальными сетями всё банальнее и проще: они учитывают переходы со страничек, чтобы оценивать станицы, с которых переходят.

Если на страничке куча ссылок, но по ним никто не кликает — то это явно менее полезная страница, чем та, где есть одна ссылка, но на которую кликают всё время.
Так соцсеть — это не сайт, продающий ссылочную массу. Вот смотрите, есть страница со стеной юзера Васи, на ней есть посты. В некоторых есть ссылки. Зачем ВК нужно оценивать эффективность ссылок в постах Васи? Это куча геморроя, за который никто не заплатит :)
Зачем ВК нужно оценивать эффективность ссылок в постах Васи?
Не «эффективность ссылкок» в приципе. А частоту, с которой по ним кликает Петя. Чтобы понять — нужно ли этого Васю включать в ленту Пети или нет. Чтобы найти друзей с похожими интересами. И прочая, прочая, прочая.

Это куча геморроя, за который никто не заплатит :)
Наоборот — это то, что отличает современные социальные сети от MySpace и LiveJournal'а.
Чтобы понять — нужно ли этого Васю включать в ленту Пети или нет

Эм, что?)) В ленте выводятся только посты тех людей, на которых пользователь подписан явно (и кого не добавил в фильтр).

На счёт поиска друзей: те, кого обычно предлагали мне — это друзья друзей с некоторым дополнительным фильтром по вузам и профилям вузов. Для этого не нужны данные по кликам на ссылках :)

Хотя можно провести эксперимент: кликнуть у кого-нибудь на стене по ссылкам пару раз (желательно у кого-то из френдлиста одного из друзей), а потом посмотреть, выведет ли этого человека в «возможных друзьях».
А, ну и как я мог забыть — текст. Вся почта безусловно анализируется. Хотя бы даже просто для того, чтобы проверить на предмет отсутствия вредоносных ссылок в письме, сделать превьюшку для ссылки, проверить код ответа и т.д. И очень логично все это собирать в одну кучу про запас, а если вдруг засветится — прятать.
Одно дело — парсить текст и проверять его, другое дело — что-то сохранять оттуда. Это ведь совсем разные вещи.
В первом абзаце написано то же самое, что и во всех других местах: сервисы Google прекрасно «видят» ссылки, которые вы вводите в Chrome, в чат, в почту и много куда ещё — но не все… краулер их не видит.

Да и как иначе? Google должен понять — нет ли там заразы (чтобы в последующем предупредить вас), может собирать разную статистику и прочее, прочее, прочее.

Заходит он туда ботом именно для того, чтобы гарантировать приватность (Chrome мог бы и сам текст на сервис проверки на «заразу» посылать — но тут уже есть возможность «слить» в Гугл инфу и из интранета тоже, чтобы будет уж совсем нехорошо).

Но вот про внесение в индекс и в базу данных краулера — по вашей ссылке ни звука.

Единственный способ добавить ссылку, недоступную «из открытых источников» в базу карулера — через www.google.com/webmasters/tools/submit-url
Google должен понять — нет ли там заразы

Простите, а я его об этом просил?.. Если речь о скриптах на некой площадке, проверяющих мой пост перед размещением на ней — воля владельца площадки делать любые проверки. Но всё остальное… Гугл не поставщик антивирусного ПО. И я его не умолномачивал ничего сканировать. Аналогично — Microsoft в примере со Skype.
Если браузер собирает обезличенные данные, а ссылка публичная, то все ok.

Сама ссылка может быть паролем. Вариант на «предъявителя» (authorization without authentication)

Слово "password" тоже формально может быть паролем. Но разве это означает, что это действительно что-то защищающий пароль?

Вот потому такие ссылки и принято делать одноразовыми

К слову — все ваши фотографии в соц. сетях доступны без авторизации по публичным ссылкам. В том числе и приватные (можете проверить). Ничего так, если поисковик возьмет и все их сольет в паблик?

Повторюсь еще раз — в Интернете приватности нет. Всё, что туда попало — будет скомпрометировано, рано или поздно.
Единственный способ этого избежать — не класть.

Ну выложите в паблик свои логины-пароли, чего уж. Раз все равно нет приватности. А если не собираетесь, значит на какой-то минимальный уровень приватности все-таки рассчитываете. Что ваши данные хотя бы первый случайный мимокрокодил не откроет, для 99% задач этого уровня достаточно. Но хочется, чтобы конвенции об этих 99% поддерживались всеми влияющими сторонами.

Ну выложите в паблик свои логины-пароли, чего уж. Раз все равно нет приватности.


Что за странная логика? «Нет приватности, но вы выкладывайте.»
в Интернете приватности нет. Всё, что туда попало — будет скомпрометировано, рано или поздно.Единственный способ этого избежать — не класть.

Проблема в том, что это справедливо вообще для любого компьютера/смартфона, подключенного к инету, так как антивирусы, ОС, сайты, брузеры, трояны и вирусы массово сливают информацию, и единственный способ (и то не гарантированный) избежать этого вообще не подключать комп к сети, а лучше вообще не держать критичную информацию на электронных устройствах. Иначе она будет скомпроментирована рано или поздно.
Именно поэтому на своих устройствах я старюсь держать только ту информацию которая не принесет больших проблем при утечке.
Имхо, не обязательно физически отключаться от сети. Есть другой выход, не соль радикальный: использовать проверенный и надёжный софт (либо самописный).

Выше кто-то приводил пример парсинга текстов электронных писем для проверки на наличие опасных ссылок, создание превью для вложений, и прочего. Так ведь есть же выход этого избежать: использование своего почтового сервера, и нативного (под мобильные такое тоже есть) клиента. А если человек совсем параноик, и не доверяет встроенному в ОС почтовику — можно написать свой, если квалификация позволяет :)

Ну или смириться с риском, да.

P.S. Хотя я вот совершенно не верю, что тот же стандартный e-mail клиент из Андроид (весом менее 300 килобайт) что-то куда-то сливает на сторону.
стандартный e-mail клиент из Андроид (весом менее 300 килобайт) что-то куда-то сливает на сторону.

Так кроме стандартного клиента есть несколько Гб программ ОС Андроида, содержимое которых известно только гуглу. У меня, например, на собственные нужды ОС Андроида тратит несколько Гб трафика в месяц, мне все равно он в оснвном вай файный, но в таком кол-ве трафика можно что угодно спрятать.

ОС почтовику — можно написать свой

А если я не доверяю самой ОС тоже написать свою? Нет, можно, конечно, залить Линукс на смартфон, но даже это не гарантирует нулевой уязвимости/бекдора в ОС или железе. А боюсь квалификации и времени по написанию с нуля своей ОС + созданию своего железа + надежной защиты всего этого — нет практически ни у кого.
Что за глупое утверждение?.. Потрудитесь обосновать хотя бы для начала, почему это приватности нет, и почему всё будет скомпрометировано.
пусть Яндекс докажет, что они были доступны свободно в интернете, а не слиты Яндексу его браузером

Презумпция невиновности, как она есть.
А я и не обвиняю. Но я думаю Яндексу самому будет небезынтересно восстановить свою репутацию.
Отвечу на минусы, хоть и придётся погадать за что вы их ставите даже не комментируя.
Если вы не согласны, что репутации Яндекса нанесён урон, то докажите, я вокруг себя вижу обратное, люди стали удалять браузер, хотя пользовались им.
Люди каждый день устанавливают и удаляют браузеры, это никак не сказывается на чьей то репутации.
Что-то я не вижу, чтобы каждый день кто-то менял браузер. Люди привыкают и с трудом меняют его, если по какой-то причине он становится не угоден.
Причины не всегда объективны, иногда совсем даже необъяснимы или ошибочны.
В данном случае мне позвонили люди и явно озвучили причины почему они ищут другой браузер на замену Яндексу — потому что все новости забиты ссылками на то, что именно Яндекс слил пароли пользователей да ещё РКН от него требует объяснений.
Если не это называется репутацией, то что ещё?
На месте Яндекса я бы очень озаботился этим положением и повернул СМИ в другую сторону, пока остатки лояльных пользователей не разбежались.
У меня есть друг у которого стоит около 8ми браузеров(всякие ответления FF), и меняет он их регулярно, ему это нравится.
А то что тото позвонил вам это такая себе метрика, мне вот никто не звонил.
А сколько народа зашли посмотреть на яндекс чтобы глянуть что же там такое слили?
От того что кто-то зашёл посмотреть репутация не улучшится.
Вот если бы вы мне сообщили, что есть хоть один человек, который решил, что репутация улучшилась после таких новостей, то моя метрика перестала бы что-то показывать. Есть такие?
Я считаю что репутация не изменилась.
PS. Как в общемто и после прошлого «скандала» с метрикой.
Они озаботятся, да.
Но когда пару лет назад обновление яндекс-диска посносило системы народу, как-то никто особо никуда не разбежался. И вовсе не потому, что Яндекс чем-то там озаботился, а просто привычно вздохнули и продолжили есть кактус.
Не знаете, почему? Есть же достойные аналоги. Тот же Гугл или Мейл. Не говорю о всякой экзотике типа Sync или Box.
Привычка.
Разбираться заново, переезжать, переучиваться… Не покупать же новую машину, если у старой внезапно спустило колесо?
По большей части (в моей эникейской практике) это те люди, для которых компьютер довольно далек от сферы ежедневных интересов.

У меня было несколько пострадавших, которые вообще ни сном, ни духом, откуда этот яндекс-диск у них взялся. Не ставили, не пользовались, даже не слышали. То ли с мусором поставился, как амиго, хотя вроде к тому времени Яндекс уже прекратил такую практику…
Расскажите, почему вы не пользуетесь браузером «Амиго»?
Потому же почему не пользуюсь ЯндексБразуером, IE, Safary, FF, Edge, Opera и прочим, просто меня устраивает хром.
Я очень сильно сомневаюсь, что если виной был бы их браузер, то они сказали бы правду.
Будут выкручиваться до последнего.
Презумпция невиновности, как она есть

… которая не действует в гражданском кодексе, только в уголовном. Если ваш сосед утвреждает, что вы слушали музыку всю ночь, а вы утверждаете обратное, то если вы не докажете, что не слушали, судья будет решать кому он верит больше.
shodan вам вообще лучше не показывать, да?
Согласен, что если люди оставляют открытым что-то, в надежде, что никто не будет перебирать IP и порты, то они сами себе буратины. И создавая ссылку в гуглдокс, так же подразумевают, что узнать её можно, только подобрав хеш.
Но тут явно никто не подбирал хеш, ссылки на документы попали в выдачу по другому пути.
Когда человек отправляет ссылку на документ другому человеку, и включает доступ только по ссылке, никто, кроме человека обладающего этой ссылкой, не должен видеть этот документ.
Только Яндекс.Браузер об этом не знал и добавил ссылки, на которые заходили пользователи по приглашению, в общий буфер индекса. Так что ссылка по приглашению стала доступна поисковому боту, а значит всем. И вот тут уже Яндекс действительно должен объяснить, почему он использовал подобную информацию в целях, о которых не говорит в условиях использования браузера.
И вот тут уже Яндекс действительно должен объяснить, почему он использовал подобную информацию в целях, о которых не говорит в условиях использования браузера.


Пункт 5.1 пользовательского соглашения.
Пользователь настоящим уведомлен и соглашается, что при включении в Программе функции автоматической отправки статистики


Пользователь может отключить сбор указанных данных отключением функции автоматической отправки статистики в настройках Программы.


Я должен это включить сам, верно?
А теперь установите Яндекс браузер и зайдите в настройки.
… скорее всего не имеет юридической силы, так как существуют права, которые нельзя передать (приватность, персональные данные и т.д.). Долго второй раз расписывать просто дам ссылку
Нет. Если делать по стандартам — то либо должен запрашиваться пароль либо блокировка по IP.
И реально — по таким ссылкам ходит, например скайп при пересылке ссылки может решить проверить а не вредоносная ли ссылка. И не только скайп.
Если же надо чтобы не ходили (белопушистые) краулеры — есть robots.txt, и есть (правда не все кралеры это понимают но все же) спецтеги в html на тему «не индексировать этот документ». Есть наконец фильтрация по user-agent — поисковые краулеры для индексации — представляются собой (для всяких проверок могут и браузером представляться но это отдельный вопрос).
Если владельцу сайта оно важно — он прописывает все что надо.
Если пользователю что-то не нравится — он может обращаться к владельцу сайта, если не обращается и по прежнему использует сайт — ну значит его все устраивает.

Владелец робота может забить на robots.txt. Это вообще не защита. Т.е. защита на том же уровне доброй воли поставщика ПО, который в какой-то момент, как мы поняли, может начать индексировать приватные доки.

Может. Это защита от добросовестных роботов. Яндекс неоднократно говорил что они его — соблюдают. С точки зрения robots.txt — эти документы — не приватные а вовсе даже публичные.
Кроме robots.txt есть и другие методы запретов, которые роботы должны соблюдать — например, тэги в заголовках. И на данный момент гугл для страниц с доступом по ссылке в заголовках ответа указывает «x-robots-tag: noindex, nofollow, nosnippet»:

image

Это, в принципе, еще не гарантирует, что и раньше указывал — но как-то слабо верится что нет.
Вангую, что у кого-то утекло что-то реально важное, что аж Роскомнадзор пошевелили. Интересно, что и когда это всплывет… жареная инфа какая-нибудь поди, типа расходов на что-то.
Если что-то важное утекло, то скоро мы про это узнаем, думаю.
Ожидаю вскорости появления мегатонн фейков под маркой «украдено из гуглдокс, смотрите все, ШОКРАЗОБЛАЧЕНИЕСОТОНА!!»
Так в данном случае есть простой способ доказательства реальности сливов — web.archive.org
А давно Web Archive начал индексировать гугл документы? :)
я к тому, что если кто-то хочет доказать, то он может сначала сохранить в веб архиве
Списки погибших в Сирии видел. Точнее скриншот. Фейк или нет не в курсе. Но по запросу «груз 200 Сирия» было много таблиц на скриншоте. И в них очень много имен.
Там случайно состава футбольного клуба Газовик Оренбург не было, в списках погибших?
Вот, например
1mcSIzRj7C42P8j0H_PgAczO9MQiPevsyd2n_dRXoxus
Это хеш, обвязку добавьте, плиз, сами. Кто их собирает и зачем — отличный повод для конспирологии.

Минус тип затем что бы люди это не заметили?

А причём тут вообще яндекс и ркн? Если кто-то не выставил запрет на общий доступ к документам, то он сам и виноват
Не совсем так. Если я открыл доступ по ссылке, но ссылку нигде не публиковал, а только отправил другу, то она не может попасть поисковым роботам и в выдачу. Это всё равно, что создать доступ по одноразовому паролю и переслать ссылку и пароль.

Если же она попала, то значит где-то произошла утечка, либо на моём компе, либо на компе друга, если он, например, использует Яндекс браузер, либо где-то посредине, например в РКН.
Это всё равно, что создать доступ по одноразовому паролю и переслать ссылку и пароль.

Вообще-то, нет. По одноразовому паролю доступ получить можно один раз, а по открытой ссылке сколько угодно раз.
Ну хорошо, назовём его не одноразовый, а уникальный для этой ссылки.
но пароли же Яндекс не сливал
Ссылка чем от пароля отличается? Если утечка произошла через их браузер, то я бы считал, что слив в интернет хешей адресов, которые люди не публиковали, ничем не лучше слива паролей.
Ссылка чем от пароля отличается?
Вы шутите, я надеюсь?
Даже если господин шутит — я серьезно спрошу: чем ссылка от пароля отличается?
Примерно тем же, чем адрес квартиры от ключа, не?
(в данном контексте, разумеется)
Согласитесь, очень спорная аналогия.
Давайте это будет не адрес квартиры, а карта с крестиком, где клад закопан.
Ок?
И чем карта с крестиком отличается от ключа к замку сундука? На мой взгляд прятать карту даже важнее чем ключ. Потому что зная где сундук уж ключ как ниюудь подберут. А вот ключ без сундука совершенно бесполезен.

UPD:
Это я просто хотел показать что игра в аналогии — это бессмысленно. Аналогию можно придумать любую, с перекосом в любую сторону.
Так что давайте без аналогий, а с точки зрения ИБ.
Хорошо.
Ссылка — это указатель на местоположение. Пароль — часть процедуры подтверждения прав доступа к местоположению. Разница, на мой непросвещенный взгляд, очевидна.

Да, пароль может быть частью ссылки при некоторых условиях (в случае гуглодока они вроде бы не выполняются).
Как, строго говоря, и фраза «ключ под ковриком» может являться частью описания местоположения квартиры.

Вы лучше сразу скажите, чего я не знаю (я много что не знаю, это нормально, и не ирония) о разнице между ссылкой и паролем.
Глобально — это условности дающие доступ к информации и всё.
Работа с паролем может быть реализована так, что скрытая ссылка будет безопаснее, ссылка может быть настолько очевидной что не будет защитой ни от чего.
Глобально говорить что пароль — это ого-го, а ссылка — это фи — бессмысленно. Потому что вопрос в деталях реализации, а не концепции.
Так, фиксируем разногласия.
Ваше мнение заключается в том, что в силу уязвимости реализаций некоторых паролей и сложности некоторых открытых ссылок принципиальной разницы между ссылками и паролями, как классами явлений, нет. Концепции авторизации и прав доступа не нужны.
Я все правильно понял?
Это всё нужно и важно.
Но это всё попытки решить проблему херовыми методами.
Пароль — это херовый метод. Но пока альтернатив ему не много.
Поэтому придмуывают всякие двухфакторные авторизации и прочие вещи. Чтобы из плохой вещи сделать не такую плохую.
Но на глобальном уровне пароль и уникальная ссылка мало чем отличаются.
Собственно вам ниже уже привели пример того, как ссылка сама может содержать пароль.
Да, ниже я уже со всем согласился.
Спасибо за коррекцию картины мира и вам.
о разнице между ссылкой и паролем

Ссылка это то что обычно приходит в Get запросы, пароль то что в Post запросе (но вообще-то только потому что пароль меньше и его легче запомнить). Ссылку нужно где-то хранить в электроном виде, пароль — можно и запомнить. При этом подобрать пароль можно, реально длинную автогенеренную ссылку — не реально.

В общем-то, больше отличий нет. Множество сервисов при сбросе пароля высылают ссылку на почту, часто по уникальной ссылке можно получить доступ к деньгам или личному кабинету. Любая утекшая ссылка может иметь не менее плохие последствия, чем утекший пароль.

Уязвимость только вот такие сервисы и программы, которые могут слить себе ссылку, впрочем пароли они тоже могут себе замечательно сливать.
Видимо я настолько не близок к веб-программированию.
Я подумаю над этой концепцией.
чем адрес квартиры от ключа

Скорее чем ключ от входной двери/сейфа (ссылка) и код от кодового замка от этой двери/сейфа (пароль). У каждого способа есть свои достоинства и недостатки, но в общем-то если что ключ, что код подглядит злоумышленик будет одинаково фигово.
Все равно пока не понимаю, извините. Видимо, я просто очень мало что знаю про использование ссылок. Я исхожу из (возможно, неверной) концепции авторизованного доступа. Ссылка — ресурс, пароль — доступ к ресурсу. Нет пароля — ресурс общедоступен. Понятно, что с учетом уязвимостей и прочих особенностей реализации это по крайней мере иногда соглашение, а не собственно защита. Но соглашения тоже стоит выполнять, нет?

То, что доверять браузеру от поисковой системы не стоит, понятно и без таких эксцессов. Но по моему скромному, если нет пароля, то неавторизованный доступ к информации по ссылке, если я верно понимаю, в пределах fair use (и по-любому вопрос исключительно времени).
Уникальные ссылки для восстановления паролей, кстати, обычно как раз имеют ограничение по времени — и да, предоставляют доступ неавторизованному пользователю в надежде, что некие косвенные методы (например, доступ к почтовому ящику) идентифицировали его достаточно надежно.
Ссылка — ресурс, пароль — доступ к ресурсу. Нет пароля — ресурс общедоступен.

Вот вам ссылки (не настоящие, конечно):

ftp:\\admin:ksjghkt53242@159.03.73.22:6090
ssh:\\root:ksj532terttre42@193.03.73.15:6090
mysql:\\sysadm:ksjghkt53242@159.03.73.22:5619

Вы правда думаете они публичные и какая-нибудь программа их может выложить в инет? А это типичные ссылки для многих сервисов. Пароль и ссылка это очень расплывчато, то что находится в параметрах Get запроса вполне может быть приватной информацией, даже фио пользователя в ссылке на сайте гейзнакомств, может оказаться таким ударом по приватности, что уж лучше потерять все пароли.
пароль — доступ к ресурсу. Нет пароля — ресурс общедоступен.

Если вы так уверены, когда зайдете в свой банк клиент и увидите url вроде page?token=sdf43534egfgkel6346dghgfht2432 или session=sdf43534egfgkel6346dghgfht2432 киньте ссылку куда-нибудь на форум хакеров и чуть-чуть подождите. :) Они будут вам благодарны. :)
Я не уверен, поэтому извинился за непонимание комментом выше.

Видимо, я еще и плохо знаю терминологию (да запросто). На мой непросвещенный взгляд, от включения в запрос пароль не перестает называться паролем. В приведенном вами запросе ssh:\\root:ksj532terttre42@193.03.73.15:6090 я болдом выделил пару логин-пароль, и курсивом то, что назвал бы собственно ссылкой. Я неправ?

М-мм… Ладно. По-любому, спор уже идет об оттенках смысла в значениях терминов. Содержимое адресной строки браузера может являться конфиденциальным, я не спорю. А что до его названия — пароль, ссылка, get-запрос или молитва высшим силам — в общем, только в печку не ставьте…
я еще и плохо знаю терминологию (да запросто). На мой непросвещенный взгляд, от включения в запрос пароль не перестает называться паролем.

Если говорит о терминологии, то пара логин и пароль это ключ аутентификации. Ключ аутентификации может быть в принципе любой текстовой строкой (иногда может быть и бинарной строкой, но это скорее экзотика).

Как вы понимаете, не сильно важно скажу я вам логин: fsgsg пароль: gldkhgjklhd4, либо скажу токен/ключ — fsgsg:gldkhgjklhd4. По сути, логин и пароль это понятия только для человека, для комьютера имеет смысл только ключ, полученный конкатенацией логина и пароля.

Поэтому любой ид сессии или токен в GET запросе равноцены логину и паролю, это лишь разные виды ключей аутентификации.
Пожалуй, вы меня убедили (вместе с некоторым количеством гуглежки). Спасибо за исправление в картине мира.
Пара тезисов-формулировок.

1) Есть такое обобщенное понятие — «аутентификация, основанная на знании секрета (обладании секретной информацией)». Пароль, ключ и т.п. — это и есть такой секрет. Уникальная ссылка, предназначенная для ограничения доступа — соответственно, тоже.

2) Секретная ссылка содержит в себе некую уникальную комбинацию (хеш или еще что-то подобное), которая по сути и является паролем (предьявляемым ключом).

Таким образом, произошла утечка секретной информации — неважно, изолированных паролей или в составе ссылок.

Возможных мест утечек три — сервис, пользователь и канал. Исключим канал (MitM-атаки отдельная тема рассмотрения, неспецифичная для рассматриваемого случая).

Утечкой на стороне пользователя, предположительно, является передача индексатору ссылок, введённых пользователем — браузером из адресной строки, скриптом через разные там метрики, через месенджеры и т.п.

На стороне сервиса же утечкой является допуск индексатора, пришедшего по такой ссылке.

При этом браузер и индексатор, по большому счёту, не могут отличить секретные ссылки от обычных (за исключением случаев, когда URL записан в полной форме, с логином и паролем в отведенных стандартом для этого местах — как приведено выше). И единственный способ для индексатора быть «лояльным» — вообще не использовать никакие ссылки пользователя, что малореально.

А вот сервис, предлагающий услугу «разделения секрета», знает, какие ссылки у него секретные — и вполне мог бы не пускать по ним роботов (хотя бы честных). Конкретная реализация — вопрос второй. Гугл, похоже, этого не сделал никак.
А, ниже пишут, что гугл всё же для «Включить доступ по ссылке» вставляет тэги «x-robots-tag: noindex, nofollow, nosnippet».

Всё еще возможны два варианта:
1) Индексатор у яндекса таки не слишком честный и не подчиняется таким указаниям.
2) Гугл уже оперативно внёс исправления.
> И чем карта с крестиком отличается от ключа к замку сундука? На мой взгляд прятать карту даже важнее чем ключ. Потому что зная где сундук уж ключ как ниюудь подберут. А вот ключ без сундука совершенно бесполезен

Очень распространенная ошибка, берущая корни от «я не нужен — меня не найдут».

Дело в том, что в интернете такое не работает, найдут все и вся, благо есть боты. Это квартиру вы можете оставлять не запертой уповая что вы не нужны. Не запертый сервак в инете найдут и заселят.

Конкретно без аналогий — перебирая ссылки можно найти интересные, пароль же перебирается на заведомо интересный аккаунт, что и произошло.

tl;dr ссылки уязвимы к удару по площади и неуязвимы к точечному, пароли — наоборот.
Конкретно без аналогий — перебирая ссылки можно найти интересные, пароль же перебирается на заведомо интересный аккаунт, что и произошло.

tl;dr ссылки уязвимы к удару по площади и неуязвимы к точечному, пароли — наоборот.
Прекрасное определение! А теперь посмотрите на обсуждаемые ссылки на GDocs'ах — и вы поймёте, что в соотвествии с вашим определением они являются не ссылками, а паролями, так как переборной атаке не поддаются (там SHA256 от секретного числа, сгенерированного пользователем, подобрать его невозможно просто потому что сервера Гугла раньше сломаются).

Что, собственно, и ведёт ко всему описанному в статье, запросам Роскомнадзора и прочему.
Не совсем так. Это к конкретному документу невозможно. А вот если этих документов миллиарды — сложность снижается в миллиарды раз.
То всё равно пофиг. Даже миллиарды документов не сделают задачу проще.
Тут путаница в терминах. Они сделают задачу проще. В миллиард раз. Ну то есть за то время, пока вы будете подбирать пароли солнце погаснет не миллиард милтиардов раз, а всего лишь миллиард раз. С практической точки зрения — разница невелика…
Очень распространенное противоречие.
Ну подберите ссылку к моим открытым документам.
Я вам даже подскажу — они на серверах гугла.
Это я так плохо объяснил, или вы непонятливый?

Давайте ещё раз:

Вопрос стоит так: «Чем ссылка отличается от пароля».

Чтобы объяснить это, давайте возьмем две цели — конкретно ваши документы и часть всех документов на гуглодоках, в т.ч. с некоторой вероятностью и ваши документы.

Так вот, чем ссылка отличается от пароля? Тем что перебирая ссылки, конкретно ваши документы мб и не найти, но можно найти кучу других. Если долго перебирать ссылки, можно найти и ваши. Смысл перебора ссылок — найти много документов, не обязательно ваших.

С паролем ровно наоборот — перебирая пароли к вашему документу можно открыть только его, но зато он точно будет ваш.
Подбирайте пару логин: пароль.
А лучше еще IPшник добавьте.
Так кстати боты делают, которые по ssh стучатся.
Смысл перебора — получить доступ к машине, не обязательно вашей.
Да, в общем-то, это как обычная авторизация. Вы вводите логин+пароль. Если нигде не светите его, то никто не зайдёт под вашим аккаунтом. С ссылкой тоже самое.
А если вы отправили её через скайп или телеграм, то они тоже на неё зайдут что б сделать превью.
Да, и вот и интересно кто именно слил эти ссылки поисковику — скайп, телеграм или кто-то ещё. И узнать это можно у Яндекса.
Помнится пару лет назад была новость, что скайп заходит даже на запароленные ссылки, если вместе со ссылкой в тексте сообщения отправить логин и пароль.
Тут же люди стали предлагать всякие нюансы, типа «переслать ссылку, переход по которой приводит к удалению важной информации, а потом засудить скайп за потерю данных когда их бот по ней перейдет».
нет, новость была о том что скайп делает т.н. probing — то есть посылает HEAD запросы по веб-адресам которые пользователи отправляют друг другу в чате

news.ycombinator.com/item?id=5704574
То что ты выложил в интернет — в итоге будет доступно всем. Не хочешь чтобы это доступно всем — не выкладывай это в интернет.
Выложил — сам виноват.
Что значит «выложил в интернет»? Вот у меня на компе куча всего и комп вроде как в интернет. Но с какой стати оно будет доступно всем?
>Не совсем так. Если я открыл доступ по ссылке

Это значит что вот с этого момента вы смело можете говорить «я выложил это в интернет, теперь это доступно всем».

ps /me ностальгически вспоминает начало 2000х и расшаренные прямиком в интернет принтеры и диски пользователей, которые в неимоверных количествах находились элементарным сетевым сканером.
Значит пока не сказал смело, то не в интернет?

Где граница, выложил или ещё нет?
Сами же пишите, что локальные диски с помощью сканера находили. Значит
они выложены в интернет?

Вот и инфа на вашем компе или телефоне также может считаться выложеной, если с помощью чего-то к ней можно доступ получить.

Я пожалуй закруглюсь с абсурдом, не понимают многие для чего он.
Проблема в том, что существуют способы попасть в интернет даже живя простой жизнь и общаясь с друзьми. Кто-то решил сфоткать на свой телефон. Неважно, iOS или Android — уже улетело в сеть, особенно на андроиде фотки синхронизировались с онлайн-диском (засек лично у девушки, у которой «онлайн-диск такой удобный! И память телефона не забивается!» и эти настройки были по умолчанию). Другой использовал цифровой фотик, но отправил друзьям через вк. И все — ваш фейс в сети, возможно даже отмечен рамочкой вокруг фейса с пометкой с вашим именем заботливыми друзьями.
Ребенок захотел помочь родителям и оплачивает счета через сайт банка (на котором на каждой странице яндекс-метрика). Гугл создал сервис для связывания различных девайсов, например — если они были рядом в какой-то момент (для выдачи рекламы, но позволяет деанонимизировать пользователей и сделать инфомацию более полной). Пришли в кафе, а у соседа телефон слушает на предмет «Окей, гугл» с отправкой на сервера голосового трафика для лучшей расшифровки, а по закону Яровой такие данные также в какой-то момент обязаны будут храниться в полном объеме.
Живете обычной жизнью, а вас сеть уже знает. А если американец — то там еще проще, даже в новостях проскакивают утечки баз данных с кучей маркетинговой информации (в России «пиратские базы» от недалеких ведомств не содержат данных о религиозных предпочтениях, наличии домашних животных, хобби и т.д.)
Ах да, все, что я тут рассказал — голимая конспирология, не верьте мне! И вообще — надо жизни радоваться! И обязательно установите амиго браузер, яндекс-браузер, гугл хром, Windows 10 (не энтерпрайз и не взломанную «отключалками»), голосовых помощников (Алиса и другие) и т.д. Это позволит корпорациям знать про вас все облегчить вашу жизнь и предоставлять качественные персонализированные сервисы.
Сеть уже давно часть нашей жизни.
Допутим у меня нет машины, нет прав, дороги в городе от этого не пропадают и те кто пользуятся машинами тоже. В итоге мне нужно знать хотябы минимум этих правил что бы не попасть под колёса.
Так и с сетью, хочешь не хочешь с ней надо мирится, и очень желательно хотябы примерно понимать что стоит за всеми замечательными и удобными сервисами. Если ты кидаешь ссылку в контакт/скайп/телеграм шлёш её по почте, или вбиваешь в браузере то ты она может уплыть к тем кто делал эти сервисы. А учитывая что сейчас половину прог обновляются тихо и без предупреждений, то даже если они сейчас этого не делают не означает что через пол часа не начнут.
Беда в том, что не знаешь от кого или от чего ждать подвоха. От девушки, которая решит тайно поснимать или сделать «очень милые фотки своего спящего парня» (и фотки отправятся в сеть на гугл диск, а про настройки приватности она может не знать в силу собственного девичьего интеллекта), от КГБ и прочих ведомств (тайная съемка и потом уйдет в сеть, знаменитостей дополнительно даже по телеку покажут, а про настройки приватности они могут не знать в силу своего девичьего интеллекта), браузер гугл хром (вроде именно он получил «антивирус» со способностью поиска компромата), антивирус от китайских (или иных) спецслужб, закон Яровой (и его аналоги и более раннее исполнение американцами, спросите у Сноудена), дополнение для смены стилей в баузере (а потом пишут, что это дополнение обладает шпионским функционалом), телеметрия везде и вся, камеры на улицах, нерадивые сотрудники (это принц Гари слил фотку в сеть возле компа с листочком с паролями?), конкуренты (явные и неявные), Windows (поиск пиратского ПО и его удаление), аппаратный плеер (были разработки, когда плеер самоуничтожается от поврежденного или пиратского диска), выключатель света (старые просто хранят отпечаток пальча, а новые с помощью «интернета вещей» заботливо выкладывают отпечаток в сеть), мед.службы (электронная карточка для более лучшей утечки) и т.д. и т.п.

Проблема не в том, чтобы как-то учить правила, а в том, что, по сути, нужно вести себя так, как будто все находятся под колпаком и готовы стучать друг на друга непрерывно, в режиме онлайн (те же «заботливые» друзья и родственники, и ведь из лучших побуждений). И все действия хранятся на серверах практически вечность, а новые технологии позволят хранить больше и лучше. Т.е. нужно измениться не только в настоящем, но чтобы и в прошлом не было серьезных ошибок, типа «сохранил себе на стену музыку, которая ныне признана экстремисткой», а потом покурор интересуется — растпространяете?

Но о чем это я? Как таковой приватности то у людей и не было. Даже в деревнях все друг друга знали. Просто появилась мнимая приватность на короткий срок, а все подумали, что оно навсегда. Раньше про ситуацию «под колпаком» и жизни по правилам писали и говорили попроще — «поступай по совести», чтобы потом проблем не было. И всегда найдется админ (хозяин, дворянин, князь), который обладает большими полномочиями и может менять даже историю методом переписывания.

Есть еще рекомендация — «не заморачивайся», «не думай о сложных вещах», «меньше знаешь — крепче спишь» и прочее. И действительно, если не задумываться, то все намного поще — просто есть удобные услуги и сервисы, а если вы думаете, что мы все «под колпаком» у корпораций — то это все голимая пропоганда и вообще шизофреническая конспирология, достойная упоминания только на сайтах всяких альтернативщиков-конспирологов-плоскоземельщиков-уфологов. Кстати, лично я придерживаюсь идей, высказанных в последнем абзаце. И никто не запрещает использовать официально публичную информацию в личных корыстных интересах. Таки дела.
Как таковой приватности то у людей и не было. Даже в деревнях все друг друга знали. Просто появилась мнимая приватность на короткий срок, а все подумали, что оно навсегда. Раньше про ситуацию «под колпаком» и жизни по правилам писали и говорили попроще — «поступай по совести»


«Никогда не было» — не аргумент. Это не означает что к этому не надо стремиться. Не было много чего из современных гуманитарных ценностей — всяких там «свободы-равенства-братства» и прочих прав человека. Рабство тоже когда-то было в норме вещей.

Причём, ценности отражают не только базовые потребности — жизнь, здоровье, безопасность и т.п., но и высшие- в частности, свободу самореализации.

Приватность, на первый взгляд, не является базовой потребностью. Но только на первый. В условиях, когда информация об индивидууме может быть оружием против него, (открытием уязвимостей) — приватность становится частью безопасности.

Но даже если рассматривать малочисленную «деревню», где «все друг друга знают» и злоумышленник точно так же оказывается на виду — и в этих случаях скорее всего придётся жить не «по совести» а «чтоб не выделяться» — ограничения самореализации во весь рост.
Ну и в наших реалиях «все всех знают» не действует, игра идёт в одни ворота — злоумышленники могут нарыть информацию о добропорядочных гражданах, сами оставаясь в тени.

В итоге рекомендация «не заморачиваться» выглядит как «если вас насилуют — расслабьтесь и получайте удовольствие».
А если переиначить?
Поход в магазин, на первый взгляд, не является базовой потребностью. Но только на первый. В условиях, когда без похода в магазин нельзя получить еду (выращивание невозможно в многоэтажке в квартире 22м^2) — поход в магазин становится частью базовой потребности.
Дальше появляется общество по борьбе с теми, кто не ходит в магазины — «они покушаются на нашу свободу!» (методом конкуренции магазинам и создании недополученного дохода). Митинги, миллионые толпы на улицах небольшой численностью и прочее. Не ходящие начинают объединяться в антимагазинные движения. Кровавые столкновения, политические требования, революции…
Кажется, что-то такое уже где-то было… Борьба за права — она такая, в борьбе за мир и камня на камне не оставит. И все крутится вокруг базовой потребности!
Или все происходит иначе?
А если вы на своём сайте сделали директорию /123, где хранили что-то, не предназначенное для чужих глаз, но с вашего сайта на нее сылок нет, а я решил проверить, есть ли такая директория и вручную её нашёл? Я сделал что-то плохое или нет?

Вот, например, Google по запросу intext:"Index of /.git" находит репозитории, которые владельцы сайтов не стремились афишировать, но забыли закрыть. В одном таком репозитории (я не буду афишировать сайт) лежат даже лицензии на коммерческий софт.
Я сделал что-то плохое или нет?

Если вы пользуетесь брутфорсером и делаете это со злым умыслом, то с моральной точки зрения — да. Без брутфорсера — это чистая удача, которая не только ссылку вскроет, но и любой пароль.
А без брутфорсера с моральной точки зрения уже не плохо?
Меня вот всегда удивляет эта лёгкость с которой люди проводят границы.
Я так не умею, для меня вообще понятия плохо и хорошо очень размыты и я стараюсь не использовать их.

Если вы, найдя брутфорсом, эту директорию, спасли детей от голодной смерти, то вроде как хорошо.
А если случайно нашли, но из-за этого кто-то погиб, то вроде как плохо, причём для меня, но если погиб серийный убийца, то вроде как хорошо.

Поэтому не буду я комментировать ваш поступок с входом в мою директорию.

Если Яндекс скрыл из выдачи ссылки, то я вижу две причины:
1. Скрывают свой косяк.
2. Скрывают косяк других.
Мне кажется более вероятным первый вариант.
Возможно конечно, что они пытаются таким костылём спасти накосячивших пользователей, но мне не нравится мир, где за людей решают как им жить. Если кто-то накосячил и его пароли уплыли, то он должен это понять и жить дальше с этим.
А без брутфорсера с моральной точки зрения уже не плохо?

Злой умысел еще же. При этом ошибаться при вводе пароля — это нормально.

Если вы, найдя брутфорсом, эту директорию, спасли детей от голодной смерти, то вроде как хорошо.
А если дети выросли бы гитлерами, то это снова плохо. Мы не забыли уточнить какой моралью пользуемся?
Не совсем) Необходимо сравнение оппонента с сабжем.
Да пароли, как правильно заметили, не самое страшное. Они по крайней мере меняются. А вот коммерческие/персональные данные, отчеты, статистика — это может стоить намного дороже. Да, юзеры сами виноваты. Но экономический эффект от костыля может перевешивать перевешивать последствия «юзеры сами виноваты».
Сноуден ведь тоже не пароли слил, а его до сих пор в определенных организациях очень ждут.
Я сделал что-то плохое или нет?

Разумеется, нет. Когда вы делали на публичном ресурсе директорию /123, то должны были понимать насколько это опасно/безопасно относительно контента в этой директории.
Если твой друг вдруг потом не вписал её в строку поиска в томже гугле/яндексе.
Слишком много если, а правило должно быть простое если нет авторизации для доступа к ссылке то она публичная.
Данные для доступа к информации по ссылке, которые не передаются напряму в ссылке.
Значит вы считаете, что браузеры могут выкладывать и другие собранные посещенные адреса, в которых в ссылке есть авторизационные данные?
Я считаю что авторизационные данные в ссылке быть не должны, а если они там то это часть ссылки а не авторизационные данные.
Как вы пишете, доступ по ссылке нужен для ограничения круга кому доступна информация. И в большинстве браузеров это будет работать. Пока ссылка не утечёт на сторону.
Вполне себе защита для определенных целей. Главное правильно пользоваться.
UFO just landed and posted this here
Теперь обязаны дать разъяснегия все остальные поисковики, такие как, гугл, яху, рамблер, меил.ру и прочие, так как они точно также проиндексироаали эти же документы и выдают в выдаче.
Я не нашёл у остальных такого количества и тех документов с паролями, которые были в Яндексе.
Всё что я нашёл у них, хоть они и с паролями, но явно предназначенные для довольно широкого круга людей, и скорее всего были опубликованы в каких-то форумах, где их нашли поисковики.
Но главное, остальные поисковики не убирают их из выдачи, так как они ни в чём не виноваты.
Видимо много грязи выплыло на поверхность и обляпало весьма крупных людей. Хотя оно и понятно, такой то слив.
А то, что юзеры в 90% случаев ссылку вставляют в поле поиска, а не в адресную строку — это не норм )))
UFO just landed and posted this here
Вы считаете, что кто-то вручную переписывает ссылку на гугл докс? Вообще-то ссылка на гугл докс приходит в email или мессенджере, типо скайпа, и открывается кликом, сколько пользователей будет копипастить эту ссылку, да еще в окно поиска?
UFO just landed and posted this here
Понимаете какая беда — ваши идеи предполагают, что пользователи только и исключительно Яндекса так делают, а вот Гуглом пользуются только продвинутые пользователи. На практике это, мягко говоря, не так…
UFO just landed and posted this here
скопировали в стоку поиска.
А браузер честно подставит впереди этого запроса что-то типа поисковик_com/q=<ваша_ссылка> и отобразится страница поисковика. Либо вообще поисковик увидит ссылку и сделает переадресацию на эту ссылке.
В сообщение ptica_filin это и имелось ввиду.

Дополнительно к вашему описанию. Приходит ссылка, но откроется оно в IE. Да, и такое бывает, даже когда по умолчанию браузер другой. Но такое часто бывает из приложений. И если я хочу открыть ссылку в моем любимом браузере, то буду копировать, а не кликать. А дальше — см. первый абзац этого комментария.

А всего-то гуглу надо было добавить настройку «Не в списке», включенную по умолчанию, чтобы она добавляла «X-Robots-Tag: noindex» документу

А такая настройка там есть, только она заголовок не добавляет…

О, и правда. А я сейчас ткнул «Включить доступ по ссылке», а оно мне «x-robots-tag: noindex, nofollow, nosnippet» таки дописало. Если Яндекс x-robots-tag не игнорировал, то, видимо, никто не виноват и надо просто компьютерную грамотность населения повышать) (и попутно учить их не хранить пароли в гугле)
Кстати, а ведь x-robots-tag — нестандартный заголовок, который нигде кроме документации гугла и сеошных сайтов не описан…

А в документации Яндекса он не упомянут! yandex.ru/support/webmaster/controlling-robot/html.html

Вот и вся разгадка.
Ну фиг знает, я однажды на одном своём сайте случайно скопипастил x-robots-tag в настройки nginx и не заметил, а потом несколько месяцев гадал, почему его в поиске нету, пока не увидел в Яндекс.Метрике стопицот адресов с «URL запрещён к индексированию» (Гугл-аналитика при этом упорно молчала, кстати). Нашёл x-robots-tag в конфиге, убрал — уже через пару дней сайт появился и в Гугле, и в Яндексе)
UFO just landed and posted this here
А при чем тут вообще роскомнадзор? Лишь бы куда свой нос сунуть. Смешно.
Судя по всему, при и даже материалы московских чиновников о повышении явки на выборах мэра. Отсюда, цитирую по комменту foxyrus.
материалы московских чиновников


Ох лол, вот и вылезло шило из мешка.
Да, с этой строчкой новость обретает некоторую концептуальную завершенность.
UFO just landed and posted this here
UFO just landed and posted this here
Они не были закрытыми, их защищала только длина и безумное содержимое ссылки.
А с паролями подругому чтоли?
В паролях есть какой-то волшебный слой защиты, кроме длины и безумного содержимого?
Я к тому, что там не было настроек приватности «входить только по паролю». Есть ссылка, по ней можно пройти. Если в Яндекс скормить ссылку на вход в гугл почту, он туда не попадет — у него пароля нет.
Зато попадет на кучу других сервисов, авторизация на которые происходит через передачу хэша в get запросе. Попадет по паролю. Хэш которого в URL'e.
Я не вижу чем это отличается от перехода по сложной не публичной ссылке.
Расскажите?
Я протестую, в хэше ссылки гуглодоксов не пароль, а адрес страницы во внутренней сети гугла.
Снаружи это не имеет значения.
Подобрать URL гуглдока невозможно. С точки зрения рядового пользователя доступ по такой ссылке левых людей невозможен.
Я не вижу здесь проблемы людей использующих эту систему.***
Ну то есть пароли хранить в гугл доках мне странно. Даже сама идея как-то не очень.
Но сама вера в то, что данные защищены вполне понятна и адекватна.

***Ну кроме использования Яндекс Браузера само-собой.
Ну то есть пароли хранить в гугл доках мне странно. Даже сама идея как-то не очень.


Я скажу больше — хранить пароли в Интернете — сама идея как-то не очень.

Но сама вера в то, что данные защищены вполне понятна и адекватна.


Ну, теперь эта вера пошатнулась, кто-то огреб некислых трендюлей, может, хоть кто-то задумается.
Да почему невозможен то? Есть ссылка? — есть. И если в случаем пароля хранится только хэш от него, поэтому даже зная хэш тот кто получит доступ к базе будет его хз сколько подбирать, то в случае утечки базы с такими ссылками — и перебирать ничего не надо. Да и без утечки, пользователей много, документов много, пусть на конкретный документ целенаправленно не нарваться, но просто на случайный документ нарваться можно.
Нахрена вам пароль, если вы знаете хэш?
Пароли не передаются, передается хэш и по нему авторизация проходит. Подбирать в большинстве случаев ничего не надо.
А подбор линка ну гуглдок — даже при миллиардах открытых документов невозможен на современных ресурсах.
Какие конкретно пароли вы имеете в виду? Всё, что в строке браузера (т. н. GET-запросы) — потенциально небезопасно и регулируется разве что всякими robots.txt. А пароли или любая другая sensitive-информация обычно пересылается через POST и не индексируется. Вся вина лежит на гугле, который не озаботился каким-то образом обозначить URL как неиндексируемые, либо не предупредил пользователей о том, что доступ по URL не является надежным средством ограничения доступа к информации.
Тем не менее огромное кол-во сервисов присылает ссылки на почту при сбросе пароля, по уникальной ссылке часто можно попасть в личный кабинет, сессия может идти через GET запрос, картинки в мессенджерах доступны по уникальным ссылкам и т.п. Многие сервисы (не только по протоколу http, например ftp/ssh, аудио- видеостримы и т.д.) авторизируются с помощью ссылки протокол://имя: пароль@адрес: порт

Даже то, что ссылки часто короткоживущие, все равно распостранение приватных ссылок не сильно лучше распостранения POST запросов. При этом, если уж подходить формально к лицензионному соглашению Яндекса браузере, никто не мешал ему выложить и ваши POST запросы в паблик (например, решив, что это запросы к поисковой системе)
Сброс пароля, регулирование подписок и т.п, да, много подобного.

git вон тоже по ссылке часто используется: https://user:password@git_repo.git. Утечёт такое — слиты, считайте, все сорсы.
Сброс пароля, регулирование подписок и т.п, да, много подобного.


robots.txt + ограничение токена по времени. Где проблема?

git вон тоже по ссылке часто используется: user:password@git_repo.git. Утечёт такое — слиты, считайте, все сорсы.


Какая необходимость вписывать пароль и пользователя в URL? Есть множество других разнообразных способов защитить git от постороннего доступа. Например, использовать SSH+keys.
Никакой необходимости, просто так делают. Точно так же, как многие до сих пор пароли хранят в открытом виде и т.п.
Тем не менее огромное кол-во сервисов присылает ссылки на почту при сбросе пароля, по уникальной ссылке часто можно попасть в личный кабинет, сессия может идти через GET запрос, картинки в мессенджерах доступны по уникальным ссылкам и т.п.


Я же уже писал про robots.txt, вы просто игнорируете что вам пишут?

Многие сервисы (не только по протоколу http, например ftp/ssh, аудио- видеостримы и т.д.) авторизируются с помощью ссылки протокол://имя: пароль@адрес: порт


Многие также оставляют листочек с паролем на мониторе. Что мешает сначала зайти на ресурс и потом в окошке ввести логин/пароль? Если вы нарушаете цифровую гигиену, то странно ожидать другого результата.

Даже то, что ссылки часто короткоживущие, все равно распостранение приватных ссылок не сильно лучше распостранения POST запросов.


Распространение POST запросов? Что?

При этом, если уж подходить формально к лицензионному соглашению Яндекса браузере, никто не мешал ему выложить и ваши POST запросы в паблик (например, решив, что это запросы к поисковой системе)


Яндекс не работает с POST запросами, зачем ему они? Выкладывание POST-запросов в паблик? Что? Я, честно говоря, не понимаю что вы пишите.

Плюс, при установке яндекс браузера показывается окно с галочкой: «Принять участие в улучшении сервисов Яндекса: отправлять анонимную статистику использования браузера», которую можно отжать.
А пароли или любая другая sensitive-информация обычно пересылается через POST и не индексируется.
Какой конкретно стандарт регламентирует такое использование GET и POST, извините? Насколько я знаю единственное чем HTTP отличает GET от POST — это то, что GET не должен вносить необратимых изменений на сайт, а POST — может это делать (причём эти требования нарушаются сплошь и рядом, в частности Хабр на них плюёт), больше никакой разницы нет…
> Authors of services which use the HTTP protocol SHOULD NOT use GET based forms for the submission of sensitive data, because this will cause this data to be encoded in the Request-URI. Many existing servers, proxies, and user agents will log the request URI in some place where it might be visible to third parties. Servers can use POST-based form submission instead.

www.w3.org/Protocols/rfc2616/rfc2616-sec15.html#sec15.1.3
UFO just landed and posted this here
А зачем его исключать?
Почитал коменты. Удивляет такое больше количество «удивлений» типа «а причем тут яндекс?». Неужели не очевидно наличие «шпионажа» яндекс браузером?
Неужели не очевидно… способ как эти ссылки попали яндексу — вообще не важен?

А вот то, что кто-то напортачил с настройками приватности а еще кто-то — не прописал robots.txt корректно (статья яндекса на тему как — корректно — yandex.ru/support/webmaster/controlling-robot/robots-txt.html, статья гугла support.google.com/webmasters/answer/6062608?hl=ru, статья гугла как заблокировать страницу без robots.txt support.google.com/webmasters/answer/93710, тоже самое от яндекса yandex.ru/support/webmaster/controlling-robot/html.html (и тот же метатег)).

Сливание ЯндексБраузером это вообще совершенно отдельный вопрос (тем более что по соглашению с пользователем — они могут это делать).
очевидно что гугл доки должны индексироваться. почему поисковик должен обходить их стороной если найдена ссылка? где сказано что гугл доки не должны индексироваться?

«Сливание ЯндексБраузером это вообще совершенно отдельный вопрос (тем более что по соглашению с пользователем — они могут это делать).» — нет этого в соглашениях. там четко говорится что могут собирать статистику по использованию самого браузера. Показ моих данных в поисковике никак не входит в этот перечень.
почему поисковик должен обходить их стороной если найдена ссылка?
— вот по такому прямому указанию:
image
Роскомнадзор потребовал от Яндекса объяснить, как работает Интернет.
Бесплатных продуктов программного обеспечения не бывает. Мир упрямая штука. Как бы людям не хотелось иначе. СССР был очень особенная страна. Это надо помнить всем, кто так любит слово «открытость», когда оно доносится из уст западных оппонентов. Мы имеем разные понятия о его значении.
Sign up to leave a comment.

Other news