Pull to refresh

Comments 66

Судя по этому «Свойство ut:'noindex' не учитывается для старого кода счётчика. Рекомендуем использовать новый код, выдаваемый на странице редактирования счётчика.» то функция свежая!
UFO just landed and posted this here
UFO just landed and posted this here
Минусуют за несдержанные эмоции, противно читать Ваш комментарий.
Хабр торт, тут принято держать себя в руках.
UFO just landed and posted this here
UFO just landed and posted this here
Вы думаете, что в Яндексе не могут осилить отрезание идентификаторов сессии из урла?
Как оказалось, делают не всё, что могут )))
И конечно они НЕ могу предусмотреть все варианты «приватных ссылок» по которым ходить нельзя. Сама технология ущербна.
Я бы добавил опцию разрешения и запретил, по-умолчанию.
это было бы полезно разработчику, но не яндексу
Смотря как считать.

С одной стороны адресов у них в индексе окажется меньше (или они туда медленнее будут попадать).

А с другой — это плюс в «отношение к пользователям». Считается хорошим тоном требовать отдельного подтверждения или включения (возможно) деструктивных действий, которые потом не отменить. Защита от дурака.

Позиция «Ламеры, RTFM!», которую сейчас заняла компания, формально защитит их в суде. Но для репутации это минус. Надо заботиться даже о ленивых, спешащих, неквалифицированных (но своих!) пользователях.
Конечно, добавлено только что. Та как у поста ихнего айди 1120714 а у музыки в блогах, анонсированой вот вчера сегодня, айди на 2 меньше 1120712
Т.е. они, как-бы, признают, что ее не хватает и что она как минимум имеет смысл?

По умолчанию закрыть индексацию УРЛов из метрики они бы не решились сделать… это означало бы признание ошибки и взятие на себя как минимум доли ответственности
Как минимум она имеет смысл, чтобы отбиваться от беспочвенных, имхо, обвинений в раскрытии секретных данных по открытым урлам.
Отбиваться этим он мог бы, только если это существовало бы ДО того как.

А теперь представьте заголовки жёлтого телевидения «После скандала с утечкой персональных данных, Яндекс произвел изменения, предотвращающие это в будущем»

Что подумает обыватель? ))
Сегодня опубликованы и вступили в действие новые изменения в закон «О персональных данных» — надо Яндексу нанести упреждающий удар по мозгам обывателей: «Мы отреагировали на изменение законодательства всего за несколько часов!».
Что яндекс способен идти настречу даже совсем уж безмозглым дебилам? :)
Пусть Яндекс покажет обратные ссылки на проиндексированные страницы с приватными данными (историями заказов, смсками, жд билетами). Если покажет такие ссылки, то он не виновен. Если таких ссылок не существует, то Яндекс взял их из метрик без ведома владельцев.

Вот как бы вы отреагировали если бы кто то получил доступ к вашим данным в Яндекс.Метрики и сделал эти данные обще доступными? Наверное было бы жутко неприятно и возможно финансово убыточно, правильно?

Вот тут как раз таки Яндекса виноват и ответственен. Почему? Потому что в метриках храняться приватные данные. Эти приватные данные были использованны Яндексом для индексации страниц и предоставления публичного доступа к приватным данным. За такие поступки Яндекс давно бы уже засудили на западе. А у нас Яндекс под шумок начинает менять механизм работы, что бы выйти сухим из воды.

К тому же Яндекс проиндексировал страницы вопреки robots.txt http://habrahabr.ru/blogs/infosecurity/124956/#comment_4109812
Я добавил сайт в ноябре на индексацию. до сих пор жду ради интереса когда робот в гости зайдёт :)
и что, по панели вебмастера так и не заходил??
по панели пишет что скоро скоро. И тех поддержка сказала. скоро скоро. Вот жду. гугл через час завалился :) при этом домен в зоне РФ :))
а «скоро скоро» это как? насколько я помню там либо ничего не написано, либо дата последнего визита)
Ваш сайт не проиндексирован (Сайт успешно добавлен в очередь на индексирование).
В тех поддержку, обратился чтоб глянули, мож с сайтом что-то не так. Но ответ:
«Не переживайте, с Вашим сайтом все в порядке, по мере обхода робота он будет проиндексирован и станет доступным для поиска. Скорее всего, это произойдет в течение двух недель. Пожалуйста, подождите немного.»
а метрика стоит? может стоить поставить и проверить — быстрее ли проиндексируется сайт?)
Когда-то мы тестировали его на шаред-хостинге: после достижения определенного порога посещаемости хостер нас выключил из-за превышения нагрузки, которую давал Piwik.

Так что, к сожалению, это не для всех альтернатива.
и поставить доморощенную статистику? нафиг-нафиг
ну не обязательно изобретать велосипед
Гугл проидексировал эту страничку помощи 17 часов назад.

image

Ошибаются все, а вот ошибки исправляют не все.
Я не понимаю, зачем этот параметр если (1) есть robots.txt (2) для неавторизованных пользователей web мастер обязан постараться чтобы ни одна ссылка не вела в закрытые зоны. Отсюда следует вывод, что метрика не должна индексировать страницы. Яндекс должен был не параметр вводить а отключить индексацию от метрики, на мой взгляд.
Это для тех «веб-мастеров», которые не в состоянии сделать (1) и (2). Так может, хоть галку эту поставят после всей шумихи!..
Короче, во всей этой истории с утечками, виноват в итоге, по моему мнению, таки Яндекс, который индексирует все URL, которые попали в Яндекс.Метрику или Яндекс.Бар.

Получается что модель безопасности, основанная на уникальных URL
(которые случайно генеряться и которые типа нельзя угадать), с нашими
любимыми поисковиками уязвима. Получается, что на такие URL надо в
обязательном порядке вводить временные лимиты / ограничения по IP.
Да! Как раз именно Яндекс, и не просто виноват но и ответственен, так как он завладев приватной информацией из метрик, проиндексировал страницы и сделал приватные данные общедоступными!
УРЛ не является приватной информацией. Точка.
А параметры переданные в урл-е? Например текст сообщения.
Если текст сообщения является приватной информацией, то её следует передавать по защищённому каналу — раз, методом POST — два, не ставить на целевую страницу метрику — три.

Если какой-то безмозглый дебил решил игнорировать ВСЕ три пункта, то виноват в этом, конечно же яндекс, ага.
Ссылки полученные от Яндекс.Бара не индексируются. Пруф:
Особо хотим отметить, что посещение пользователем страницы с помощью браузера с установленным Яндекс.Баром не приводило и не приводит к ее индексации.
Это они пишут, что не индексируются.

Напомню, что после скандала с Мегафоном яндексоиды разослали прессе:

«Особо хотим отметить, что никакие сервисы Яндекса не виноваты в утечке данных с сайта МегаФона. Ни Яндекс.Бар, ни Яндекс.Метрика не скачивают содержимое веб-страниц».

И ведь не соврали! Просто это сообщение надо правильно читать. «Не виноваты» = «Не нарушали никаких законов». «Не скачивают» = «Не скачивают, но передают ссылки роботу».

Что касается «Бара», то он передает информацию о посещенных страницах в «Яндекс», это сказано и в пользовательском соглашении — «Правообладателю в автоматическом режиме сообщается анонимная (без привязки к Пользователю) информация о посещаемом сайте» (при включенной функции показа индекса цитирования). А заявление, что это не приводит к индексации, к сожалению, непроверяемо.
«А заявление, что это не приводит к индексации, к сожалению, непроверяемо.»

Ещё как проверяемо.
А за что минусуете человека?
Как минимум можно попробовать проверить.
Создать страницу с уникальным контентом для уникальных урлов без навешивания на него всяких Метрик. Зайти с включенным Я.Б и через какое-то время проверить поиск.
Желательно сделать это админам какого-нибудь популярного ресурса, который уже в индексе.
А мое мнение — вина яндекса только в том, что он огромными буквами не написал на метрике, что она тоже является инструментом наполнения индекса. Так или иначе владелец сайта отдал персональную информацию яндексу. А уникальные урлы должны быть одноразовыми: один раз получил доступ к приватной информации — заказывай новый урл.
>Получается что модель безопасности, основанная на уникальных URL
(которые случайно генеряться и которые типа нельзя угадать), с нашими
любимыми поисковиками уязвима.

Если приделать к этим страницам механизм заведомо отправляющий эти самые уникальные данные третьей стороне??? :) Вы это серьёзно? Странно было бы, если бы это было не так. Эта, с позволения сказать, «модель» и без этого механизма уязвима.

ЗЫ. Мне просто любопытно… по-моему, чтобы «додуматься» до такого, мозги должны отсутствовать напрочь.
Если приделать к этим страницам механизм заведомо отправляющий эти самые уникальные данные третьей стороне???

При чем тут «механизм заведомо отправляющий… данные третьей стороне»? Вы хоть краем уха понимаете каким образом эти уникальные данные попали к Яндексу?
Через метрику, которую безголовые идиоты своими кривыми руками поставили на эти страницы. Если это НЕ механизм, отправляющий данные о странице третьей стороне, то я, видимо, корейский лётчик.
Ну признайтесь, вы среди тех, кого Яндекс проиндексировал? :) В передаваемое яндексу информации никаких приватных данных нет, и нет ничего что попадает под новый закон, все обезличен. И вы явно в соглашении подтвердили, используя яндекс.метрику, что передаете эту информацию яндексу. Далее — это его дело, как обработать, чтобы вам показать в виде таблиц и графиков или иным образом использовать для оптимизации механизма индексации.

И хоть вы тут писали, что robots.txt не работает — он работает, просто если вы его поменяли, то данная информация у поисковика не сразу появится.
«Если вы хотите запретить автоматическую отправку определенных страниц вашего сайта на индексацию, то добавьте в код счётчика Метрики, установленный на этих страницах,… бла бла»

Т.е. код надо дописывать вручную на конкретных страницах которые я не хочу отдавать Метрике???
То есть если я ключ от квартиры, где деньги лежат, повесил на гвоздик у входной двери, то я должен вручную написать рядом, — не входите, пожалуйста???

Конечно же нет! Вы не должны ключ вешать! Ну зачем, зачем на эти страницы приделывать код метрики???
так а если код метрики автоматом на все страницы ставится?!
Не болтайте ерундой!
Если Вы вставили код в footer, а он у Вас везде, это еще не значит, что «код метрики автоматом на все страницы ставится».
Что значит ставится? Святым духом, что ли? Если не можете осилить даже такую простую штуку, то может вы не своим делом занимаетесь? Заплатите профессионалам и они вам всё сделают.
Покажите мне человека который его не автоматом для всех страниц в footer ставит?
к тому же, сам яндекс пишет:

«Для использования Метрики необходимо получить и установить на страницах вашего сайта специальный код. Мы настоятельно рекомендуем разместить код счётчика на всех страницах сайта, поскольку от этого зависит полнота и корректность подсчёта показателей. „
>Покажите мне человека который его не автоматом для всех страниц в footer ставит?

Безмозглые придурки встречаются, но разве это повод? Я, например, искренне удивлён, что есть люди, которые делают именно так.

И, на всякий случай, ещё раз. Дело не только и не столько в метрике. Метрика только вскрыла проблему, но проблема не сводится к метрике. Уязвимость существует не потому, что метрика виновата, а потому, что систему, где эта уязвимость есть, проектировали и создавали некомпетентные профнепригодные идиоты. А другие идиоты, которые воткнули туда ещё метрику только несколько ускорили процесс всплытия говна на поверхность.

>к тому же, сам яндекс пишет:

То есть «думать» отменили?

Ещё раз с самого начала — метрика по определению отсылает третьей стороне данные. Если вы НЕ хотите отсылать данные третьей стороне, вы НЕ должны ставить метрику. Если вы поставили метрику на страницу, значит вы хотите отсылать данные третьей стороне. В каком месте непонятно?

Второй вопрос — ЗАЧЕМ вы всё-таки ставите код метрики на эти страницы? Какую информацию «уебмастер» хочет получить от такого безумного использования метрики? Любая деятельность должна быть целенаправленной. Какова в этом случае цель? На эти страницы в нормальном состоянии заходят в среднем по одному разу. Ровно тот пользователь, который только что провёл транзакцию. Это известно априорно и никакой дополнительной «статистики» из этого факта не получить. Какую ЕЩЁ информацию «вебмастер» хочет получить ставя туда метрику? А я вам скажу какую — «уебмастер» получит следующую забавную статистику — на данную страницу пришёл сначала пользователь, инициатор транзакции. Один раз. Второй раз туда пришёл бот яндекса. А потом — пол-хабра, чтобы чисто поржать над безмозглым идиотом почему-то называющим себя «уебмастером», чтобы удостовериться в его полной профнепригодности.
Не имею никакого отношения к яндексу, но целиком и полностью их поддерживаю.

1. В комментариях выше почему то пишут «пусть яндекс предоставит бек ссылку» — окститесь, разве яндекс где то говорил что он индексирует только по бек ссылкам?
Пример из жизни: если Вы построите себе дом на пустыре в 10 км от города и будите оставлять двери открытыми в надежде что туда никто не войдет — это целиком Ваша и только Ваша вина.
Защита страницы по «уникальному» url это начало 90х. Пора бы уже открыть для себя куки, сессии итд.

2. Благодаря Яндекс.Метрике яндекс может ранжировать сайты по их реальной популярности среди посетителей, тем самым повышая релевантность выдачи.

3. Вы сильно переоцениваете озабоченность людей 152ФЗ. Большинству — просто перпендикулярно. Паранойя в не-IT кругах практически отсутствует.
Давайте, залезьте в открытые окна чужого дома или магазина…
Продолжая аналогии — а откуда мне знать что это чужой дом, а не скажем кофейня с таким экстравагантным входом?
Нет таблички что частная собственность (robots.txt) — я залезу.
Все-таки попробуйте, глядишь, может действительно, если нет таблички то можно влезть ;)
Больше всего в этой истории мне нравится, что web-мастера не учатся на своих ошибках, а начинают обвинять третью сторону.
Считаю в этой ситуации виноват Яндекс

Во-первых совершенно некорректно индексировать страницы, которые «не просматриваются по ссылкам с главной». Раньше такие страницы не попадали в индекс даже при наличаи ссылок с других сайтов(хотя тут я могу и ошибаться)

Яндекс.Метрика — это прежде всего инструмент для веб-мастера и предназначена для внутреннего использования. Если они хотят использовать обрабатываемую информацию в публичных целях, то должны обязательно предупредить об этом веб-мастера (должно быть пользовательское соглашение)

Читал мнения об открытых дверях в домах… у меня другое представление ситуации — Попробуйте что-либо спрятать дома, когда из каждой коробки конфет на самом деле спрятана камера

А кривых программеров всегда было много и яндексу с этим тоже нужно считаться
>когда из каждой коробки конфет на самом деле спрятана камера

Одно уточнение — вы эти камеры прикрутили своими собственными руками.

>Яндекс.Метрика — это прежде всего инструмент для веб-мастера и предназначена для внутреннего использования

Скажите, какую информацию «вебмастер» хочет получить от такого безумного использования метрики? На эти страницы в нормальном состоянии заходят в среднем по одному разу. Ровно тот пользователь, который только что провёл транзакцию. Какую ещё информацию «вебмастер» хочет получить ставя туда метрику? А я вам скажу — «вебмастер» получит следующую забавную статистику — на данную страницу пришёл сначала пользователь, инициатор транзакции. Один раз. Второй раз туда пришёл бот яндекса. А потом — пол-хабра, чтобы чисто поржать над безмозглым идиотом почему-то называющим себя «уебмастером» и удостовериться в его полной профнепригодности.
> Одно уточнение — вы эти камеры прикрутили своими собственными руками.
Принёс в дом сам, но мне сказали, что там конфеты… про камеры никто ничего не сказал:)

Про Метрику могу сказать, что практически все её ставят на всех страницах, я не встречал людей, которые ставили бы выборочно( до известных инцидентов ).
Более того зачастую счётчики и реклама ставятся не программистами, а самим хозяином сайта через админку, а такие люди вообще не знают чего творят

Но основной моей мыслей было то, что открытая часть сайта это те страницы, на которые можно попасть с главной, пройдя n-ое кол-во уровней. Если страница никак не связана с главной, то она закрытая и не должна попадать в индекс. Такой логикой должен руководствоваться поисковик, а не класть в индекс всё подряд
>> Одно уточнение — вы эти камеры прикрутили своими собственными руками.
>Принёс в дом сам, но мне сказали, что там конфеты… про камеры никто ничего не сказал:)

Купил слабительное и использую как варенье. Потому что тоже сладенькое. :)

>Про Метрику могу сказать, что практически все её ставят на всех страницах, я не встречал людей, которые ставили бы выборочно( до известных инцидентов ).

Ну и что? Способов прострелить себе ногу куда больше, чем мы с вами тут можем придумать. Помните развлекуху с поиском файлов из каталогов .svn? Вы полагаете, что именно яндекс должен за всеми бегать и подтирать им, извините, жопу? Почему проблемы тупоголовых идиотов должны волновать кого-то, кроме них самих?

>Если страница никак не связана с главной, то она закрытая и не должна попадать в индекс.

Эта логика совсем не очевидна с точки зрения качества поискового контента. Не, с точки зрения тупоголовых идиотов, которые не в состоянии позаботится об элементарной безопасности, она безупречна, безусловно.
Можно ещё кучу ограничений напридумывать, ага. Только как быть со страницами сайта на которые нет ссылок со страниц этого же сайта, но есть ссылки из внешнего мира? А из внешнего мира не проиндексированного пока данным конкретным поисковиком? А если ссылки были, но их удалили? А если случайно? А как одно от другого отличить? И тд и тп. И ведь те же тупоголовые такой вой поднимут, что их любимые хомячковые странички пропали из выдачи…

>Такой логикой должен руководствоваться поисковик, а не класть в индекс всё подряд

Угу. Довольно лёгкий способ слить поисковик в канализацию. Может яндексу сразу закрыться? А то мало ли какой способ тупоголовые смогут ещё придумать, чтобы запихать свои «закрытые» страницы в поиск?

И, да, если страница с какой-либо точки зрения закрытая, то она должна быть ЗАКРЫТОЙ. :)
Sign up to leave a comment.

Articles