Как мы искали утечку данных в SimilarWeb

[selivanov_pavel]

SimilarWeb немного протупили, надо было исключать из статистики всё, что резолвится в серые диапазоны адресов, тогда их не спалили бы так быстро.

[Habra_nik]

А можно, интересно, рефёрера на ходу поменять :-)? Или в посылке где-то проверка всобачена?

[abrwalk]

Если речь о расшрирении то реферер не при чем, оно берет урл из адресной строки образно выражаясь, я так думаю…

Хотя в тему реферера могу порекомендовать HTTP заголовок «Referrer-Policy: no-referrer» — защитит от слива реферера на сторонние CDN которые возможно имеются на веб-мордах закрытых ресурсов, да и просто от кликов на внешние ссылки.

[AgentSIB]

Этому расширение данные заголовки совсем неважны. Пример. Я перешел с Google на VK. Получил следующее:

cz04MTQmbWQ9MjEmcGlkPTdUSWJ3RGRmZG80YTNqdCZzZXNzPTk5NTI0MzAzNjkwNjE2ODIwMCZxPWh0dHBzJTNBJTJGJTJGdmsuY29tJTJGZmVlZCZwcmV2PWh0dHBzJTNBJTJGJTJGd3d3Lmdvb2dsZS5jb20lMkZzZWFyY2glM0Zzb3VyY2UlM0RocCUyNmVpJTNEcEpHVVhQREhPSy1tbXdYNzI3TFFEdyUyNnElM0R2ay5jb20lMjZidG5LJTNEJTI1RDAlMjU5RiUyNUQwJTI1QkUlMjVEMCUyNUI4JTI1RDElMjU4MSUyNUQwJTI1QkElMkIlMjVEMCUyNUIyJTJCR29vZ2xlJTI2b3ElM0R2ay5jb20lMjZnc19sJTNEcHN5LWFiLjMuLjBsMTAuMjI1OS4zNTM4Li4zODEzLi4uMC4wLi4wLjcxLjQ0MS43Li4uLi4uMC4uLi4xLi5nd3Mtd2l6Li4uLi4wLi4zNWkzOWowaTEzMWowaTEwaTFqMGk2Ny5qcVJGeUt3cUNrZyZsaW5rPTEmc3ViPWNocm9tZSZocmVmZXJlcj1odHRwcyUzQSUyRiUyRnd3dy5nb29nbGUuY29tJTJGJnRtdj0zMDE1

Декодируем:
s=814
&md=21
&pid=7TIbwDdfdo4a3jt
&sess=995243036906168200
&q=https%3A%2F%2Fvk.com%2Ffeed
&prev=https%3A%2F%2Fwww.google.com%2Fsearch%3Fsource%3Dhp%26ei%3DpJGUXPDHOK-mmwX727LQDw%26q%3Dvk.com%26btnK%3D%25D0%259F%25D0%25BE%25D0%25B8%25D1%2581%25D0%25BA%2B%25D0%25B2%2BGoogle%26oq%3Dvk.com%26gs_l%3Dpsy-ab.3..0l10.2259.3538..3813...0.0..0.71.441.7......0....1..gws-wiz.....0..35i39j0i131j0i10i1j0i67.jqRFyKwqCkg
&link=1
&sub=chrome
&hreferer=https%3A%2F%2Fwww.google.com%2F&tmv=3015


Обратите внимание на prev и hreferer. То есть js библиотека сохраняет предыдущую страницу не зависимо от ее заголовков (можно попробовать найти этот заголовок и проверить).

[tuxi]

Буквально недавно была история. Сделали выгрузку в Google Merchant Center, отправили ссылку по вацапу человеку, который занимается у нас настройкой кампании в Гугле.
Через 18 минут по этой ссылке к нам пришел бот Yandex Direct-а и продолжает ходить до сих пор. Пару раз были запросы с домена yаndeх-team с реферером какой то внутренней их системы.

[AgentSIB]

У Яндекса тоже есть и расширения и библиотеки для расширений подобного рода. Например тот же советник. Было неприятно, когда обнаружил его в Joxi. Пришлось расширение удалить.

[tuxi]

Есть мнение, что весь яндекс.браузер, это один такой «большой информатор» :)

[AgentSIB]

Есть мнение, что браузер Google Chrome тоже ;)

[tuxi]

:)))
На самом деле, во всей этой истории, мне больше всего понравились 2 вещи:
1) к нам пришел бот директа, не поисковый, не маркета, а именно директа
2) следы (в логах) просмотра сотрудниками яндекса нашей скромной выгрузки в gmc

[AgentSIB]

Кстати, вспомнил о старом посте. Оставлю ссылку на свой коммент. Тема похожая.

habr.com/ru/post/273027/#comment_8689007

[time2rfc]

В мире не бывает ничего бесплатного, если вы не платите разработчикам расширения — заплатят другие.

[AgentSIB]

Согласен. Но укажите это явно, что мы собираем полные URL даже на https сайта для построения анонимной статистики в таких системах как SimilarWeb и тд. Зачем встраивать втихоря? В некоторых случаях это довольно критичный момент.

[time2rfc]

Я не уверен, но мне кажеться что информация есть в условиях которые мы принимаем не глядя.

[AgentSIB]

Скрин соглашения в посте. Другого нет :) Проверьте.

[technik]

Удивлён. Сам пользуюсь этим расширением и никогда бы на него не подумал.
А есть какой-то способ запретить расширению frigate стучать в SimilarWeb?

[AgentSIB]

Найти альтернативу, предварительно проверив. Лично я просто использую proxy.pac файл от prostovpn со своим прокси. Без всяких расширений.

UPDATE: можно попробовать выдернуть исходники расширения из хрома и попробовать удалить эту часть.

[technik]

Да, вы правы, способ хороший.
Если что, сам удалил friGate и остановился на плагине для хрома «Обход блокировок Рунета» и там как раз используется pac файл с проксями.