Comments 37
Никак не могу не вспомнить замечательный мультик под названием "Когда дует ветер".
Там тоже рассказ о двух очень законопослушных жителей Англии, которые очень законопослушно следовали всем заявлениям и буклетам правительства о том, что надо делать в случае ядерной атаки.
Атака была, и чисто случайно они выжили, следуя этим же брошюрам, заявлениям и газетным вырезкам. Конец, правда, был совсем не прекрасный для обоих. Смешной, местами. Весёлый, до некоторых пор. Только не до последнего весёлый.
А вы на этих брошюрах ещё и зарабатываете.
О, мультфильм "Когда дует ветер" — как глоток прохладной воды посреди административного зноя. Эти двое англичан, которые до последнего момента проверяют:
Закрыта ли дверь в убежище? ✅
Подключён ли фильтр воздуха? ✅
Есть ли запас туалетной бумаги? ✅
А радио работает? ❌ (о, нет, опять
fonts.googleapis.comв@import)
Но как показывает практика, ваш сканер даже этого не делает. См комменты ниже.
✔️ Да, сканер ещё в бета-режиме, и да, он не всесильный — но на это бросаются все силы, чтобы он был полезным. Это бесплатный инструмент, не обязывающий никого ни к чему.
Все комментарии были учтены и ряд улучшений уже сделаны. Если и у вас имеются по делу какие-то предложения, я с удовольствием выслушаю. В любом случае, благодарю за ваше мнение.
Да у вас и продукт навайбкожен. Вы вместо того, чтобы решать проблемы решили их наскоком взять. Хотя, по факту, вы просто выставляете людей. Одно дело если бы вы писали игру-айдлер, где надо кошек пальцем тыкать, а тут вы вывешиваете полу-сырой продукт, результатом работы которого будет присадка ваших пользователей. Или штрафы.
Но вас это не гнетёт. Вы не не пытаетесь помочь, вы пытаетесь сосричь баблишка под шумок. Мы живём в стране, в которой могут выдать штрафы за использование шрифтов. У нормального человека от такой фразы волосы под мышками дыбом станут. Решение будет НЕ в том, чтобы писать программу, которая позволит не использовать эти шрифты. Решение будет в другом. Но вам это не нужно. Ладно, положим на это кучу испражнений, вам не до этого.
Вы написали продукт, который показывает зелёный свет там, где должен быть красный. И да, бывает, такое можно делать в тупой игрушке, но не в инструменте, который как бы должен выгораживать пользователя перед Росетелекомом. Хорошо тут на Хабре все сами с усами. А ваши пользователи, которые не знают, что делают?
Ну и в дополнение ко всему этому вы даже не отвечаете (и не пишите посты) сами. За вас это делает тупая ЛЛМка. Все прекрасно понимают, что на Хабре, как и на любом другом нормальном ресурсе не используются смайлы. А у вас текст утыкан.
Что в итоге? Кто-то, кто совсем не понимает предметной области, навайбкодил хери по-страшному. Так же навайбписал под это статью и пытается на этом вайбе выехать. В области, где вайб вообще не нужен, а важна только полная уверенность.
Единственный верный способ писать подобную муру - это запускать виртуалку через MITM proxy, и перехватывать запросы сайта после того, как на этой виртуалке поработал ИИ агент и понажимал на всякие-там ссылки на сайте, причём зарегистрировавшись. Вы же не были с интернетом с 2001 года, когда он начал обрастать скриптами. Вы же не знаете, что за 25 лет скриптинга было разработано более полу-миллиарда извращённых способов собирать ресурсы на странице, в том числе, прогружая их динамически через яваскрипт, который тянет их из iframe. Вы же не сможете распарсить обфускаторы. Вы никогда не узнаете ответа на этот вопрос, пока не протыкаете всё на сайте. И даже это даст только 99.999% гарантию.
Вместо того, чтобы настаивать на переносе сайтов нафиг, или вообще ухода от проблемы как таковой, вы даёте извращённое, недоделаное и бредовое решение, которое эту проблему само по себе не уладит. А потом выпендриваетесь нейросеткой о том, какой вы милый и пушистый, и о том, как остальные должны вам поклониться.
ЗЫ, ой, что это я, только что посмотрел, оказывается этот говнокод продаёт ваши услуги. Ну да, вперёд и с песней. Стране нужны такие герои.
Скрытый текст
Ну, знаете...
Кое-как натравил его на себя...
Спасибо за внимательность и отличный пример! Вы абсолютно правы — это настоящая проблема, и она связана с тем, как сканер обрабатывает HTTP/HTTPS-редиректы.
Что сейчас происходит:
Когда вы вводите http://, а сайт редиректит на https://, наш сканер пока не всегда корректно следует за редиректом и может начать анализ по первоначальному HTTP-адресу. В результате:
Он не видит HTTPS-версию.
Считает, что SSL отсутствует.
Выдаёт ложное предупреждение.
Почему так происходит:
Сканер работает в браузере, и при прямом запросе к HTTP-адресу он не всегда "видит" финальный URL после редиректа, особенно если перенаправление происходит на уровне сервера (301/302).
✅ Исправлено, спасибо 🙂
Находит всё — не только очевидные ссылки, но и скрытые в JS, CSS, шрифтах.
И когда возбранная ссылка есть только в JS, который вызывается из JS, ссылка на который есть в коде анализируемого сайта, но лишь при определенном условии (скажем, мобильный UA)? Тоже обнаружит?
Что касается вашего конкретного сценария — когда JS-файл подгружается только при определённых условиях (например, по мобильному User-Agent) и внутри него есть запрещённая ссылка, которая, в свою очередь, вызывается другим JS:
✅ Если ссылка на этот JS-файл есть в исходном коде сайта — сканер этот файл проанализирует его содержимое и обнаружит запрещённую ссылку, даже если она скрыта глубоко в коде.
⚠️ Если же файл подгружается полностью динамически, например, через fetch() или eval() только после выполнения определённого действия пользователя (например, клика или проверки UA), и при этом его URL не виден в первоначальной разметке или в явных скриптах — то он может быть пропущен при онлайн-сканировании, так как браузер не выполнит этот код автоматически.
Это связано с тем, что онлайн-сканер работает в условиях ограниченного выполнения кода — сложно полностью эмулировать все возможные пользовательские сценарии в браузере на стороне клиента.
Но есть решение:
Для таких сложных случаев дорабатывается локальный режим сканера, который позволяет более глубоко анализировать поведение сайта, включая динамически подгружаемые ресурсы.
Стоит ли считать такие случаи сложными? Гуглоресурсы тянут за собой кучу зависимостей, яндексресурсы не отстают от них. Грузишь карты - получай в нагрузку Метрику и прочий мусор. Хочу все знать (с)
Такие случаи действительно нельзя считать "редкими" или "сложными" — они повсеместны.
Когда подключаешь, например, Яндекс.Карты или Google Maps, ты не просто добавляешь один скрипт — ты запускаешь целую экосистему:
Метрика,
Аналитика,
Виджеты,
Динамические загрузки через
fetch,eval,import()—всё это может происходить асинхронно и условно, в зависимости от UA, геолокации, поведения пользователя и т.д.
И да, онлайн-сканер в браузере сегодня не видит всё это на 100% — особенно если URL вторичных скриптов генерируется динамически и не присутствует в DOM напрямую. В скором будущем это будет реализовано, на данный момент такая возможность тестируется и есть проблемы со скоростью сканирования и точностью определения. Пока точно не знаю, получится ли сделать это в рамках онлайн сканера (скорее да, чем нет) или будет фичей только локальной версии...
Хорошее дело делаете, полезное не только для проверок на "нежелательные" загрузки, но и для общего понимания: вот этот маааленький и всего один безобидный скриптик тянет за собой вооот такой состав совсем небезобидного мусора. Возможно, Ваш сканер будет показывать не только запрещенку, а вообще все, чего не должно быть на любом сайте.
Сначала вы отвечаете пользователю на "вы", затем в другом сообщении на "ты". Эмодзи эти с галочками и восклицательными знаками... Вы зачем нейросеть на написание комментов подрядили? Может вообще этот проект - ханипот от РКН, кого бы там в первую очередь проверить? С другой стороны - те кто заморачиваются проверкой, хотя бы немного подготовились, а не просто "и так сойдет" или "мы слишком большая компания - для нас эти штрафы копеечны".
✔️ Действительно, это выглядит странно. Но я хочу, чтобы Вы понимали, что это обычный приём расположения аудитории к себе. В продолжительном обсуждении позволяю себе перейти на ты.
Если подумать, то почему бы РКН не делать это анонимно и через подконтрольные им популярные сервисы. У них, ну, точно больше для этого возможностей.
✔️ Да, согласен с Вами, что крупные компании уже подготовились или юридически себя обезопасили, а может другим и всё равно.
Но что, если будет полезно тем, кто ни там "наверху", а среди обычных людей - будет круто, считаю.
Но за мнение, спасибо, интересно было.
P.S. Надеюсь не слишком переборщил со смайликами в ответе.
Не корректно ваш скрипт работает. При входе на сайт сразу на весь экран пользователь получает сообщение (картинка выше), а он пишет (картинка ниже).
✅ Спасибо за внимательность, действительно, такая проблема имеется.
⚠️ Причина проблемы:
Сканер может не обнаруживать эти элементы по нескольким причинам:
Динамическая загрузка контента:
Если уведомление о cookies или политика конфиденциальности генерируются динамически через JavaScript, сканер может не успевать их обработать, особенно если он работает в ограниченном режиме (например, без полного выполнения JS-кода).
2. Ошибки в логике сканирования:
Cканер использует некорректные паттерны или условия для поиска этих элементов. Например, он может искать только статические ссылки или текстовые упоминания, а не интерактивные компоненты.
3. Проблемы с детектированием модальных окон:
Модальные окна, такие как уведомление о cookies, могут быть сложнее обнаружить автоматически, особенно если они используют современные библиотеки (например, React, Vue.js) или CSS-стили, которые скрыты до взаимодействия пользователя.
В планах обновление алгоритма сканирования: добавление поддержки более глубокого анализа динамических элементов, включая модальные окна и JavaScript-генерированные компоненты.
С сайтами на Тильде некорректно работает, показывает, будто у меня там есть meta, google, youtube, twitter, tiktok, github, whatsapp, vimeo, linkedin, medium, pinterest - хотя скормил этой проверялке чистейший лендинг. Что там правда есть из всей кучи - только гуглошрифты. И то из-за какого бага: иногда вместо одного локально установленого шрифта Тильда пытается стянуть его с гугла. С остальными такой проблемы нет.
Потому что используемые блоки "могут иметь" возможность добавить ссылки на эти адреса или имеют подобные поля? Да только они не заполнены.
Один из моих клиентов столкнулся с такой же ситуацией — и, хоть в итоге выиграл суд, цена победы оказалась высокой.
⚠️ На сайте были YouTube(просто ссылка в js для вставки) Google Fonts в коде и что-то еще, не помню. Тем не менее, Роскомнадзор потребовал устранить «нарушения». Пришлось 3 месяца доказывать свою правоту, привлекать юристов, делать аудит. В итоге суд признал — это не нарушение. Но клиент уже потратил деньги и уйму времени.
Обратился ко мне, я начал выискивать вручную и понял, что необходимо написать скрипт для автоматизации поиска.
Повторюсь, я не юрист, но есть что есть. Рекомендую вам обратиться к юристу по этому вопросу.
✅ Потому сканер ищет все упоминания на сайте по паттернам.
P.s. Никогда никому не рекомендовал связываться с Tilda и вот ещё одна причина...
На сайте были YouTube(просто ссылка в js для вставки) Google Fonts в коде
Простите, а это запрещено?
Роскомнадзор потребовал устранить «нарушения»
В чём нарушения?
Просветите, пожалуйста...
Хороший вопрос.
В юридические тонкости этого дела меня не посвящали.Но практика показывает: Роскомнадзор не всегда требует наличия нарушения — порой достаточно подозрения. Даже ссылка в JS, даже шрифт с Google, даже пустое поле в конструкторе — всё это может стать поводом для претензий и требованием устранить "нарушения".
Это чисто лично моё мнение из сложившейся ситуации и имеющейся у меня информации.
✅ На всякий случай, хочу повториться, я и реализовал поиск по паттернам о всех упоминаниях запрещённых ссылок. Вероятно, нужно реализовать степень риска найденных строк кода и ссылок.
Я к чему спросил: у меня билингвальный научный сайт, где есть видеолекции. В en версии - YooTube, в рус - ВК. Ни один иностранец никогда не полезет в ВК, а освещение тематик важно на мировом уровне...
Вот я и охреневаю собственно...
Если встроенный плеер - за уши можно приплести трансграничную передачу данных на которую надо получать отдельное разрешение от РКН. С другой стороны, из-за "устаревших серверов", у пользователя всё равно YT из России не подключится.
Варианты - сделать 451 заглушку для российских IP на англоязычную версию сайта.
У вас это как встроенный плеер или как ссылки? Можно положить ссылки, чтобы пользователь смотрел переходя в YouTube. Тогда нет коннекта с Гуглом при открытии страницы.
В тетьих) - строгость законов и необязательность их исполнения. У огромных банков, госконтор часто нет куки-баннера или он есть, но работает в режиме "продолжая пользоваться сайтом, вы соглашаетесь"... а не куки-баннер приостанавливает работу трекеров до момента согласия. И что-то не слышал, чтобы кто-то штрафовал условный Сбер за нарушение обработки ПД. Неуловимость Джо всё же еще сохраняется. Охотиться за учеными наверное можно, но после того как наштрафуют каждого мелкого ИПшника или самозанятого.
можно приплести трансграничную передачу данных на которую надо получать отдельное разрешение от РКН
Я не собираю никаких аналитик - все убрано. Не собираю никаких ПДн - связь только почтой к нам. Мне всё равно лезть в регистрацию в РКН?
У вас это как встроенный плеер или как ссылки?
Embedded естественно! Научные люди очень ленивы и выгрёбисты - по ссылкам ходить считают ниже своего достоинства... Им нужно все красиво на одной страничке и чтоб коньячок наливала голая грудастая дева, да еще и мышкой кликала...
штрафовал условный Сбер за нарушение обработки ПД
Задача не нагнуть Сбер, а нагнуть холопов, чтобы сидели и не пи#дели...
иногда вместо одного локально установленого шрифта Тильда пытается стянуть его с гугла
CSP чтоб такого не происходило.
Я могу понять какие проблемы могут появиться, если на моем проекте есть ссылки на запрещенные ресурсы, но не могу понять, что может быть, если я зайду на сайт, где есть Google fonts. Каждый ресурс проверять что ли?
Надо же, мой сайт-визитку с файлопомойкой вот-вот заблокируют.
Кстати, давно строка ctx.commit()стала упоминанием домена бывшего твиттера?
А почему googleapis - это проблема с т.з. соблюдения законодательства?
Как я создал сканер соответствия РКН: безопасно, анонимно, без компромиссов