Контентная фильтрация: зачем и как это делать

    Привет, Хабр! Сегодня мы поговорим о фильтрации интернет-контента. Три года назад вступил в силу федеральный закон 139-ФЗ, дополнивший уже принятый 436-ФЗ «О защите детей от информации, причиняющей вред их здоровью и развитию». В соответствии с российским законодательством, доступ в интернет в школах возможен лишь «при условии применения административных и организационных мер, технических, программно-аппаратных средств защиты детей от информации, причиняющей вред их здоровью и (или) развитию». Другими словами, закон требует обязательной фильтрации интернет-контента. Добро пожаловать под кат.



    Возможно, кто-то считает, что это исключительно российская новация. Вовсе нет. Практика фильтрации контента давно есть во многих странах, делается это по-разному. Например, во Франции министерство народного образования запустило автоматизированную и централизованную фильтрацию контента в школах на основании двух «чёрных списков»: в первом списке – порнографические ресурсы, во втором – расистские и антисемитские сайты. Он составлен в соответствии с общеевропейским проектом по развитию безопасного интернета (Safer Internet Action Plan).

    В США «Акт о защите детей от интернета» был принят еще в 2001 году. Для фильтрации используются коммерческие фильтрующие программные пакеты, а в некоторых штатах — блокирование IP-адресов на уровне провайдера.

    В Канаде в рамках проекта «Чистая связь» с 2006 года провайдеры, добровольно участвующие в программе, блокирует переход по ссылкам из «черного списка», который формируется аналитиками Канадского центра по защите детей (Canadian Centre for Child Protection). Провайдеры сами решают, как блокировать контент — по IP-адресу или доменному имени, а Sasktel BellCanada и Telus принципиально блокируют только ссылки, чтобы избежать случайного блокирования ресурсов, не содержащих запрещенного контента.

    Большинство поисковых систем в Германии —  Google, Lycos Europe, MSN Deutschland, AOL Deutschland, Yahoo!, T-Online и T-info — присоединились к соглашению «Добровольный самоконтроль для мультимедийных сервис-провайдеров». Они фильтруют интернет-сайты на основе списка, который определяется  Федеральным департаментом по медиаресурсам, вредным для молодежи.

    Самые жесткие меры в Европе установлены в Великобритании. Запрещенный интернет-контент блокируется на уровне операторов связи на основе стандарта Home Office Taskforce on Child Protection on the Internet. Кроме того, британское законодательство обязывает провайдеров отчитываться о том, принимают ли они меры по пресечению доступа к запрещенным интернет-сайтам. Интернет-провайдеры даже передают информацию в «Фонд интернет-наблюдения» (Internet Watch Foundation, IWF) и полицию о подозрительных пользователях и сетевых конференциях. Правда, это касается только распространения детской порнографии, которую в Англии фильтруют на уровне провайдеров для всех. Или, по крайней мере, пытаются.

    Контентная и url-фильтрация необходима не только в библиотеках, школах и университетах, где делать это нужно обязательно.

    Уже давно большинство компаний старается закрыть доступ к развлекательным ресурсам и социальным сетям для своих сотрудников. Нет нужды объяснять — почему. С другой стороны, делать это необходимо с умом. Ведь доступ к Facebook и LinkedIn для HR, PR и сотрудникам отдела продаж нужен для повседневной работы. Да, полностью закрыть доступ к ресурсам, которые в компании считаются нежелательными для посещения, нельзя. Можно обойти эти запреты, выходя в интернет со смартфона или планшета. Но хотя бы не через корпоративную сеть.

    Для простоты рассмотрим настройки фильтрации контента на примере обычной школы. Настройка модуля NetPolice и правил пользователей по типу, группе и категории для любой другой организации происходит аналогично.

    Что нам нужно сделать? Запретить для всех доступ к сайтам из списка Росреестра, настроить школьникам доступ только по разрешенным категориям, а учителям — доступ по всем категориям, кроме запрещенных.

    1. Начинаем с создания групп пользователей. В нашем случае это группы «Учителя» и «Школьники». Разумеется, в компании необходимо будет создать больше групп: «Руководители», «Сотрудники», «PR», «HR» и так далее. Принцип создания групп пользователей тот же, что и в нашем примере.

    Для создания группы пользователей переходим в раздел консоли управления «Пользователи и группы». В блоке «Пользователи и группы» во вкладке «Действия» нажимаем на ссылку «Добавить группу»:


    2. Сначала создаём группу «Учителя»:


    3. Теперь создаём правила для пользователей при помощи модуля NetPolice. В консоли управления переходим в раздел «Модули расширения – NetPolice – Правила» и добавляем его:


    4. Называем правило «Запрет по категориям (учителя)» и выбираем категории запрета:



    5. создаём пользовательское правило и выбираем тип правила «Запретить доступ»:



    6. В настройке правила выбираем группу «Учителя». На этом настройка для этой группы завершена:



    7. Теперь переходим к созданию правил для группы «Школьники». Сначала (пусть это не покажется странным) нам необходимо запретить доступ ко всем ресурсам:




    7. Добавляем правило, разрешающее пользователям работу с DNS (53 порт), чтобы выход в интернет был возможен. Для этого создаём правило «DNS-клиент», выбираем протоколы TCP/UDP и изменяем диапазон портов назначения на 53 порт:



    8. Теперь добавляем пользовательское правило, разрешающее ученикам просмотр сайтов:


    9. В отличие от группы «Учителя», которой разрешено посещать любые ресурсы, кроме запрещенных, пользователи из группы «Школьники» могут попасть только на определенные интернет-ресурсы:



    10. Создаём новую категорию и подтверждаем автоматическое создание нового правила на разрешение:



    11. И, наконец, настраиваем правило для работы с группой «Школьники».


    12. Возвращаемся к настройкам групп пользователей, ведь нам еще необходимо, чтобы весь трафик проходил через прокси-сервер и блокировался при запросах мимо прокси.


    13. Первыми в списке должны идти правила на разрешения. Для группы «Учителя» правило «Запрет по категориям (учителя)» добавляется автоматически:



    Нам осталось только внести пользователей в определенные группы и проверить правильность настроек, перейдя по ссылке www.smart-soft.ru/ru/solutions/check-federal-law/.

    Этим возможности Traffic Inspector не ограничиваются. Кроме контентной фильтрации мы можем, создав так называемый «черный» список, запретить доступ к определенным сайтам, которые могут не быть включены в уже запрещенные категории. Например, таким образом в компании можно запретить для определенных категорий сотрудников доступ к социальным сетям и развлекательным сервисам.

    Подробнее о настройках «черного» списка здесь.

    Если наши читатели знают другие интересные решения этой проблемы, как всегда, приглашаем к обсуждению.
    Smart-Soft
    33.57
    Company
    Share post

    Comments 29

      +2
      Интересная категория «Падонский жаргон (Олбанскей язык)». Начиная от названия (отличного от, например, названия в вики и ещё с уточнением) и заканчивая принципом фильтрации: Блокируются ресурсы с грамматическими ошибками?
        0
        fixed: «олбанский йезыг»
          0
          Блокируются ресурсы, которые NetPolice определяет, как написанные этим жаргоном.
          +3
          Круто, а что с HTTPS?
            –1
            Запрашиваемый Вами функционал будет реализован в нашем аппаратном решении, которое сейчас находится на финальной стадии разработки.
              0
              Сделают как в Казахстане. Белый список SSL-регистраторов со своими закладками в алгоритме кодирования.
              +2
              Ибд, как оно есть.
                +15
                Вот же гадость, а…

                Сначала государство запрещает доступ к информации. Потом на этот запрет, как мухи на гавно, слетаются конторы, готовые пилить софт, который эти запреты реализует. Потом учителям приходится всё это разгребать, как-будто у них более полезных дел нет…

                Тьфу.
                  0
                  У меня теща учительница в «прогрессивной» Московской школе… Со всеми околоболонскими и иновационными причудами…

                  Вот хотите верьте, хотите нет, она 35% времени (больше трети!) вот примерно этой фигней занимается…
                  +1
                  Борьба с ветряными мельницами.
                    +1
                    За три года что-то изменилось в NetPolice? Что на счет интеграции с AD? Централизованного управления всей этой фигней?
                      –2
                      Доброе утро, конечно изменилось! Интеграции с AD нет, NetPolice работает по тем же принципам, но добавились новые опции (новые категории ресурсов, возможность экспорта/импорта настроек).
                      0
                      Что на счет ютуба? (на котором много как полезного контента так и непотребного). Что с Яндекс.Видео? Через который легко можно найти как массу полезного так и горяченького.
                        –3
                        Здравствуйте. Потенциально опасные ресурсы надо блокировать целиком, если встает необходимость соблюдать законодательство. Разделять «плохие» и «хорошие» ролики только по названию чревато, потому что назвать видео можно как угодно. Например, ребенок, забивающий в поиск слово «кошечка» и представить себе не может, что его ожидает.
                          +1
                          Да-да, именно, целиком. Интернет — очень опасный ресурс, давайте его заблокируем! (с)
                          Извините, навеяло.
                        +1
                        Заголовок не соответствует тексту. Не «Контентная фильтрация: зачем и как это делать», а всего лишь «Контентная фильтрация: зачем ее делают по закону, и всего лишь один пример, как это сделать при помощи одной программы, без объяснения выбора и без сравнения ее с другими».

                        Никак не поднят вопрос цены, во сколько школе обойдется такой софт. Никак не обсуждается ни версия ПО, ни серверная мощность, ни возможные (ожидаемые) границы применимости (а они более чем интересны: тот же https, тот же почтовый трафик — они-то не входят в фильтруемое, правильно? Что будет, если сайт висит на порту 8080? Кто, наконец, составляет списки, и могу ли я верить, что страница какого-то сайта на narod.ru в списке есть?)

                        В школе проще SkyDNS подключить, и мозг не взрывать. Тем более что нет принципиальной разницы, что можно смотреть учителям, а что — ученикам. Более того, сейчас мобильный интернет настолько распространен, что либо глушить GSM/3G/LTE вообще, либо можно за детей особо «не переживать», они найдут дорогу к информации сами (у многих старшеклассников инет на телефоне есть).
                          0
                          Добрый день. В тексте мы показали, как можно правильно настроить фильтрацию интернет-контента на конкретном примере (при помощи Traffic Inspector, для наглядности была выбрана школа). В заголовке не заявлено о том, что это будет обзор существующих программ или подробный анализ Traffic Inspector с его полным списком функциональных возможностей и описанием политики ценообразования.

                          Если Вы хотите узнать информацию об организации интернет-доступа в школах, то Вам будет интересна статья — Интернет в российских школах: работа над ошибками.

                          В фильтруемое не входят почтовый трафик и https. На каком порту висит сайт — неважно, главное, чтобы был http трафик. Списки составляет Netpolice — их разработка.

                          SkyDNS не дает возможности гибкой настройки фильтрации, да и фильтрует достаточно ненадежно. А в школах мероприятия по защите детей от нежелательной информации — обязательны, за этим довольно строго следят различные проверки.
                            0
                            Именно поэтому и лучше использовать услугу по фильтрации на провайдере. Выполнить закон всяко невозможно, но использованием услуги снимается ответственность
                              0
                              Ответственность не снимается, если использовать услугу по фильтрации на провайдере. Проверки ведутся в конечных точках доступа и ответственность несет лицо, предоставляющее доступ.
                                0
                                Именно так. Проверки ведутся на уровне тех же школ и детских садов.

                                Если не сложно — где определяется кто несет ответственность? В 436-ФЗ (насколько я помню) такого положения нет — там сказано, что «в соответствии с законодательством Российской Федерации»
                                  0
                                  ст 6.17 КоАП РФ
                                    0
                                    Пункт 2:

                                    Неприменение лицом, организующим доступ к распространяемой посредством информационно-телекоммуникационных сетей (в том числе сети «Интернет») информации (за исключением операторов связи, оказывающих эти услуги связи на основании договоров об оказании услуг связи, заключенных в письменной форме) в местах, доступных для детей, административных и организационных мер, технических, программно-аппаратных средств защиты детей от информации, причиняющей вред их здоровью и (или) развитию…


                                    Правильно ли я понимаю, что если школа заключает договор с провайдером в письменной форме (а где вы видели договор в устной форме?), то лицом организующим доступ становится провайдер и таким образом школа/детсад уходят от ответственности?
                                      0
                                      Смотря от какой ответственности. Провайдер отвечает только за отсутствие фильтрации по черным спискам Роскомнадзора.

                                      Что касается остального контента — провайдер предоставляет доступ к информации юридическому лицу — школе. А юридическое лицо — школа — предоставляет доступ к информации через свою сеть в местах, доступных для детей.
                              +1
                              > показали, как можно правильно настроить фильтрацию интернет-контента на конкретном примере

                              Как раз заголовок был дан обобщенным, «Контентная фильтрация: зачем и как это делать». И то, что показано только на примере одной программы, наводит на мысль, что часть с выбором программы пропущена.

                              Это как поваренная книга «Как приготовить вкусную еду», а внутри только как сделать супчик из упаковки Ролтона.

                              > В фильтруемое не входят почтовый трафик и https

                              Спасибо, но — «нет». Сегодня даже Яндекс с Гуглом не видны вашей системе (а ведь это не только поисковики, но и веб-диски, но и видеосервисы, но и почта, но и веб-архив, где можно найти контент многих других сайтов), не говоря уже о множестве менее крупных сайтов с HTTPS.

                              Каковы финансовые гарантии, что ваше решение полностью фильтрует все неположенное по закону? Готовы ли вы (хорошо, вендор) взять на себя оплату штрафов и волокиту с бумагами, если фильтр не сработает? Готов ли кто-то оплатить выплату по судебным искам, скажем, родителей, которые заметят, что их чадо увидело в нете что-то непотребное?

                              Полагаю, что вопросов многовато.

                              P.S. Ценник здесь не озвучен, но не особо радует, как для школы-то. Отдельно не забываем цену железки + цену лицензий на ОС Windows.
                                0
                                Потенциально опасные ресурсы надо блокировать целиком, если встает необходимость соблюдать законодательство. Разделять «плохие» и «хорошие» ролики только по названию чревато, потому что назвать видео можно как угодно. Например, ребенок, забивающий в поиск слово «кошечка» и представить себе не может, что его ожидает.

                                По законодательству ответственность несет юридическое лицо, предоставляющее доступ к к информации через свою сеть, то есть школа. Ни один программный продукт не сможет на все 100% обезопасить детей от контента, который сможет причинить вред их развитию и здоровью. Но, мы уверены в том, что с помощью Traffic Inspector школа максимально минимизирует данные риски.

                                Цена для образовательных учреждений предполагает стоимость с учетом 70% на ПО и 23% на железку. Более того, в цену железки уже включена лицензия Windows и нашего ПО.

                                  0
                                  Я осторожно замечу, что мы здесь собрались вроде бы люди взрослые. Закон — законом, вред здоровью — вредом. Если так, глушите wifi от соседних домов, LTE/3G/и пр. передачу данных через сотовую сеть, а уже потом лечите школьный инет.

                                  А что именно вами предлагаемое (так и не написали цену, увы) решение лучше всех это делает — так я сразу вам написал, что нет ни сравнений, ни даже перечисления конкурентов, с кем вы сравниваете предлагаемый вариант.

                                  Но что касается проверок и защиты: да, юр. лицо отвечает. Но юр. лицо не имеет в штате спеца по безопасности, правильно? И не способно проконтролировать, насколько хорошо работает любое решение, так? В таком случае самое грамотное — отключить инет нафиг, и дать доступ только по белому списку доменов (это можно и через ДНС, и через прокси сделать), от греха. Получаем, может, и не такое изящное, но решение.

                                  Не говоря, что у Каспера есть решение по управлению доступом на сайты, с централизованной консолью. В физическую/радио сеть школы мы все равно не пускаем левые хосты, так? А на хосты школы вроде как антивирус положен, так раскидали компы по группам, и добавили права ходить в инет по сайтам, и очень даже нарядно получается.

                                  А на деле, уверен, и сеть довольно дырява (просто некому с палкой стоять и бить по головам нарушителей политики сети), и денег не на все хватает. Ваше решение купят, но от неграмотности в вопросе ИТ, а не от понимания уникальности решения (которое так и не обсуждено).
                            0
                            Какая мерзость. Сколько же любителей строить свой маленький ГУЛАГ развелось.

                            Я, как бы, понимаю, чего пытается добиться государство, внедряя все эти запреты под эгидой «для вашего собственного блага» и «дети — это святое». Но вот никак не могу понять тех, кто это лепит у себя добровольно.

                            Защитить детей? Так, наверное, лучше рассказать «что такое хорошо, а что такое плохо», а не пытаться отгородить от мира?

                            Вот уж, действительно, «запретить и непущать».
                              0
                              Рассказать «что такое хорошо, а что такое плохо» недостаточно. Ребенок может наткнуться совершенно случайно на нежелательную информацию в Сети. Это выбор родителей, если дело касается работы с Интернетом вне школы. Запрещать надо с умом и только те ресурсы, которые негативно скажутся на детях.
                                0
                                >на нежелательную информацию в Сети

                                Да-да-да. Узнают, например, что детей приносит не аист и есть такая штука как наркотики и насилие? Пусть дитятя про это узнает не из интернета, а во дворе от более продвинутых товарищей, согласен.

                                Хотя погодьте, я придумал: лучше детей вовсе никуда не отпускать, пущай дома сидят. И, всенепременно, следить за каждым шагом, провожать в школу, проверять вещи, книжки давать только одобренные министерством правды культуры. Вот тогда точно ничто не нанесет «вреда развитию» и бла-бла-бла. Вырастут достойными членами общества.



                                Я вот гляжу на действия роскомпозора, выливающиеся в цирк с блокировками статей на википедии и гитхаба из-за дебильного текстовичка, туда же «антипиратские» законы, туда же законы об «экстремизме»… Только мне одному кристально ясно, за что все это потомство унтера Пришибеева и Шарикова радеет и трудится?

                                Прикатимся, что останется пара десятков ресурсов с «желательной» информацией. Ну еще с рекламой, куда же без нее.

                                А электорат радостно подмахивает, клепая вот такие замечательные продукты. Вот уж действительно: «мы рождены, чтоб Кафку сделать былью».

                                Серьезно, вы не понимаете на чью мельницу льете воду или просто деньги не пахнут?

                            Only users with full accounts can post comments. Log in, please.