17 ноября 2023 года провайдер «Ярнет» из Ярославля раскрыл принцип работы ТСПУ (технические средства противодействия угрозам) от Роскомнадзора при условии возникновения аварии или отключения электропитания в сетях оператора связи.
По поводу ночных аварий со среды на четверг и с четверга на пятницу.
В первую ночь в основной нашей серверной на одном из двух энерговводов произошло отключение энергопитания, и входная автоматика подключила второй энерговвод. Но затем отключился и второй энерговвод.
Это редкая, но штатная ситуация: два энерговвода в наше здание приходят разными путями от разных понижающих трансформаторов, но с одной подстанции.
И если в рамках плановых работ или аварий пропадает электропитание на всей подстанции, то и у нас его тоже нет.Но есть дизель-генератор, который той ночью автоматически запустился после того, как пропало электропитание уже на втором энерговводе.
Затем, когда электропитание от подстанции восстановилось, дизель-генератор перестал работать и на входной источник бесперебойного питания (ИБП) было подано штатное электропитание.
К сожалению, в какой-то момент из-за всех этих переключений обычно сопровождающихся элекропомехами разного вида, ИБП перестал нормально функционировать (неисправность во входных контурах) и какое-то время (около часа) «жил на аккумуляторах».
Ну а потом и они «кончились».Дизель-генератор в это момент не работал (и не должен), так как «с его точки зрения» у нас на входных энерговводах есть электропитание.
Приехавшие на аварию инженеры не мгновенно разобрались в ситуации, но потом собрали отдельную электрическую линии мимо ИБП и обеспечили серверную электропитанием.
Меры по недопущению (или по ускорению реагирования) подобного в будущем мы, конечно, примем.Что произошло во вторую ночь?
По закону, в сети каждого оператора, находится т.н. ТСПУ: техническое средство противодействия угрозам.
Это некий комплекс устройств, через который проходит весь трафик нашей сети (в режиме «Фильтрация»), т.е. между нашими клиентами и внешней сетью Интернет.
Для оператора это «чёрный ящик», он управляется РосКомНадзором (РКН).
Например, с его помощью блокируются всякие нежелательные сайты в интернете и т.п. без участия оператора.
Его взаимодействие с сетью оператора известно и выглядит продуманным и надёжным.
В частности, у них есть круглосуточная техподдержка, которая оперативно, в случаях жалоб оператора на неправильную работу, быстро его отключает (переводит в режим «Обход»).
Также у них есть система мониторинга, которая сама должна замечать некоторые проблемы и автоматически переводить его в режим «Обхода».В случае пропадания электропитания, ТСПУ, после его, электропитания, возобновления, будет находиться в режиме «Обхода» до того момента, пока РКН вручную не переведёт его в штатный режим (т.е. в режим «Фильтрации»).
В целом, это довольно сложный программно-аппаратный комплекс, и, увы, он ещё «сыроватый». Т.е. не все программные ошибки в нём исправлены.
Дальше началась череда ошибок со стороны РКН и немного с нашей стороны, которая привела к новой ночной аварии.
В четверг днём РКН написал в техподдержку письмо о том, что ночью они хотят перевести ТСПУ в режим «Фильтрации». Это уже косяк: по договору должны писать совсем на другой адрес (noc@).
Техподдержка не очень поняла, о чём в этом письме написано, и не переслала письмо инженерам.
РКН не получил ответа и не должен был ничего делать: в письме чётко было написано «Прошу согласовать...». Отсутствие ответа однозначно должно быть расценено как отсутствие согласования. А мы бы его на ночь не дали. И позвонить они тоже не удосужились.
Около часа ночи они перевели ТСПУ в режим «Фильтрации». Но он не заработал нормальным образом и сам это не определил. На графике видно, что трафик падает минимум на порядок.
Вместо того, чтобы убедиться, что всё нормально, РКН всё оставил в таком нерабочем состоянии. Хотя все инструменты для проверки у них есть по определению. Но это переключение режима работы ТСПУ выполнял или недостаточно квалифицированный или слишком ленивый персонал.Через какое-то время система мониторинга работы сети с помощью СМС разбудила инженеров и они начали разбираться. А это было сделать не так просто.
Во-первых, памятуя события прошлой ночи, были подозрения на проблемы с электропитанием.
Во-вторых, ТСПУ не «не пропускал вообще весь трафик», а задерживал только процентов 90%. И он долгое время вообще не был в списке подозреваемых.Около трёх часов ночи ТСПУ вдруг заработал штатным образом и проработал так около часа.
Инженеры обоснованно приняли решение отложить выяснение причин проблем до утра.Но через вышеупомянутый час ТСПУ вновь перестал нормально работать.
Опять прошло какое-то время, когда инженеры узнали о проблеме и снова начали разбираться в ситуации.
Через пару часов всё-таки стало ясно, что виноват ТСПУ, инженеры позвонили в техподдержку РКН, и те перевели его в режим «Обход» (до того, как изготовитель комплекса не разберётся с проблемой).
Почему по умолчанию РКН пытается переключать режимы ночью?
Некоторая логика в этом есть: переключение приводит к обрыву связи на несколько секунд.
И если результат гарантирован, то логично даже такой кратковременный обрыв производить в часы наименьшей загрузки.
Но это, безусловно, должен решать оператор исходя из своих реалий. Нам, увы, такой возможности не предоставили.
По итогу мы, конечно, научим техподдержку правильно реагировать на непонятные письма, а РКН – выполнять договорные обязательства.
Но прошлого не вернуть, и эти 2 ночи были не самые удачные в плане оказания услуг. Приносим извинения.
Стратегической мерой по повышению надёжности нашей сети является строительство собственного ЦОД (будет запущен в эксплуатацию в следующем году).
В конце октября руководитель Роскомнадзора Андрей Липов сообщил СМИ, что с августа все узлы связи в России на 100% оборудованы средствами противодействия угрозам на базе оборудования ТСПУ для фильтрации трафика пользователей от запрещённого контента. Оборудования ТСПУ (технические средства противодействия угрозам) — это «чёрные ящики» от РКН, которые установлены у операторов связи, но доступа к этим устройствам сами провайдеры не имеют. Ранее с помощью ТСПУ РКН блокировал мосты и зеркала Tor.
«Узлы мобильной связи, узлы широкополосной связи, узлы трансграничной связи — все эти сегменты сегодня закрыты на 100% при помощи ТСПУ. Мы достигли этого показателя в августе», — уточнил для СМИ Липов.
По словам руководителя РКН, уже установленные комплекты ТСПУ нуждаются в постоянной модернизации, в первую очередь из-за роста объёма трафика у операторов связи. Эту проблему планируется оперативно решать установкой дополнительного оборудования в узлах связи.
«Согласно закону "О связи", средства обхода блокировок противоправного контента признаются угрозой. Центр мониторинга и управления сетью связи общего пользования (ЦМУ ССОП) принимает меры по ограничению работы на территории России VPN-сервисов, нарушающих российское законодательство», — сообщили в РКН различным СМИ в ответ на запрос относительно проблем с доступом пользователей в России к различным VPN-сервисам в рамках работы ТСПУ.
Поправки в законы «О связи» и «Об информации, информационных технологиях и защите информации», получившие неофициальное название «закон о «суверенном Рунете», вступили в силу с 1 ноября 2019 года. Они направлены на защиту российского сегмента интернета от внешних угроз. Все операторы связи должны установить на свои сети специальное оборудование. В случае возникновения угроз целостности, устойчивости и безопасности функционирования интернета Роскомнадзор сможет централизованно управлять маршрутизацией трафика. Также это оборудование фильтрует трафик, ограничивает доступ к запрещенным в России ресурсам, замедляет часть ресурсов (это было с Twitter) и может полностью блокировать запрещенные в стране сервисы.
Красным указано оборудование ТСПУ (технические средства противодействия угрозам) — «чёрные ящики» от РКН, которые операторы связи размещают с подведением электропитания в отдельных стойках на своих площадка по всей стране, но доступа к устройствам не имеют.
Комплекты ТСПУ от РКН уже установлены и запущены на площадках большинства провайдеров и операторов связи РФ. Эта система анализирует весь интернет-трафик (пакеты) пользователей по ряду параметров и решает, пропустить его (по умолчанию), ограничить скорость (правила для Twitter и, может, Google) или заблокировать (для запрещённых сайтов). Настраивают элементы ТСПУ и управляют ими только специалисты РКН. Из-за секретности Роскомнадзора пока точно не известно, какое конкретно оборудование поставляется для «суверенного Рунета».
Операторы связи обязаны обеспечить место в своих автозалах для устанавливаемого оборудования ТСПУ, подвести к этому оборудование электропитание (основное и резервное), обеспечить удалённый доступ к оборудованию для специалистов ГРЧЦ, Роскомнадзора и производителей оборудования. Вдобавок операторам связи запрещено препятствовать специалистам РКН осуществлять посредством использования специальных программных средств дистанционное управление техническими средствами противодействия угрозам.
С помощью ТСПУ РКН в настоящее время блокирует некоторые VPN-сервисы. В ведомстве заявили, что средства обхода блокировок признаны угрозой в РФ и подтвердили, что в рамках закона о "суверенном Рунете" ведётся работа по блокировке VPN-сервисов, помогающих обходить блокировки признанного в РФ запрещённым контента. «Согласно закону "О связи", средства обхода блокировок противоправного контента признаются угрозой. Центр мониторинга и управления сетью связи общего пользования (ЦМУ ССОП) принимает меры по ограничению работы на территории России VPN-сервисов, нарушающих российское законодательство», — сообщили в РКН различным СМИ.
Презентация главы ЦМУ ССОП по теме "Готовность российского сегмента сети «Интернет» к автономной работе" доступна в pdf.
Согласно данным из этого документа, надзорные ведомства впервые озвучили число узлов ТСПУ.
В 2022 году установлено у операторов 860 узлов ТСПУ, а в 2023 году планируется 1360 узлов.
В ноябре 2022 года Роскомнадзор и Минцифры сообщили, что ведомства в течение двух лет создадут информационную систему мониторинга маршрутов трафика в сети «Интернет» и обеспечат её функционирование, а также запустят систему мониторинга сети связи общего пользования и управления ею. На создание системы мониторинга маршрутов трафика из госбюджета будет выделено 1,2 млрд рублей на 2023 год и 2024 год. Система мониторинга маршрутов трафика позволит РКН контролировать передачу данных между всеми операторами и провайдерами связи и отслеживать тех, кто не исполняет требования ведомства. Её разработкой займётся созданный в рамках закона «о суверенном Рунете» ЦМУ ССОП.
В начале февраля 2023 года Роскомнадзор запросил дополнительное финансирование на увеличение своего штата и масштабирование текущих IT-систем из-за возросшей нагрузки на ведомство и необходимости хранить много данных, проверять компании на утечки данных и защищённость, а также для внедрения новых современных сервисов для блокировок.
