В сентябре этого года Роскомнадзор разослал провайдерам письма. В них было сказано, что серверы Google Global Cache, увеличивающие скорость доступа к ресурсам Google, не сертифицированы. Регулятор отметил, что наличие этого оборудования в сети провайдера повлечет наложение штрафа до 300 тыс. рублей.
В нашем сегодняшнем материале мы посмотрим, чем грозит отказ от GGC интернет-провайдерам и клиентам.
/ Flickr / freestocks.org / PD
Google стремится обеспечить высокую надежность и производительность своих сервисов, сохранив низкой латентность. С этой целью компания инвестировала в разработку сетевой инфраструктуры. Она состоит из трёх «слоев»: дата-центров, точек присутствия (Points of Presence, или PoP) и кеширующих узлов (Google Global Cache, или GGC).
Дата-центры являются сердцем контента и сервисов ИТ-гиганта. PoP — это узлы, которые соединяют сеть Google с остальным интернетом. Серверы GGC представляют собой часть инфраструктуры, которая находится к пользователям ближе всего и располагается в сети локальных операторов.
На этих серверах временно хранится популярный контент, который часто запрашивают пользователи. Это ускоряет доступ к Google-сервисам: YouTube, Google Maps, Google Play и др. Такое решение экономит полосу пропускания и компании Google, и операторам связи.
Подобные сети доставки контента (CDN) используют и другие компании. Например, «Яндекс». CDN российской компании служит для улучшения качества работы Яндекс.Почты.
Без GGC контент, запрашиваемый пользователями (например, видео), поступает напрямую с серверов Google. С кеширующими серверами всю цепочку проходит только первая копия видео. Запросы последующих пользователей обслуживает кеш-узел. Алгоритм работы, согласно презентации сотрудника Google Майка Аксельрода (Mike Axelrod), выглядит так:
Подробнее о том, как устроена система и какое оборудование поставляет корпорация Google провайдерам, вы можете узнать по ссылке.
Количество кеширующих серверов Google у крупного федерального оператора довольно велико. Если от них отказаться, то нагрузка на сервера Google и магистрали провайдера увеличится. Выключение серверов GGC скажется на качестве предоставляемых сервисов Google.
Однако основной «удар» примет на себя видеохостинг. По данным аналитического сайта Statista, Россия занимает третье место в мире по количеству активных пользователей YouTube в месяц. Без Google Global Cache видеозаписи на YouTube будут грузиться медленнее, время загрузки самого сайта увеличится.
Также пользователи могут лишиться возможности просматривать видео в высоком разрешении из-за ограничений пропускной способности (у многих провайдеров трафик YouTube считается локальным).
Директор некоммерческой организации «Общество защиты интернета» Михаил Климарев говорит, что отказ от GGC ощутят на себе и интернет-провайдеры. По данным МГТС, стриминговые сервисы (YouTube, Google Видео и др.) потребляют 30% полосы пропускания. В случае отказа от серверов, операторы будут вынуждены расширить каналы передачи данных как минимум на эти 30%.
Если по сети передается видеопоток, 90% которого — YouTube, то с GGC оператор оплачивает лишь часть трафика до сервисов Google. Остальной трафик обрабатывается в дата-центре провайдера и не покидает внутреннюю сеть. Если у провайдера есть филиалы по стране, GGC позволяет экономить на магистралях, потому что трафик не будет покидать пределы одного города.
С уходом GGC этот трафик станет платным. Все это приведет к повышению цен на тарифы интернета. Или даже отказу от безлимитных тарифов. О других прогнозах можно почитать здесь.
По мнению представителей телекоммуникационных компаний, сервер GGS — это не средство связи, потому не должен сертифицироваться. И запрещать пользоваться системой нельзя. Роскомнадзор, правда, такое определение отвергает.
Также в Рунете можно встретить мнение, что Роскомнадзор требует сертификацию оборудования, чтобы исключить повторение ситуации с Японией. 25 августа сотрудники Google допустили ошибку в протоколе динамической маршрутизации, в результате которой клиенты крупных японских провайдеров не могли выйти в интернет на протяжении нескольких часов. У другой части населения скорость соединения значительно упала.
Еще один вариант — действия регулятора, направленные на запрет GGC, являются формой давления на ИТ-гиганта. Роскомнадзор ждет ответных действий со стороны компании и есть вероятность, что «оппонентам» удастся договориться.
Если этого не произойдет, интернет-провайдерам придется искать выход из ситуации. Одним из вариантов, как было отмечено выше, является увеличение стоимости тарифов или отказ от безлимитного интернета, но в этом случае операторы рискуют потерять клиентов. Увеличивать ширину канала также может быть невыгодно.
Другой вариант — искать способы снижения издержек. Решить проблему запрета Google Global Cache без финансовых потерь нельзя, но можно эти потери минимизировать. Классификация и приоритезация трафика для экономии полосы пропускания способна снизить издержки, сохранив качество обслуживания (QoS) высоким.
Реализуют этот функционал системы глубокого анализа трафика — DPI. Сегодня на рынке такие решения предлагают как иностранные поставщики, так и отечественные — в том числе компания VAS Experts. Количество установок нашей системы СКАТ по России перевалило за 500, при этом 166 лицензий выданы в 2017 году. К слову, в 2015 их было всего 60.
Система DPI дает возможность менять приоритет проходящих пакетов в зависимости от протокола (DSCP/TOS в заголовке IP-пакетов, приоритет в заголовке VLAN- и QinQ-пакетов, класс трафика в заголовке MPLS-пакетов). Маршрутизаторы и шейперы используют эту информацию для обеспечения нужного качества обслуживания. Также системы DPI следят за сетью на уровнях 2–7 модели OSI и защищают её от перегрузок.
При увеличении качества видео (720p, 1080p, 4K) растет нагрузка на канал оператора. Например, в марте 2015 в Австралии трафик сервиса Netflix составил 25% от общего трафика провайдера iiNet. Активное управление трафиком и гибкая настройка приоритетов обеспечивают достойную работу видеосервисов, слегка «подрезая» трафик других приложений в критические моменты.
Еще одним вариантом может стать установка собственного кеш-сервера. Такая возможность есть у нашего решения СКАТ DPI. По статистике 3-терабайтное кеш-хранилище под Youtube-контент для 100 тыс. абонентов снижает внешнюю Youtube-полосу на 30%.
/ Схема подключения кеш-сервера
Причем такая система позволит кешировать не только видеоконтент стриминговых сервисов, но и обновления для браузеров, Windows, антивирусов и другого ПО, а также часто повторяющие файлы, например картинки.
P.S. Другие материалы из корпоративного блога VAS Experts:
В нашем сегодняшнем материале мы посмотрим, чем грозит отказ от GGC интернет-провайдерам и клиентам.
/ Flickr / freestocks.org / PD
Что такое Google Global Cache
Google стремится обеспечить высокую надежность и производительность своих сервисов, сохранив низкой латентность. С этой целью компания инвестировала в разработку сетевой инфраструктуры. Она состоит из трёх «слоев»: дата-центров, точек присутствия (Points of Presence, или PoP) и кеширующих узлов (Google Global Cache, или GGC).
Дата-центры являются сердцем контента и сервисов ИТ-гиганта. PoP — это узлы, которые соединяют сеть Google с остальным интернетом. Серверы GGC представляют собой часть инфраструктуры, которая находится к пользователям ближе всего и располагается в сети локальных операторов.
На этих серверах временно хранится популярный контент, который часто запрашивают пользователи. Это ускоряет доступ к Google-сервисам: YouTube, Google Maps, Google Play и др. Такое решение экономит полосу пропускания и компании Google, и операторам связи.
Подобные сети доставки контента (CDN) используют и другие компании. Например, «Яндекс». CDN российской компании служит для улучшения качества работы Яндекс.Почты.
Как работает GGC
Без GGC контент, запрашиваемый пользователями (например, видео), поступает напрямую с серверов Google. С кеширующими серверами всю цепочку проходит только первая копия видео. Запросы последующих пользователей обслуживает кеш-узел. Алгоритм работы, согласно презентации сотрудника Google Майка Аксельрода (Mike Axelrod), выглядит так:
- Пользователь кликает на ссылку с видео.
- DNS провайдера запрашивает у DNS Google IP-адрес контента, если тот ему неизвестен.
- DNS-сервер Google знает, что у провайдера есть GGC-узел, способный предоставить запрашиваемый контент.
- В ответе он передает IP-адрес этого узла, который пересылается пользователю.
- Далее, пользователь получает нужную ему информацию с узла GGC, а не из сети Google.
- Если запрашиваемого контента нет на GGC-узле, он запрашивает его у Google от имени пользователя и кеширует для будущих обращений.
Подробнее о том, как устроена система и какое оборудование поставляет корпорация Google провайдерам, вы можете узнать по ссылке.
Последствия запрета GGC
Количество кеширующих серверов Google у крупного федерального оператора довольно велико. Если от них отказаться, то нагрузка на сервера Google и магистрали провайдера увеличится. Выключение серверов GGC скажется на качестве предоставляемых сервисов Google.
Однако основной «удар» примет на себя видеохостинг. По данным аналитического сайта Statista, Россия занимает третье место в мире по количеству активных пользователей YouTube в месяц. Без Google Global Cache видеозаписи на YouTube будут грузиться медленнее, время загрузки самого сайта увеличится.
Также пользователи могут лишиться возможности просматривать видео в высоком разрешении из-за ограничений пропускной способности (у многих провайдеров трафик YouTube считается локальным).
Директор некоммерческой организации «Общество защиты интернета» Михаил Климарев говорит, что отказ от GGC ощутят на себе и интернет-провайдеры. По данным МГТС, стриминговые сервисы (YouTube, Google Видео и др.) потребляют 30% полосы пропускания. В случае отказа от серверов, операторы будут вынуждены расширить каналы передачи данных как минимум на эти 30%.
Если по сети передается видеопоток, 90% которого — YouTube, то с GGC оператор оплачивает лишь часть трафика до сервисов Google. Остальной трафик обрабатывается в дата-центре провайдера и не покидает внутреннюю сеть. Если у провайдера есть филиалы по стране, GGC позволяет экономить на магистралях, потому что трафик не будет покидать пределы одного города.
С уходом GGC этот трафик станет платным. Все это приведет к повышению цен на тарифы интернета. Или даже отказу от безлимитных тарифов. О других прогнозах можно почитать здесь.
Как быть провайдерам
По мнению представителей телекоммуникационных компаний, сервер GGS — это не средство связи, потому не должен сертифицироваться. И запрещать пользоваться системой нельзя. Роскомнадзор, правда, такое определение отвергает.
Также в Рунете можно встретить мнение, что Роскомнадзор требует сертификацию оборудования, чтобы исключить повторение ситуации с Японией. 25 августа сотрудники Google допустили ошибку в протоколе динамической маршрутизации, в результате которой клиенты крупных японских провайдеров не могли выйти в интернет на протяжении нескольких часов. У другой части населения скорость соединения значительно упала.
Еще один вариант — действия регулятора, направленные на запрет GGC, являются формой давления на ИТ-гиганта. Роскомнадзор ждет ответных действий со стороны компании и есть вероятность, что «оппонентам» удастся договориться.
Если этого не произойдет, интернет-провайдерам придется искать выход из ситуации. Одним из вариантов, как было отмечено выше, является увеличение стоимости тарифов или отказ от безлимитного интернета, но в этом случае операторы рискуют потерять клиентов. Увеличивать ширину канала также может быть невыгодно.
Другой вариант — искать способы снижения издержек. Решить проблему запрета Google Global Cache без финансовых потерь нельзя, но можно эти потери минимизировать. Классификация и приоритезация трафика для экономии полосы пропускания способна снизить издержки, сохранив качество обслуживания (QoS) высоким.
Реализуют этот функционал системы глубокого анализа трафика — DPI. Сегодня на рынке такие решения предлагают как иностранные поставщики, так и отечественные — в том числе компания VAS Experts. Количество установок нашей системы СКАТ по России перевалило за 500, при этом 166 лицензий выданы в 2017 году. К слову, в 2015 их было всего 60.
Система DPI дает возможность менять приоритет проходящих пакетов в зависимости от протокола (DSCP/TOS в заголовке IP-пакетов, приоритет в заголовке VLAN- и QinQ-пакетов, класс трафика в заголовке MPLS-пакетов). Маршрутизаторы и шейперы используют эту информацию для обеспечения нужного качества обслуживания. Также системы DPI следят за сетью на уровнях 2–7 модели OSI и защищают её от перегрузок.
При увеличении качества видео (720p, 1080p, 4K) растет нагрузка на канал оператора. Например, в марте 2015 в Австралии трафик сервиса Netflix составил 25% от общего трафика провайдера iiNet. Активное управление трафиком и гибкая настройка приоритетов обеспечивают достойную работу видеосервисов, слегка «подрезая» трафик других приложений в критические моменты.
Еще одним вариантом может стать установка собственного кеш-сервера. Такая возможность есть у нашего решения СКАТ DPI. По статистике 3-терабайтное кеш-хранилище под Youtube-контент для 100 тыс. абонентов снижает внешнюю Youtube-полосу на 30%.
/ Схема подключения кеш-сервера
Причем такая система позволит кешировать не только видеоконтент стриминговых сервисов, но и обновления для браузеров, Windows, антивирусов и другого ПО, а также часто повторяющие файлы, например картинки.
P.S. Другие материалы из корпоративного блога VAS Experts:
