zhirnoov 27 июл в 00:20

Я победил замедление YouTube

4 мин

424K

Работа с видео*Разработка мобильных приложений*Разработка под Android*Сетевые технологии*Kotlin*

Кейс

Recovery Mode

Привет, Хабр! Ухудшение работы YouTube стало поистине трагическим событием, которое прибило почти все загрузчики видео, но я нашел легальный способ улучшить ситуацию!
Как починить оборудование Google, не привлекая внимание санитаров.

1.5 года я занимаюсь разработкой и поддержкой самого популярного в RuStore загрузчика видео на Android. На данный момент приложение имеет более 50 тысяч установок и среднюю оценку 4.4.

Когда YouTube начал замедляться, то пострадал, как это не парадоксально, в большей степени совсем не просмотр видео, а скачивание. (Дальше в статье объясню почему).

Многие пользователи на форумах стали жаловаться на проблемы при работе с утилитой yt‑dlp (форк youtube‑dl):

Лично у меня, как ни странно, воспроизведение видео на самом сайте ютуба не тормозит совсем.

Но вот скачивание с помощью yt-dlp, как оказалось, тормозит нещадно. Скорость пляшет между 40 и 200 KiB/s, что ни в какие ворота, особенно для многогигабайтных видео.

Естественно, после этого наступили темные времена для всех Android загрузчиков, которые работают на основе этой библиотеки (Seal, YTDLNIS и др). Разумеется и мое приложение оказалось в этом числе.

Хоть я давно уже реализовал загрузку контента из отечественных платформ (ВК Видео, RuTube, Дзен), но 90% загрузок видео так или иначе приходилось именно на ютуб.
Полетели негативные отзывы, я перебирал варианты и отметал. Пару дней было неспокойно.

Как я обходил замедление YouTube

Первым делом я решил отказаться от использования yt‑dlp в рамках скачивания из YouTube. Никаких полезных опций в текущих условиях там больше для меня нет.
Реализовал прямой доступ к YouTube API. Про этот способ уже писал в другой статье на Хабр. Я заметил, что несмотря на замедление, всё же удается скачать первые пару мегабайт, а затем скачивать становится невозможно.

Потоковые видео поддерживают Header Range для HTTP запросов, и это позволяет нам скачивать видеофайл по кусочкам.

Если произойдет обрыв, то мы посчитаем сколько байт уже скачано, и продолжим с того же места опять. Ещё я решил задать timeout в 3.5 секунды на один запрос. Довольно часто запрос уходил на 20 секунд и более отсыпаться, поэтому было решено дропать раньше.

Пишем несложный цикл на Kotlin:

fun main() {

        val chunkSize = 500000 
        // Размер куска в байтах, который мы будем скачивать за один запрос

        val client = HttpClient()

        val length = client.head(link).headers[HttpHeaders.ContentLength]?.toLong() as Long
        //Получаем размер видеофайла

        while (true) {
            try {
                val lastByte = length - 1
                var start = inputVideoFile.length()
                val output = FileOutputStream(inputVideoFile, true)
                val end = min(start + chunkSize - 1, lastByte)

                val data = withTimeoutOrNull(3500L) {
                    client.get(videoUrl) {
                        header("Range", "bytes=${start}-${end}")
                        header(HttpHeaders.ContentType, contentTypeVideo)
                    }.body<ByteArray>()
                }

                if (data != null) {
                    output.write(data)
                    if (end >= lastByte) break
                    start += chunkSize
                }
            } catch (e: Exception) {
                TracerCrashReport.report(e, "error yt chunk downloading")
            }
        }

        client.close()
       
       
}

Скорость и правда немного улучшилась, файл докачивался, никаких обрывов не происходило, но этого было мало.

Позже мне удалось узнать, что низкая скорость была ещё и следствием протокола HTTP/2, а YouTube транслирует видео по HTTP/3. Это именно то, из-за чего yt-dlp выдает ужасную скорость, а в браузерах особых задержек не наблюдается. Проверить протокол можно в DevTools → Network. “h3” означает HTTP/3.

Если у вас какие-то лютые тормоза на ютубе, то нужно включить QUIC или, возможно, пришло время обновить браузер.

Ради эксперимента вы можете отключить HTTP/3 в настройках браузера. Для Chrome нужно ввести в адресную строку chrome://flags/#enable-quic → Experimental QUIC protocol → Disable

И вы сможете ощутить все прелести замедления. Возможно, именно к такому состоянию нас и готовят в будущем. Кстати, напишите в комментариях, кто в курсе, почему удается так жестко снижать скорость для протокола HTTP/2, а для HTTP/3 нет? Или не пытались?

Выяснили. Нам очень необходима поддержка протокола HTTP/3, но это, как оказалось, совсем нетривиальная задача. Даже для Curl требуется целая церемония. Новый протокол скорее ориентирован на браузеры, хотя уже есть и поддержка для Nginx.
Поправьте меня в комментариях, если я не прав.

Как оказалось, для Android приложений существует целая гугловая библиотека Cronet.

Cronet — это сетевой стек Chromium, предоставляемый приложениям Android в виде библиотеки. Cronet использует несколько технологий, которые снижают задержку и увеличивают пропускную способность сетевых запросов, необходимых для работы вашего приложения.
Библиотека Cronet обрабатывает запросы приложений, которыми ежедневно пользуются миллионы людей, таких как YouTube, Google App, Google Photos и Maps — Navigation & Transit.

На Хабре про неё есть отдельная статья от 2019 года — Протокол QUIC в деле: как его внедрял Uber, чтобы оптимизировать производительность

    private fun createCronet(context: Context): CronetEngine {
        return CronetEngine.Builder(context)
            .enableHttp2(true)
            .enableQuic(true)
            .enableBrotli(true)
            .build()
    }

После подключения библиотеки в качестве движка для Ktor Client (использовал экспериментальную реализация с гитхаба) скорость скачивания заметно выросла.

Итог

Мне удалось повысить среднюю скорость скачивания видео в 1080p до 7 мегабит на домашнем интернете от МТС и до 12 мегабит на мобильном интернете от Теле2.
Если в текущих условиях замедления вам нужно будет скачать видео, то вы всегда можете воспользоваться моим загрузчиком из RuStore.

Дополнение

Можно воспользоваться сервисом от Nginx, который покажет, подключились ли вы c QUIC или нет.

При успешном соединении c QUIC появится следующая надпись Congratulations! You're connected over QUIC

Если какая‑то другая надпись, то возможно вам следует разобраться с настройками своего браузера/обновиться/перейти на другой.

По моим наблюдением, именно хром дает лучшую скорость при просмотре видео с ютуб.