Отказоустойчивая архитектура контентной платформы на 4 Тбит/с — опыт VK Видео

[BadDancer]

Во всех ли случаях видео/фото транскодируются или есть форматы/размеры, которые ВК не будет транскодировать, а сохранит и будет отображать как есть?
Если не во всех, то есть ли спеки, какие форматы/размеры не будут перекодированы?
Если есть, то дайте пожалуйста ссылку.

[riky]

какой не скромный вопрос )

[alatobol]

Транскодировать или нет, сейчас зависит не от форматов, а от сценариев. Например, прозрачно передаем видео в видеосообщениях, потому что чаще всего это записи прямо с камеры, которые скорее всего нам подойдут. Чтобы не перекодировать видео в других сценариях, требуется реализовывать много дополнительных проверок, чтобы гарантировать, что видео воспроизведется как надо.

[md_backend_binance]

"миллион разных контейнеров , кодеков видео , кодеков аудио"

Ну и как вы перегоняете из всего в свой?

Миллион if через ffmpeg ?

[Didimus]

1. Видео в качестве 720 почти не отличается на глаз. Где то внутри все пережимается в 240@24, а потом апскейлится, походу. Качество Ютуба, даже с его агрессивным сжатием, остается недостижимым

2. Отсутствует контент в HD

3. Отзывчивость поеера на уровне худших решений

4. Ну и главная проблема: шлак-контент.

[kivan_mih]

Александр, поделитесь пожалуйста опытом использования GC Shenondoah:
1. Сколько примерно %CPU отъедает его использование по сравнению с другими GC, которые вы пробовали на ваших нагрузках?
2. Пробовали ли вы ZGC, почему выбрали именно Shenondoah?

[Bloof]

Привет.

1. Графиками не подтвержу, но насколько помню, в пике где-то 15% цпу уходило на сборку.

2. Пробовали, но большой разницы не было. Поэтому по историческим причинам остались на Shenandoah (т.к. используем его в том числе и на OpenJDK 11).

[aalexand]

Скажите, MSG_ZEROCOPY используете?

[Bloof]

Привет.

Сейчас нет, но есть планы попробовать. Для этого сперва нужно сделать поддержку в one-nio.

[Ggr3tings]

Александр, здравствуйте! Благодарю за статью! Есть вопрос:

Очередь организуем с помощью собственного решения на leader election поверх ZooKeeper.

Функционал Kafka не соответствовал нуждам разработки?

[Bloof]

Привет.

Поясни, плз, как конкретно предлагаешь использовать Kafka?

Вообще на момент, когда мы реализовывали очередь (2013 год), Kafka у нас в проде не было.

[hexware]

Добрый, Спасибо большео за статью.

Можете подсказать конфигурацию сервера с которой получается раздавать ява приложением на такой скорости?

Почему именно все 3 константы одинаково заданы net.ipv4.tcp_mem = 20000000 20000000 20000000 ? По документции кажется лучше так не делать "it contains three numbers: the minimum, pressure, and maximum. The pressure is the threshold at which TCP will start to reclaim buffer memory to move memory use down toward the minimum. You want to avoid hitting that threshold."

[dmitrysamsonov]

Конфигурация серверов:

• 2x Intel Gold 6238R CPU

• 512GB RAM

• 1x NVME

• 4x 25Gbit NET

"You want to avoid hitting that threshold "

Вот как раз из-за этого все три значения net.ipv4.tcp_mem поставлены заведомо преувеличенными и одинаковыми: мы не хотим, что бы запускался reclaim, т.к. он ударит по производительности сервера. Вместо этого мы выставляем на сокеты кастомный размер send buffer, что бы сдерживать рост tcp памяти (которая иначе может сильно вырасти из-за автотюнинга сокетных буферов). И мы готовы пожертвовать необходимым для этого объёмом RAM (на практике это несколько гигабайт).

[olegator1]

На графике у вас в пике 4Тбит трафика, если брать 4мбит на пользователя это всего порядка 1млн человек. Неужели у вконтакте доля трафика меньше 1% от активных пользовтелей интернета РФ?