Почему видеохостинг такой дорогой

Из всех видов статических файлов, используемых на веб-сайтах, с видеороликами связаны наиболее жёсткие требования к хостингу:

• Стили, картинки и особенно скрипты задерживают время готовности страницы к использованию, поэтому важно время отклика. С другой стороны, размеры таких файлов обычно невелики, кэшируемость хорошая, частичная загрузка не важна.
• Видеофайлы имеют большие размеры, кэшируемость плохая (большинство зрителей смотрят конкретный ролик впервые), при этом пользователь может захотеть посмотреть произвольную часть видео. С другой стороны, важна быстрота доставки, чтобы ролик можно было смотреть без перерывов на буферизацию.
• Загружаемое программное обеспечение имеет сравнительно большие размеры, однако скорость доставки не так критична, как в случае видео.

Аренда серверов для видеохостинга в США значительно дешевле (за исходящий гигабайт), чем во многих других странах. Однако доставка видео с американских серверов на другие континенты редко бывает достаточно быстрой, чтобы фильм можно было смотреть без перерывов на буферизацию, и чтобы время ожидания перед началом воспроизведения было приемлемым. Поэтому хозяевам сайтов с видеороликами, выходящих на международную аудиторию, приходится арендовать местные сервера в разных частях света поближе к своим пользователям. Показ ролика пользователю из России, например, обходится типичному видеосайту в несколько раз дороже, чем показ того же ролика американцу. Приходится или дороже платить, или снижать качество видео для зарубежных зрителей. Вот и выходи после этого на международный рынок.

Чтобы решить эту проблему, нам пришлось сделать софт умнее.

Спасибо всем, кто участвовал в нашем конкурсе по программированию! Мы подвели его итоги и наградили победителей.

Задача состояла в том, чтобы улучшить реализацию двусвязного списка из исходников Node.js. Этот код быстрый и эффективный, но он был написан под конкретное применение — хранение списков неактивных таймеров. Поэтому прямо в хранимые объекты там добавляются поля idleNext и idlePrev. Перед участниками конкурса стояла задача сделать код универсальным (так, чтобы один элемент мог принадлежать одновременно нескольким независимым спискам) без потери производительности.

Близится к концу первый летний месяц – июнь, а с ним и наш конкурс для программистов Java Script и сочувствующих. Мы писали о нем на Хабре. Решения можно прислать до 30 июня, а итоги будут подведены 10 июля. Времени не много, но есть.

В последнее время о продуктах Hola можно прочитать много разного на тему безопасности. От имени компании я попытаюсь ниже отделить правду от домыслов и преувеличений, а в комментариях — ответить на вопросы.



Напоминаю, что наши продукты для конечных пользователей позволяют обходить региональные блокировки, установленные как самими веб-сайтами, так и администраторами, провайдерами и государствами.

Один из разработчиков рассказал о том, откуда взялся стартап Hola, и прежде всего — о технических аспектах работы компании.

Предпосылки возникновения Hola

Предположим, в среднестатистическом уездном городе N мирно уживаются два провайдера, причем один из них (П1) предлагает своим клиентам за подключение приз: бочку варенья, да пачку печенья. Следовательно, клиентов у него больше, чем у второго провайдера (П2). Но весь бюджет П1 ушел на сладости, да и канал у него не особо широкий и постоянно загружен. А канал П2 широкий, но чаще всего простаивает. П1, ясное дело, не спешит делиться своим каналом с клиентами П1. В итоге имеем большую часть населения с диабетом неэффективное использование канала, вызванное здоровой рыночной конкуренцией.

Другая ситуация. В одном из районов уездного городка N все жители поголовно любят котиков. И регулярно смотрят сами и делятся друг с другом ссылками на смешные видео на Youtube. Получается, что одновременно не только гражданин Васисуалий тащит к себе из заморского хранилища немаленьких размеров видео, но и все остальные жители микрорайона делают то же самое. В итоге: Youtube вынужден тратить деньги на кеширующие сервера поближе к городку N, а провайдеры – на дорогостоящий трафик через океаны. Но ведь гораздо проще и дешевле было бы заполучить видео непосредственно от Васисуалия!

Уже год я работаю рекрутером в международном стартапе. И, кажется, готова поделиться некоторыми проблемами, с которым сталкиваются «девочки-рекрутеры», мечущиеся между «кадры решают все» и «незаменимых у нас нет». Всем нужны квалифицированные работники, вменяемые, и чтобы вышли на работу вчера. Но где и как их искать?

Казалось бы, сотрудники IT-компаний в выигрышном положении. На дворе XXI век, интернет есть даже в глубинке, и программисты могут уж как-нибудь написать себе резюме и разместить там, где его прочитают рекрутеры. Тем более, что для программистов, в отличие от кассиров или плотников, подходит и удаленная работа. Но не тут-то было. Практика показывает, что найти себе сотрудника-программиста не так уж просто. Почему?

Причины неудач

Прежде всего, программисты не тусуются в одном месте. Нет такого сайта, который собрал бы резюме всех в мире разработчиков, или хотя бы учел их профессиональные интересы. Ареалы обитания определяются языком, местом жительства, личными интересами: как в программировании, так и вне его. Больше того: увлеченные программисты, которые не заняты срочным поиском работы, возможно, ВООБЩЕ НИКУДА НЕ ЗАХОДЯТ. Они просто работают. А когда вдруг задумываются о смене работы, пишут не резюме, а мейлы своим приятелям – сотрудникам нужных фирм.

Эту толстенькую собачку зовут Швармой. Безусловно, есть у нее и «настоящая» кличка, но ее никто не помнит. Когда Шварма ложится на спину, чтобы погладили, то перевернуться сама уже не может — мешают упитанные бочка. Если кто-то (скажем, хозяин) вдруг соскучится по своей собачке, и пожелает ее увидеть, то может направляться прямиком на кухню. Потому что Шварма и ее подружки всегда там, где готовят и едят.

Десерт и домашние тапочки

Домашняя атмосфера в офисе — не ноу-хау руководства Hola. Все это: отдельные кабинеты, столы для игры в пинг-понг, профессиональный повар в офисе, отсутствие дресс-кода (домашние тапочки и теплые толстовки с логотипом фирмы прилагаются), а также совместные праздники и возможность приводить на работу собак и детей — выглядит как суперлояльность. Но это, скорее, конкуренция: избалованные сотрудники хайтека становятся все более требовательными.

Привет, друзья.

Так получилось, что мы пишем разные высоконагруженные вещи на JS. В отличие от простых сценариев в браузере, оптимизация производительности JS на сервере (речь в основном о Node.js) – тема очень интересная практически. Думаю, присутствующим не надо объяснять, почему быстрый код лучше, чем медленный.

Вообще оптимизация – это далеко не только переписывание на Си или ассемблере «горячих» участков кода. В нашей команде дискуссия о том, как заставить скрипт работать шустрее – явление перманентное. А поскольку существуют объективные критерии оценки (бенчмарк и юнит-тесты), не допускающие патологической ситуации «о вкусах не спорят» – в результате действительно получается быстрый код, снижение нагрузки на сервер, процветание, радость.

Всего несколько лет назад казалось: кому может понадобиться информация о моей частной жизни, которую я оставляю в интернете? Ведь большая часть переписки – ничего не значащая болтовня, едва ли представляющая большую ценность для собеседников, что уж говорить о спецслужбах. И кому плохо от того, что Гугл знает почти все о моих вкусах и пристрастиях? Раздражает, конечно, получать полжизни рекламу подгузников, однажды случайно зайдя на сайт про младенцев. Но жить можно.

Проблемы «маленького человека»

Но постепенно картина как-то помрачнела. Оказалось, что не только мировые лидеры не могут написать по электронной почте или сказать по телефону ничего личного. Среднестатистическому гражданину тоже стоит опасаться слишком уж провокативных высказываний – однажды его слова, фото или просто факт посещения «нежелательных» сайтов могут сыграть с ним злую шутку. Задумайтесь, обо всех ли своих подростковых интересах вам хочется рассказать начальству, партнерам по бизнесу или детям?

Сегодня Госдума России одобрит (или нет) в третьем чтении законопроект, предложенный Комитетом по информационной политике, информационным технологиям и связи. Этот документ приравняет блогеров с тремя тысячами читателей к СМИ. Нововведения, предложенные в нем, вызвали живейшее обсуждение в блогосфере, потому что обязанности и кары за их неисполнение в проекте поправок к закону перечислены, а вот технические особенности исполнения – нет.

Итак, если поправки к Закону будут приняты, то с 1 августа 2014 года блогеры-трехтысячники должны будут не только регистрироваться как СМИ, но и полгода хранить информацию о своих пользователях, проверять публикуемые данные, не рассказывать о частной жизни, не выдавать государственных тайн, не агитировать перед выборами, и не ругаться матом. Все, как в обычной газете. Взамен свежеиспеченные мини-СМИ получат возможность давать в блогах платные рекламные объявления.

За невыполнение требований закона блогеров будут наказывать: физические лица заплатят штраф от 10 до 50 тысяч рублей, а юридические – до 300 тысяч. Злостные нарушители или лишатся 500 тысяч рублей, или приостановят работу на 30 суток.

Понятие «Твиттер-революция» появилось весной-летом 2009 года, сначала в текстах информагентств про общественные волнения в Молдове, потом — в Иране. И сейчас можно сказать, что твиттер-революции продолжаются, и кто победит — свободный интернет или правительства, заинтересованные в его цензуре или даже отключении, покажет время. А пока твиттер творит историю.

Как все начиналось, или Твиттер мира

Молдавские власти в апреле 2009, пытаясь лишить голоса оппозицию, сначала пробовали отключить доступ к интернету в стране в целом, а потом — точечно влиять на сетевые СМИ, расположенные в Молдавии. Заблокированными оказались молдавские «Одноклассники». Тогда оппозиционно настроенные молдаване стали активнее использовать смс-сообщения и твиттер, хостинг которого был от Молдовы далек.

Чуть позже, в июне 2009, во время выборов в Иране, с помощью твиттера и ютуба (который власти почти сразу заблокировали) оппозиционеры привлекли внимание мировой общественности к событиям в стране. Хотя в самом Иране пользователей микроблога было не так уж много, но именно после твитов из Ирана, растиражированных мировыми СМИ, прозвучало предложение присудить Твиттеру Нобелевскую премию мира.

Как и обещали, поговорим о технологиях блокировок сайтов.

Сначала – о методах политических

Которые мало отличаются от методов борьбы с неугодными СМИ, и эффективность которых повышается от параллельного использования современных средств сбора информации, и технических средств (а значит и от достойного финансирования).

Прежде всего, в мире распространена практика принятия законов, запрещающих публикацию информации определенного рода. Лидируют нарушение авторских прав и детская порнография – они запрещены почти во всем мире, вне зависимости от политической или религиозной принадлежности страны.

В развитых странах вследствие этого запрета довольно развита самоцензура. То есть уважающие себя ресурсы сами сомнительный контент отслеживают, и не размещают, или убирают по первому требованию. Некоторые международные сайты учитывают ситуацию в стране, и, несмотря на то, что формально под чужую юрисдикцию не попадают, все же фильтруют контент, учитывая пожелания правительства. Оставляя его открытым в других, более либеральных, странах. Например, ценя развивающийся китайский рынок, большинство компаний добровольно учитывают внутрикитайские ограничения.

С бумом увлечения политикой начало вдруг казаться, что только в странах с тоталитарным и близких к нему режимами власти «закручивают гайки», ограничивая доступ граждан в интернет. Но исследование, проведенное в прошлом году Фондом развития гражданского общества показывает, что по той или иной причине интернет фильтруют все страны, от самых развитых и демократичных, до самых закрытых и тоталитарных. И Россия в этом списке где-то посередине, в категории «частично свободные страны».

И не только Куба и Иран, завершающие список, но и Англия с Америкой, где степень свободы довольно высока, тоже ограничивают доступ к интернету. Просто по разным причинам и различными способами.

Причины блокировки сайтов можно условно разделить на несколько блоков.

Политические. Их здесь подробно касаться не будем – более или менее все понятно. Сюда входят религиозное, политическое, этническое и культурное инакомыслие.