Как сохранить олимпиаду?

[megaweber]

Где ответ на главный вопрос? Из-за какого бага не раскрылось кольцо? :)

[balcon]

Как оказалось, это была фича.

[beaverBox]

Дык футболка же у Эрнста такая. Это новые лого и тренд олимпиад, все продумано заранее :)

[SamRoguine]

Ну как. Масштабируемость системы была недостаточна, ресурсы накрылись, стоимость высокая — вот и не открылось. Только на 4 хватило.

[dadgo]

Я как-то пропустил, а что за задача-то была?

[SamRoguine]

Надежное хранение больших объемов редко запрашиваемых данных — эффективно, хорошо по стоимости и очень масштабируемо.

[surly]

Прочитав заголовок, я сначала подумал, что речь пойдет о тулзе для загрузки видеотрансляций на локальный компьютер. Что-то вроде youtube-dl специально для сайтов sochi2014.com и sportbox.

[spxnezzar]

Я не совсем понял, то что описано домыслы или автор имеет прямое отношение к разворачиванию инфраструктуры? Если последнее, то хотелось бы поподробнее прочитать о том как это было в реальности, а не на схемах. Какие были трудности, как проходили организационные мероприятия — уровень сопряжения на олимпиаде просто фантастический. Хотя бы банально, как в описанную систему подключались те же хронографы? А то как-то попахивает рекламой Акрониса, причем с картинкой показывающей какой-то одомашенный сервер резервирования. (2.5Tb хватит если я не ошибаюсь ну на часов 10 линейного эфира, пущенного на экран зрителям) Думаю данные на олимпиаде считались как минимум петабайтами.

[SamRoguine]

Задача была объяснить Технологию и Решение, позволяющее надежно и достаточно просто хранить большие объемы данных, к которым не требуется высокоскоростной доступ.

2.5Тб на скриншоте это из тестового окружения — в реальном хранится несколько Петабайт.

Просто сейчас такие вещи, как видеозаписи Олимпиады, обычно сохраняются очень архаичными методами, типа Лент, или стоят дико дорого, или вообще стираются — например как эфир почти всех телеканалов.

[relgames]

Минимальная избыточность – необходимо как минимум 4 сервера хранения, при этом можно потерять один сервер без потери данных;
Нормальная избыточность – необходимо как минимум 9 серверов хранения, при этом можно безболезненно потерять 2 сервера хранения;

Т.е. можно сделать 8 серверов и можно терять 2 сервера? Зачем тогда 9?

[Shirixae]

Видимо, под I/O.

[Alexey_Ru]

На самом деле, в «нормальной схеме избыточности» данные бьются на 5 фрагментов и к ним прибавляется 2 фрагмента, обеспечивающие избыточность. То, что системе необходимо не 7 серверов, а 9 — это лишь особенность текущего алгоритма, который в данный момент оптимизируется и в следующем апдейте продукта для того, чтобы иметь возможность потерять 2 сервера, понадобится всего 7 серверов хранения.

[VladVR]

Логично предположить, что когда 4+4, то можно потерять 2 только при условии, что 1 сервер из первой группы, и один из второй.
Имея 9 можно потерять любые 2.

[11rus]

Интересно, во сколько миллиардов эта система обошлась бюджету?

[schetchik]

Не пойму, в этой статье слово экспертиза используется в значении «опыт» или «исследование вопроса»? :)

[Alexey_Ru]

Слово используется в обоих смыслах. В отношении олимпиады — это «исследование вопроса» (вернее даже предлагаемое решение подобного рода проблем), а в отношении длительного хранения петабайт данных в собственном облачном хранилище — это, безусловно, опыт

[denis-isaev]

Все средства массовой информации последнее врем живут и дышат вопросом терраформирования Марса… По некоторым данным леса ацидалийской равнины на Марсе стали большим событием не только для астронавтов и биологов, но и для российского ботан-сообщества… В качестве метода для быстрого формирования атмосферы была выбрана бомбардировка водно-аммиачными астероидами с последующим биогенным воздействием… А теперь посмотрите какие классные саженцы помидор и капусты есть в ассортименте нашей компании :)

Это я к тому, что связи между Acronis Storage и Олимпиадой совсем не просматривается в статье. И мишка на картинке используется похоже только ради контекста для рекламы :)

[Alexey_Ru]

По-моему, связь очевидна — в статье описан пример проблемы (причём довольно популярной), основные критерии важные для решения подобного рода проблем, и, собственно, пример решения данной проблемы, удовлетворяющий критериям.

[denis-isaev]

В статье действительно описан пример проблемы и пример решения. Вот только пример проблемы уровня олимпиады, а пример решения уровня хранения домашних фоток. Вот если бы вы с «олимпиадной вводной» описали в последствии как с помощью вашего продукта было организовано хранилище видеоданных первого канала, тогда можно бы было сказать, что Вы привели пример решения проблемы уровня олимпиады. А сейчас получается, что начали с проблемы терраформирования Марса, а решение предложили для выращивания лука на подоконнике.

[Alexey_Ru]

Не соглашусь. Никаких «сферических коней в вакууме тут нет». Во-первых, решение в основном используется не для хранения домашних фоток (хотя и для этого тоже), а для хранения бэкапов корпоративных пользователей в нескольких датацентрах. Это петабайты информации — финансовые данные, медицинская информация, бэкапы серверов баз данных и т.д. Те, кто заботится о секьюрности своих данных, хранимых в облаке, шифрует (encrypt) свои бэкапы. Алгоритмы шифрования — AES 256 или ГОСТ 28147-89 для российских предприятий государственного значения.
Ну а насчёт того, как организовать хранилище видеоданных — всё очень просто, видео данные с точки зрения системы хранения — это всего лишь файлы (такие же как файлы бэкапов или любые другие файлы), поэтому хранение видеоданных от хранения других типов данных ничем не отличается.

[denis-isaev]

Ну вот и описали бы как организовано хранилище петабайтов бекапов со всеми нюансами. Было бы интересно.
Что касается хранилищ видеоданных, то при больших объемах все гораздо сложнее, чем «от хранения других типов данных ничем не отличается» потому что видеоданные хранятся, чтобы иногда их доставать, а это и разумная каталогизация, и поиск, и адекватное описание происходящего на видео для индексации и т.д.т.п Все это вместе и составляет те самые сложности, которые возникают на масштабных задачах и которые интересно послушать. И которых так недостает статье.

[Alexey_Ru]

Дело в том, что описанная система пока не решает задачи каталогизации и поиска данных (это как раз будет следующий этап в развитии данной системы, как и дедупликация, георепликация, поддержка различных протоколов доступа, тиеринг данных). И конечно, есть куча нюансов, которые в данной статье не описаны — статья рассказывает, о способе решения основных проблем первого плана (отказоустойчивость, масштабируемость, контроль, стоимость хранения). Более детальное описание нюансов работы с архивными данными — это тема для отдельной статью, которая, я уверен, вскоре появится.

[denis-isaev]

С интересом прочту! :)

[anitspam]

Дадите ссылку, чтобы скачать открытие и закрытие Олимпиады бесплатно без регистрации и смс?

[Alexey_Ru]

Это к Эрнсту :)

[anitspam]

он есть на хабре ??? :)