Самый южный дата-центр

    Когда мы в разговоре слышим слово «юг», наше сознание непроизвольно рисует солнечные картины, соленый бриз, стаи морских птиц, пальмы. В этой статье пойдет разговор о самом южном дата центре в мире, но, несмотря на сезонное изобилие солнца, Вы не найдете здесь разгуливающих в бикини курортниц. При полярной станции Амундсена-Скота, что разместилась на 89 градусах 59 минутах и 24 секундах южной широты, для поддержания работы нейтринной обсерватории был создан и успешно функционирует дата-центр «Ледяной Куб» (Ice Cube data center). О задачах этого ИТ-узла и о тех условиях, в которых приходится поддерживать работоспособность оборудования, и пойдет речь далее в статье.



    Центр обработки данных при лаборатории «Ледяной Куб» насчитывает в своем распоряжении более 1200 вычислительных ядер и около 3 петабайт памяти. Фактически весь вычислительный потенциал дата-центра направлен на обслуживание нужд нейтринной обсерватории, которая расположилась практически на самой южной точке нашей Земли. Нейтринные детекторы уложены рядами под более чем километром антарктического льда, и их задача — улавливать всплески нейтринного излучения, что приходит к нам из глубокого космоса отголосками масштабных деструктивных событий, помогая нам тем самым изучить как загадочную темную материю, так и собственно саму физику составных излучения — нейтрино.



    Процесс запуска и поддержания рабочего состояния ИТ-инфраструктуры в одном из наиболее суровых и отдаленных мест на всей Земле ознаменовался целым рядом проблем и испытаний, с которыми ИТ-инженеры до этого времени еще просто не сталкивались.

    Сам путь к полярной станции Амундсена-Скота по сложности можно сравнить с путешествием на другую планету: «Это мир, в котором доминируют лишь два цвета: белый и голубой», — говорит сотрудник станции Гитт. «Летом Вы ловите себя на мысли, что два часа дня тут длятся целыми сутками, что само по себе приносит новые и весьма интересные ощущения в Ваше восприятие обычного жизненного цикла человека», — говорит Барнет, коллега Гитта. В тоже время зима в здешних краях характеризуется затяжной ночью, которую освещают лишь Луна и редкое явление — красочные авроры (полярные сияния).



    Персонал


    Всего на станции пребывает не более 150 человек, среди них ИТ-специалисты составляют лишь малую часть. Работа специалистов построена так, что большая их часть не зимует на станции, ИТ-команда WIPAC (Wisconsin IceCube Particle Astrophysics Center), которая обслуживает дата-центр, находится на участке земли, покрытом слоем льда толщиной в несколько километров, лишь в летние месяцы. За промежуток короткого полярного лета техники выполняют все намеченные планы, после чего покидают белый континент.



    Остальную часть года управление инфраструктурой станции идет удаленно, из Висконсинского Университета. Та часть ИТ-команды, которая остается на зимовку, обычно подбирается не столько по своим интеллектуальным возможностям, сколько по физическим. «Главным навыком, который должен освоить зимующий сотрудник, это навык пользования спутниковым телефоном», — шутит Ральф Ауэр (Ralf Auer), администратор ИТ-оборудования полярной станции. «При возникновении внештатной ситуации наша задача состоит в том, чтобы собрать как можно больше информации и решить возникшую проблему дистанционно», — говорит уже без ухмылки Ральф.

    «Зимующая команда отвечает за «железную» составную комплекса работ по поддержке оборудования дата-центра в рабочем состоянии, однако и рутинная ИТ работенка тоже их не обходит стороной», — говорит Барнет. Результатом такой отлаженной системы является то, что Ауэр, Барнет и другие члены команды получают на удалении от оборудования полное понимание того, что с ним происходит. После анализа ими данных зимующие члены команды получают четкие установки по тем действиям, которые им необходимо будет провести. «Все это можно сравнить с ситуацией, в которой опытные авиадиспетчеры из радиорубки управляли бы полетом самолета, на борту которого из команды остались лишь стюардессы», с иронией подмечает Барнет. Как следует из вышесказанного, для того, чтоб упростить и без того сложное пребывание сотрудников Университета в объятиях Антарктической зимы, основная работа по поддержанию дата-центра проводится на удалении, и осуществляется это посредством всех доступных каналов связи.

    «Полярная станция может в экстренных случаях получить и дополнительную поддержку со стороны ИТ-специалистов, но эти люди уже не относятся к сотрудникам нашего университета. В летние пики активности университетских сотрудников на станции не более 5-8 человек, в зимний период не более 4-5», — говорит Гитт. — «Помощь может прийти со станции McMurdo, которая является основной базой поддержки полярной обсерватории. В пики летнего сезона на ней может быть до 35-40 ученных, задействованных в разного рода проектах», — продолжил Гитт.



    Связь


    Наиболее надежным каналом связи, доступным на таком удалении обсерватории от любой цивилизации, стал спутниковый интернет. Спутниковая сеть Iridium стала той связующей нитью, на которой повис столь тяжелый груз ответственности. Скорость передачи данных такого соединения составляет всего 2400 бит в секунду. Процесс передачи данных был предельно оптимизирован, на спутнике было зарезервировано максимальное количество подключений, в том числе и мультиплексные соединения с системой Iridium, а наилучшая методика сжатия пересылаемой информации минимизирует ее объем.



    «Порою каналом связи для обмена данными с нашим полярным дата-центром служат обычные сани, которые крепятся к трактору. Бережно запакованные носители информации транспортируются на нашу базу поддержки», — говорит Гитт, неоднократно участвовавший в организации караванов обеспечения, что прокладываются по замороженному континенту.

    Наиболее высокоскоростным выходом во всемирную сеть является система, предоставленная NASA — Tracking and Data Relay Satellite System (TDRSS). Скорость передачи данных в ней составляет 150 Мбит/с. Главная проблема этого канала связи состоит в его лишь частичной суточной доступности, которая составляет только 10 часов. Также размещенной на Южном полюсе станции на протяжении 8 часов бывает доступным бывший метеорологический спутник, запущенный еще в 1978 году, но его скорость передачи данных составляет всего 1 Мбит/с.

    Физическая недоступность дата-центра


    Доставка персонала на станцию и обеспечение жизнедеятельности персонала — это одна из наиболее сложных задач. «Специфика которую нам необходимо учитывать, — это то, что станция бывает закрыта, и более того, в силу климатических условий физически не доступна с марта по октябрь», — говорит Барнет. — «Любую работу, которую нам необходимо выполнить для корректного функционирования инфраструктуры, мы можем сделать только с ноября по январь. А это требует идеального планирования логистики. Поскольку даже полярным летом погодная составляющая всегда была решающей для тех мест, даже имея самый прекрасный план по оптимизации и разветвлению ИТ-инфраструктуры, Вы будете просиживать на стуле в ожидании окончания бурана, ведь необходимый груз Вам банально не могут доставить».

    Разместившаяся на станции Амундсена-Скота обсерватория с обслуживающим ее дата-центром является финальной точкой маршрута снабжения длиной в 15000 км. Все, что пересылается на станцию из США поступает в Крайстчерч (Новая Зеландия), после чего загружается на борт авиасудна С-17, специально оборудованного для посадки на лед, которое держит путь на полярную станцию МакМёрдо. На станции оборудование перебрасывается на самолет LC-130, специально оборудованный лыжными шасси и ускорителем на ракетной тяге, и на нем уже и преодолеваются последние 1250 километров.



    Следствием такого удаления дата-центра от цивилизации стала необходимость всегда иметь на складе хороший резерв запасных частей. «Если у Вас вышел из строя винчестер, либо перестала отвечать сетевая карта, гарантий того, что новую единицу Вам доставят с «большей земли» за неделю или две нет, именно поэтому резерв на станции для функционирования всей ИТ-инфраструктуры жизненно необходим», — особо отметил Барнет.

    «Штатный срок доставки на нашу полярную станцию вышедшего из строя оборудования в летний сезон составляет 30 дней, но даже такие сроки далеко не всегда выходит соблюдать», — уточнил Барнет.

    Проблема тепловыделения серверными стойками


    Казалось бы, уж на полюсе проблем с охлаждением серверов быть не должно, но и тут не все слава Богу. Охлаждение в самом холодном месте Земли — это действительно большая проблема. «В таких суровых условиях Вы должны быть очень аккуратными, эксплуатируя систему отвода тепла от серверных стоек», — говорит Гитт. — «Забор холодного воздуха идет прямо из окружающей среды. Бывали такие дни, когда мы просто не могли открыть затворки вентиляционной системы, охлаждающей ЦОД системы, они целиком покрывались льдом. Другие ситуации могли вызвать перегрев оборудования, так как окружающая среда слишком сильно нагревалась, в то время как система кондиционирования воздуха предназначена для работы при куда более низких температурах».



    «150 машин вырабатывает довольно много тепла, и чтоб избавится от него, Вы не можете просто открыть настежь дверь на улицу, от огромного перепада температуры оборудование за считаные минуты выйдет из строя».

    Что б такого не случилось регулировка температуры в помещении дата-центра должна быть очень гибкой. Получить готовое решение системы вентиляции для таких широт было просто невозможно, много вещей конструкторы делали на свой страх и риск, а после того, как система была установлена, она еще неоднократно подвергалась доработке. Проблем возникало множество и на самых неожиданных направлениях. «После замены части серверов в стойках на более компактные, изменились потоки воздуха, которые охлаждают оборудование, как результат — нам пришлось несколько изменить расположение всех стоек», — упомянул Барнет.

    Чтоб получить в помещении +18 по Цельсию, когда снаружи может бушевать от -40 до -75, надо очень постараться. Команда «Ледяного Куба» управляет подачей воздуха в помещение с помощью контроля количества поступающего воздуха через воздухозаборник, который периодически замерзает, что создаёт большие проблемы для сотрудников дата-центра.



    Антарктида — континент крайностей


    Еще одной сложностью функционирования дата-центра в условиях полярной Антарктики стала влажность, а точнее ее отсутствие. Воздух на южном полюсе крайне сухой, низкая температура и удаленность базы почти на тысячу километров от ближайшего побережья и привели к такому эффекту. Пересушенный воздух мало того, что негативно влияет на людей, он также не всегда благоприятно воздействует и на оборудование. Для пленочных носителей информации сухой воздух стал настоящей катастрофой. После выхода из строя сетевого оборудования по причине чрезмерно интенсивного износа изоляционных частей плат было решено специально увлажнять воздух в некоторых помещениях. По отзывам сотрудников, которые дежурят на станции, это изменило ситуацию в лучшую сторону.

    Еще одной проблемой дата-центра стало энергоснабжение. На южном полюсе нет электростанций, нет дублирующих линий электропередачи. Все, чем могут оперировать сотрудники полярного ЦОДа, — это два генератора, которые кроме запитывания дата-центра, питают всю базу, что, соответственно, несет дополнительные риски. Переключение между генераторами занимает время. И спрогнозировать это время довольно сложно.

    Проблемы функционирования дата-центра на каждом шагу. О многом говорит хотя бы тот факт, что даже в летний сезон доступ к помещению дата-центра чисто физически не всегда возможен. Серверное помещение — это отдельное здание при полярной станции, и чтобы добраться от жилых модулей к нему, надо преодолеть небольшое расстояние по улице, а природные условия не всегда позволяют это сделать, и сотрудникам приходится ждать по несколько дней, пока погода улучшится.



    Но, несмотря на все те сложности, с которыми работающие на станции люди сталкиваются каждый день, а может даже и именно благодаря им, члены команды «Ледяной Куб» Ауер и Барнет думают, что их работа по обеспечению работоспособности самого южного дата-центра действительно классная. «Когда Вы говорите сведущему в ИТ человеку, что Вы собираетесь на южный полюс запускать дата-центр, в котором располагается около 150 серверов, при этом время безотказной работы последнего поддерживается на уровне 99.5%, — это просто здорово», — подытожил Ауер.
    ua-hosting.company
    411,00
    Хостинг-провайдер: серверы в NL / US до 100 Гбит/с
    Поделиться публикацией

    Комментарии 57

      +3
      Интересно почитать подробнее о электроснабжении. Полагаю что 150 машин на максимальной нагрузке кушают не мало электроэнергии. Как и где хранятся такие объемы топлива? Как их доставляют к станции? Работает ли дата центр 24 часа в сутки либо если есть специально отведенные часы для решения задач.
      UDP: Чуть не забыл — как на счет радиации и статики? Учитывалось это как-то при строительстве дата центра?
        +1
        + интересно было бы почитать об энергоэффективности (PUE) данного ЦОДа, о случавшихся проблемах и их решениях.
        –42
        У США самый южный датацентр, зато у Украины самый южный в мире бар :)
          +2
          Больше нечем похвастаться?
            0
            Будем считать что это была неуместная реклама, чтобы за политику хабр не закрыли.
              0
              Ладно
              +1
              Вот это действительно круто! Только плюсануть не могу, к сожалению, по иронии кто-то слил в предыдущем топике вашей компании)))
              Мне всегда подобные темы напоминают что-то близкое к космической/научной фантастике — фильм «Нечто», мод для Халфы «Черный снег», полное одиночество, экстремальные условия и никого вокруг на тысячи километров… ну, или почти никого...)
              Кстати, всегда было интересно для чего все время в полярных условиях здания строят на опорах, чтобы не заметало снегом?
                +1
                В том числе. В Антарктиде строят на сваях, чтобы пропускать ветер и снег под строением. Помимо этого, на крайнем севере дома строят на сваях, вбитых в вечную мерзлоту под землей, чтобы дать поверхностному грунту «пространство для маневра» при изменении уровня и формы подземного льда (и хотя при этом окна первого этажа оказываются на уровне привычного нам второго, это не мешает заметать их зимой :) ).
                  +3
                  Насколько я понимаю, благодаря сваям еще уменьшается теплообмен между землей и зданием, что позволяет ему дольше хранить тепло, или я ошибаюсь?
                    +10
                    Кроме всего прочего, дело в том, что выпавший у полюса снег не тает, никогда. Влажность небольшая и осадков в середине Антарктиды немного, но этого хватает чтоб за несколько лет любой стационарный предмет ушёл под лёд. Вся влага Земли не лежит в Антарктиде только потому, что при толщине в несколько километров лёд под огромным давлением становится пластичным и потихоньку сползает к океану, где откалывается в виде айсбергов.

                    В современных антарктических станциях применяются гидравлические домкраты, чтоб можно было поднимать её вверх вслед за растущим вокруг льдом.
                    image

                    В противном случае станцию постигнет судьба снежного крейсера, который за два десятилетия бесследно «утонул» во льду.
                      +3
                      судьба снежного крейсера,
                      Спасибо за ссылку. Удивительнейшая история. Особенно сроки создания.
                      0
                      Мне кажется, что обдув воздухом (а там, насколько я понимаю, ветер может быть весьма сильным) отнимает гораздо больше тепла, чем соприкосновение со снегом, который на самом деле не так уж хорошо проводит тепло (вспомнить хотя бы что под снегом можно спастись от замерзания).
                      +9
                      На сваях еще строят, чтобы дом не растопил под собой вечную мерзлоту и не «уплыл».
                      +1
                      Спасибо за теплый отзыв, не в плюсах счастье :) Положительные да и отрицательные отзывы читателей нашего блога очень важны, они помогают делать наши статьи только луче.
                        +2
                        Спасибо за материал. Очень познавательно. Прочитал с удовольствием!
                      0
                      1 Мбит/с на спутнике 1978 года? Он подвергался модификации?
                        +3
                        Он вероятно всего лишь аналоговый ретранслятор, а скорость такую получили применив более современные виды модуляции.
                          +1
                          Да пробовали, Брюс Уилис прилетал к нему на шатле, посмотрел, но сказал что ничего нельзя сделать.
                            +4
                            Вот вы смеётесь, а ведь шаттл летал к телескопу Хаббл для апгрейда и ремонта.
                              +3
                              Да знаю я про Хаббл и даже про перепрограммирование Вояджера, просто представил себе как Брюс летал расширять канал на спутнике :)
                          0
                          Зачем к антенне прикручен такой здоровый контейнер?
                            +1
                            Судя по всему детектор используется для arxiv.org/pdf/0708.3331.pdf, видимо это оборудование выполняющее функции измерения либо экранировния от «шумов», нужно изучить подробнее этот вопрос
                            +2
                            Видео ужастного качества, но по теме www.youtube.com/watch?v=9-FNmqlttJs#t=244
                              +2
                              Всегда было интересно — как и где набирают сотрудников в подобные места? Я никогда не видел вакансий вида «требуется IT специалист в ж@пу мира».
                                +2
                                Вакансий в Сибирь / Дальний Восток сколько угодно, смотрите в Интернетах более тщательно :)
                                  0
                                  На сайтах всяких полярных институтов обычно выкладываются объявления о наборе людей на зимовки.
                                    +9
                                    Когда я учился на 5-м курсе мне бесплатно предлагали съездить на пол года на станцию Вернадского для зимовки и научной работы, при этом я не обладал какими-то специфическими сложнейшими знаниями, рядовой студент-физик, еще не получивший диплом, либо за свой счет (оплатив стажировку в Новой Зеландии, порядка 10 тыс. долларов) но на новозеландскую станцию, затем в теории там можно остаться на оплачиваемой основе на более длительный период и получать оплату за свою научную работу. Отличие новозеландской станции в том, что там комфорт и Интернет и требует начальных вложений. На станции Вернадского всего этого не было тогда, даже связь довольно плохого качества, в общем полнейшая изоляция. Дипломированным специалистам там оплачивали в то время порядка 2000 долларов / месяц. Но большая проблема там — не спится.

                                    К чему я это все? Поехать в такие экстремальные условия действительно проблемы нет, но смысл? Поверьте, 2-х недельный тур на хорошем ледоколе в Антарктиду будет куда привлекательнее. Даже в комфортных условиях пол года изоляции — не малое испытание. Это допустимо лишь тогда, когда Вам некуда себя деть либо Вы действительно свято заражены наукой. Нормальным людям там делать нечего столько времени. Жизнь одна и есть куда более интересные вещи, на которые это время можно потратить.
                                      0
                                      зато можно поставить галочку я работал на юге :) а исходя что там есть канал связи предполагаю что и сотрудникам дают чтоб с ума не сошли — так какая на самом деле разница дома сидеть в интернете или на южном полюсе :)
                                        0
                                        У меня это многолетняя мечта — пожить так минимум пару-тройку месяцев чтобы вообще (от слова совсем) никто и ничего не отвлекало. А тут — интернеты, электричество, более-менее комфорт, запас еды и воды, и, что самое главное, никого на тысячи километров вокруг.
                                          +1
                                          это извините весьма наивно, идите пешком на север

                                          нет нам никаких «Интернетов»
                                          можно прикинуть разницу между домашним Интернетом за недорого и 2400 бит за дорого
                                          если бы там хоть 128 килобит на человека… этого не будет пока спутники не взлетят
                                          mediasat.info/article/proton-podvel-jekspress-am4r
                                          а они не желают выходить на орбиту

                                          а более менее комфорт это 9 метров и отсутствие живого пейзажа за окном, вода и еда своеобразные.

                                          если никого нет рядом играет роль к примеру если решите заболеть
                                          0
                                          Преспокойно на удаленке можно работать в какой нибудь ИТ-компании ну и + институтский оклад конечно, жилье, питание, само собою командировочные :)
                                            0
                                            можно прикинуть разницу между домашним Интернетом за недорого и 2400 бит за дорого
                                              0
                                              я поднимал ап-линки в Афгане для военных — представляю очень хорошо с какими сложностями это связано :)
                                        +3
                                        Арктический и Антарктический научно-исследовательский институт
                                        отдел кадров
                                        www.aari.nw.ru/dept/kadry/index.html

                                        Российская Антарктическая экспедиция
                                        раздел вакансии (конкретно Антарктида)
                                        raexp.ru/vac/
                                          0
                                          а не граждан России берут?
                                            0
                                            Есть национальные программы, есть международные. Все зависит в роли кого ехать на очередную научную базу. Если действительно очень хочется увидеть Заполярье уж лучше туристом и не на пол года.
                                              0
                                              это Антарктида, там будет от 10000 евро только доставка из Африки, туда обратно.
                                              0
                                              нет, не граждан России берут на станции не России
                                            0
                                            Полагаю, как и во многих узкопрофильных задачах, через личные контакты. По коллегам, профильным знакомым и т.п. Я вот тоже не видел, чтобы на обсерватории набирали сотрудников через открытый рынок, но новые сотрудники туда всё равно приходят.
                                            0
                                            Интересно было бы узнать откуда этот ЦОД получает питание, если антарктическим летом теоретически можно использовать солнечную энергию, то зимой — солнца ведь нет. А 150 серверов и такая огромная инфраструктура требует не малой энергии. Вероятно, что используется мини ядерный реактор?
                                              0
                                              icecube.wisc.edu/about/facts — интересные факты о станции, но ни слова к сожалению об источнике питания не нашел ни на их официальном сайте, ни в других источниках пока что. Тут пишут icecube.wisc.edu/news/view/208 о том, что поставили кучу UPS для обеспечения бесперебойного питания, но ни слова об основном источнике. Может кто найдет инфу? Там один нейтринный детектор, который находится в кубическом километре льда, также должен потреблять не слабо.
                                                0
                                                Еще одной проблемой дата-центра стало энергоснабжение. На южном полюсе нет электростанций, нет дублирующих линий электропередачи. Все, чем могут оперировать сотрудники полярного ЦОДа, — это два генератора, которые кроме запитывания дата-центра, питают всю базу, что, соответственно, несет дополнительные риски. Переключение между генераторами занимает время. И спрогнозировать это время довольно сложно.
                                                  0
                                                  Упустил этот момент, благодарю, хотя там и нет увы тех. подробностей, какая пиковая мощность необходима для станции? Да и питание дизель-генераторами (а наверняка они дизельные) очень не энергоеффективное и требует постоянных поставок топлива. Небольшой реактор (по типу тех, которые применяются на подводных лодках), был бы куда эффективнее и намного более экологически чистым.

                                                    0
                                                    Ядерный реактор создаст ненужный фон для нейтринного детектора.
                                                      0
                                                      везде используются дизельные генераторы, топливо судном с материка.
                                                      использование ядерной энергии в Антарктике запрещено как и многое другое.
                                                        0
                                                        А если скажем атомоходы?
                                                          +1
                                                          уже написал:
                                                          использование ядерной энергии в Антарктике запрещено
                                                          к примеру поэтому атомоходы в Антарктику не ходят
                                                    0
                                                    ядерный реактор, рядом с нейтринным детектором?
                                                    Да наверняка привычные дизель-генераторы.
                                                    +1
                                                    Видео в тему…

                                                      0
                                                      По поводу Интернета на российских станциях, вот можно посмотреть сюжет и оценить как обстоят дела

                                                      www.vesti.ru/videos/show/vid/482617/
                                                      также там на vesti.ru есть другие ролики специального корреспондента про антарктическую экспедицию

                                                      что касательно комментариев: в духе я бы просидел на полюсе
                                                      можно посмотреть фильм 2012 года Зимовка режиссера Ольги Стефановой
                                                      vk.com/event36394379
                                                        +1
                                                        Очень не плохой художественный фильм про работу в условиях практически полной изоляции, как такие условия могут трансформировать человека: ru.wikipedia.org/wiki/%D0%9A%D0%B0%D0%BA_%D1%8F_%D0%BF%D1%80%D0%BE%D0%B2%D1%91%D0%BB_%D1%8D%D1%82%D0%B8%D0%BC_%D0%BB%D0%B5%D1%82%D0%BE%D0%BC
                                                          0
                                                          фильм «Зимовка»
                                                          не художественный, а документальный и снимался именно на действующей Российской антарктической станции человеком который там и находился. Т.е. как снято так и есть это не декорации.

                                                          Есть художественный посмотрите Нечто, там как и в «Как я провёл этим летом» также есть смешные моменты.
                                                            0
                                                            Я имел в виду художественный фильм, на схожую тематику, «Как я провёл этим летом» — приведенный в ссылке на Вики. Он то хоть и художественный, но тему раскрывает, да и наград у него как на КНДР-овском генерале.
                                                              0
                                                              согласен, «Как я провёл этим летом» показывали широко, раскрытие темы есть.
                                                        0
                                                        Хотя нельзя сказать что он плохой.
                                                          0
                                                          Круто! Спасибо огромное, прочитал с удовольствием. Про влажность — отдельный шок. Я-то всегда считал, что чем суше — тем лучше…

                                                          Кстати, я не суперспец по этому вопросу, но разве в южном полушарии бывает аврора? Не, она конечно и в Техасе, на Кубе бывает (1859 год) — но то ж исключения. Хотя вот сейчас вспоминаю физику процесса — и не понимаю, почему бы ей не быть в южном полушарии.
                                                            0
                                                            В статье упоминается «Аврора» как полярное сияние. Полярное сияние, это вообщем, обыденное явление для полярных и около полярных широт.

                                                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                          Самое читаемое