Авария в Оверсан Скалакси

    image

    От прилетевшего от Оверсана «письма счастья» проснулся мгновенно.

    Здравствуйте!

    Сегодня вечером (12-02-2011) временно вышла из строя часть дисковой подсистемы, что повлекло за собой недоступность Ваших виртуальных машин. Максимально быстро данная проблема была устранена нашими инженерами и сейчас более не проявляется. Для продолжения работы Вам необходимо перезапустить виртуальную машину…


    Зайдя в панель обнаружил, что мой сервер загружен, однако хосты не отвечат.
    Все попытки возобновить работу сервера, воспользовавшись рекомендациями технических специалистов не увенчались успехом.

    02-13 02:59
    Написал тикет в службу поддержки уже второй час жду когда же господа вернутся из космического путешествия на данную проблему обратят свое внимание.

    02-13 05:06
    Здравствуйте!
    Сегодня вечером (12-02-2011) временно вышла из строя часть дисковой подсистемы, что повлекло за собой недоступность Ваших виртуальных машин. Как проблема будет устранена, отпишем Вам в данном тикете.
    Приносим Вам свои извинения за доставленные неудобства.

    Вот это саппорт.
    Одмин негодуэ!

    UPD: 24 часа downtime. Браво Скалакси, браво!
    Поделиться публикацией

    Похожие публикации

    Комментарии 235

      +5
      У Clodo были проблемы начиная с 10, они на сколько я помню у оверсана живут, в итоге умерло несколько серверов, пришлось с бэкапов поднимать.
        0
        А то что я два часа локти кусал в ожидании ответа, который просто являлся дубляжем почтовой рассылки?
          +1
          Ну Вам еще повезло, мне о тот что с сервером что-то не так сообщила система мониторинга, а не clodo или оверсан.
            +62
            image
            +1
            Мне ответили спустя 5 минут после создания тикета, было это примерно в 23 часа…
              0
              Так ведь не дубляж. Скорее признание, что в первом письме соврали:
              Максимально быстро данная проблема была устранена нашими инженерами...
              Как проблема будет устранена, отпишем...
                0
                Это признание того, что спешили, но как обычно «ппц подкрался незаметно».
              0
              С 10? Это Вы о какой проблеме?
                0
                Неожиданно обсыпались диски виртуальных машин.
                Потом не мог даже войти в панель управления clodo, так как сообщалось что меня вообще не существует.
                  0
                  Вчера?
                    0
                    Thu, 10 Feb 2011 11:27:02 +0300 (10.02.2011 18:27:02)
                    Обнаружено раньше, это первый ответ вашей службы поддержки.
                      0
                      У нас не было аварий 10 февраля. Видимо это был частный случай именно с вашей виртуалкой. Можно номер тикета в личку, посмотрю что это было.
                        +1
                        Не знаю что за частный случай но у меня есть ответ вашей службы поддержки.
                        Тикет в личке
                          0
                          Мда… Надо сапорт наказать за такой ответ.
                            –33
                            а руководству отрывать яйца;)
                              +24
                              Сказал злобный макхост, запомнившийся своим переездом с оверсана.
                                +2
                                это не макхост, это тролль с похожим ником
                                +2
                                И вы сюда со своим говнохостом пришли
                                  +2
                                  Чья бы корова молчала — кстати, не засудили там вас по те самые яйца? Смотрю, что хорошо отделались.
                                    –17
                                    И вы сюда со своим говнохостом пришли
                              +1
                              Просто у меня 2 аккаунта у Вас, и когда пытался зайти оба говорили что меня нет, правда это длилось всего час, но это же о чем-то да говорит?
                                +1
                                Панель может быть недоступна для входа, но это не отражается на работе запущенных виртуальных машин.
                                  +2
                                  ну да :) не отражалось :) машины были в коме
                                    +1
                                    Просто я так и не получил внятного ответа, что у Вас там случилось.
                                      +1
                                      Перечитал тикет, у Вас файловая система посыпалась. Учитывая что в статусах системы в это время не было даже падений нод, могу предположить что проблема была внутри виртуального сервера. Если интересно я в понедельник могу у админов разузнать подробности Вашего случая. Кстати ответили Вам оперативно :)
                                        0
                                        Я не спорю что ответили оперативно.
                                        И 11 уже был доступ к бекапам.
                                        Просто хочется узнать причину, информация то не лишняя будет.
                                          0
                                          Напишу Вам в понедельник после того как распрошу админов.
                      +12
                      Ситуация сложная — с одной стороны я должен злорадствовать, с другой стороны любая, самая многократно резервированная система может-таки сказать «йок», так что в этой ситуации могу только посочувствовать им.
                        –4
                        Может сказать йок, но в данном случае все это можно избежать — второй массив, репликация, etc.
                          +21
                          Эх, теоретики… :-/
                            –5
                            При чем тут теоретики? Вы когда-нибудь строили разнесенный ЦОД, с обеспечением отказоустойчивости даже при техногенных катастрофах?
                              +5
                              Все таки это сотрудник netappa, так что может быть и строили, строят и будут строить.
                                +5
                                8) локальная слава…
                                –5
                                Не нужно сравнивать некомпетентность и катастрофы.
                                  0
                                  Я и не сравниваю. Внимательней читайте то, на что отвечаете.
                                  +2
                                  Строили, да.
                                  Именно потому никто никогда не говорит и не обещает 100% надежности, а всегда только «много девяток», что «случаи бывают разные», и опыт показывает, что абсолютная надежность, к сожалению, бывает только в теории.
                                    –4
                                    Капитан?
                                      +14
                                      Старший лейтенант запаса ;D
                                +6
                                Я же написал, «самая многократно резервированная система». Например, на одном сервере побилась память, он записал ахинею на диск (в район метаданных LVM) и реплицировал их. Кусать зубы? Уже бесполезно.

                                Ровно так же может навернуться нужное количество дисков в двух рейдах именно в том комплекте, который вынесет все рейды. Не может быть? Не может. Но случается.

                                А ещё может козлить корзина, я такое один раз видел: она сналача отвалила половину дисков, а потом отвалила другой набор дисков, подключив старые. Разумеется, все метаданные рейда в хлам (и в этом случае никакое количество дисков в рейде не спасёт). Если это произойдёт на двух системах сразу (допустим, битая серия корзин), то опять же, кусать зубы и терпеть.
                                  +6
                                  Кусать зубы [x]
                                    +2
                                    Думаю сегодня появилось много людей которые, уже делают бекапы.
                                      +1
                                      ECC разве не защити от ошибок памяти?
                                        +1
                                        На сколько я знаю ECC может корректировать незначительные ошибки (1 бит) и распознавать средние. То есть она полностью ничего не гарантирует, а только в некоторых случаях указывает на ошибку (которую софт еще должен корректно обработать). К сожалению.
                                • НЛО прилетело и опубликовало эту надпись здесь
                                    +1
                                    А я то думаю, чего я его запустить не могу…
                                    –44
                                    Я думаю, вам всем пора переходить в Макхост ;)
                                    • НЛО прилетело и опубликовало эту надпись здесь
                                        +6
                                        Нет, надо дождаться титек :) после этого только
                                          –19
                                          сиськи уже были ;)
                                            +4
                                            В этом топике не было.
                                          +2
                                          Бывали уже там, бывали.
                                          • НЛО прилетело и опубликовало эту надпись здесь
                                            +1
                                            Хм… В макхосте уже есть должность такая на окладе — спамер?
                                            В juick спамили многократно, теперь на хабре срут.
                                            +3
                                            Не знаю как у вас, но моя машина ещё лежит…
                                              –45
                                              Ребята накупили дорогих игрушек (серваков и массивов новомодных) на гос. деньги, а теперь не знают что с ними делать =)
                                                +23
                                                Детский сад, е-мое.
                                                0
                                                Блеать, видимо не зря была мысль сделать бекап в пятницу… Не сделал.
                                                У меня пока тоже не загружается :( ппц…
                                                  +1
                                                  Заработало
                                                  +1
                                                  Не знаю как у вас, но моя машина ещё лежит…
                                                    0
                                                    Странно, почему представители О-С никак не комментируют произошедшее?
                                                      +4
                                                      Наверно потому что обычные работники в выходные не работают, а админы чинят виртуалки и им не до хабра.
                                                        +1
                                                        В твиттере комментирет директор, по запросу миную очередь поднимает виртуалки.
                                                          –1
                                                          Директор и админ в одном лице=)
                                                    +14
                                                    Компания Оверсан отключила оборудование «Оверсан-Скалакси» за неуплату.
                                                      +3
                                                      Никогда не доверял внешним дисковым массивам. Пусть лучше будет 10 не самых надёжных, но независимых, серверов по 5 клиентов на каждом, чем супер-пупер надёжный массив, который завалит всех клиентов разом при поломке.
                                                        –32
                                                        Дело не в массивах, на западе их используют очень широко и работают без сбоев. А в некомпетентности сотрудников. Особенно в таких компаниях как Оверсан и Скалакси, где состав сотрудников, в том числе руководства, меняется по 3 раза в год.
                                                          +8
                                                          Толсто. Русский бизнес такой русский.
                                                            0
                                                            Какие облака на западе хорошо работают?
                                                        0
                                                        Странно. На Clodo два виртуальных сервера и все они отлично работают без каких-либо перебоев. Повезло.
                                                          –18
                                                          у них просто пока мало клиентов :)
                                                            +1
                                                            им бы Ваш талант «ненавязчиво» рекламировать
                                                            +2
                                                            А как Clodo со Скалакси связана?
                                                              –23
                                                              это одно и тоже, но 2 разных брэнда, как Оверсан и Оверсан-Скалакси.
                                                                +1
                                                                Ну макхост как обычно… ненавидит всех кто в Оверсане :)
                                                                  –20
                                                                  вы выдумщик и фокусник, не зря в шляпе ходите=)
                                                                    +15
                                                                    макхост, вы таки верните мне 30 000 р. и перестаньте мне рассылать свою долбаную рекламу!
                                                                      +6
                                                                      А меня просто перестаньте спамить! Я даже никогда не был вашим клиентом!
                                                                        +2
                                                                        Я просто удивляюсь как вы умудряетесь так спамить на хабре с ограничением в один коммент в пять минут.
                                                                          0
                                                                          Он и по всем форумам спамит, ограничения его не возьмут
                                                                        0
                                                                        А уточните все-таки, пожалуйста, как Clodo связан с Оверсан Скалакси? Хочется получить информацию, так сказать, из первых рук, без домыслов и прочей чуши :)
                                                                        Интересуюсь как ваш клиент.
                                                                          0
                                                                          Мы арендуем в Оверсане стойки и интернет-канал.
                                                                            0
                                                                            Спасибо, теперь буду знать, что надо бояться новостей, подобных этой.
                                                                            Кстати, от вас не получал никакого уведомления, что был сбой и нужно ребутнуть виртуалку. Если бы не зашел посмотреть на срач в комментах к этой новости и случайно бы не выяснил, что это и меня касается, то и неизвестно сколько бы мои ресурсы были недоступны.
                                                                              0
                                                                              Наш кластер никак не связан с кластером скалакси. Скалакси другая компания. Поэтому, если Вы наш клиент, новости о проблемах у скалакси никак Вас не должны беспокоить.
                                                                            0
                                                                            1)По трасерту они хостятся в датацентре оверсана.
                                                                            tracert clodo.ru
                                                                            Трассировка маршрута к clodo.ru [188.127.236.4]
                                                                            с максимальным числом прыжков 30:
                                                                            8 54 ms 54 ms 53 ms 188.127.254.2
                                                                            9 53 ms 53 ms 53 ms Mr-O-RTC1-rsw-2.oversun.ru [188.127.254.1]
                                                                            10 55 ms 55 ms 54 ms Mr-O-RTC4-rsw-1.oversun.ru [94.198.48.158]
                                                                            11 54 ms 54 ms 54 ms Mr-O-RTC2-rsw-1.oversun.ru [94.198.48.90]
                                                                            12 52 ms 52 ms 52 ms clodo.ru [188.127.236.4]

                                                                            2)Так как облако у них вроде как не падало, то наверно у них свое облако.
                                                                            3)Судя по сайту юрлицо у них тоже свое и зарегано в питере.

                                                                            Отсюда можно сделать любой вывод, но думаю не стоит, а то хабра превратится в британскую газету sun.
                                                                              –4
                                                                              Там он вам и сказал ;)
                                                                                +3
                                                                                Как поздно я очнулся и добрался до топика…

                                                                                Тем не менее.
                                                                                Меня зовут Нат, я сотрудник Оверсана.

                                                                                Ребята из Клодо действительно только арендуют у нас стойки и интернет-канал. У них свой сервис и продукт, у нас — свой (Скалакси).

                                                                                Соответственно и аварии у одного облачного провайдера не касаются другого. Это совершенно разные кластеры оборудования.
                                                                                  0
                                                                                  А Вы когда почините? сервер в состоянии вечного «выключается»
                                                                                    0
                                                                                    На help@scalaxy.ru такие вопросы лучше задавать, или через панель. Желательно ещё указывать аккаунт и какой именно сервер не поднимается.
                                                                                      0
                                                                                      написал, ответ «восстановление будет протекать долго» меня огорчает.
                                                                                        0
                                                                                        Думаю, ответ был несколько иным :)
                                                                                        Машины запускаются, осталось не так много.
                                                                                          0
                                                                                          каким бы ответ не был — все стоит.
                                                                                          хорошо, что основные «боевые» еще не перенес, там 1 час простоя — это потери тыс на 12-15 среднесуточно.
                                                                                          косяк, ребята, косяк…
                                                                                            0
                                                                                            Хорошо, если сбой из разряда форс-мажорных, а не «я случайно нажал, а оно как бамкнет».
                                                                                              0
                                                                                              Нет, далеко не такой. По ночам в субботу даже самые отчаянные ничего не нажимают без необходимости.
                                                                                              Нажимать пришлось потом…
                                                                        0
                                                                        Только вчера выкупил там площадку, хорошо что проект не успел перенести…
                                                                          –3
                                                                          /цитата/
                                                                          вот это саппорт.
                                                                          Одмин негодуэ!
                                                                          /цитата/
                                                                          буэ на таких саппотеров!
                                                                          За сегодня-вчера только на хабре прочитал 2 поста на тему «хорошей» поддержки. Это Россия, детка. :"(
                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                              +2
                                                                              Упало вчера вечером, лежит до сих пор. Когда починят — не знают сами. На текущий момент это около 16 часов «облачного» простоя.

                                                                              Замечу, что за последние два с небольшим месяца было шесть инцидентов с дисками, оборудованием и кривым ПО в Оверсане. Все шесть инцидентов приводили к незапланированному отключению серверов и простою. С другой стороны техподдержка круглосуточная и вежливая.

                                                                              Кагбы ничего личного, но куды бечь?
                                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                                  +3
                                                                                  Да хотя бы сюда linode.com. Реально и без шуток, если хоть раз попробуете там разместить свои проекты никогда уже не вернетесь ни в какие говнооблака в россии.
                                                                                    0
                                                                                    Реально интересно. Если бы трафик анлим, было бы вообще идеально.
                                                                                      0
                                                                                      А какой проект у вас жрет так много трафика?
                                                                                      +2
                                                                                      Сколько людей столько и мнений, пол месяца назад с радостью съехали с Linode.
                                                                                        +5
                                                                                        А что у них не так?
                                                                                          +3
                                                                                          Да, было бы интересно узнать, что у них не так. А то тоже там хостимся.
                                                                                          0
                                                                                          Пинг жуткий. Мне не понравилось.
                                                                                            0
                                                                                            А какой датацентр? У нас американский — подтверждаю, пинг очень большой. А вот говорят, что в английском ДЦ пинг гораздо меньше.
                                                                                              0
                                                                                              США, да.
                                                                                                0
                                                                                                Заказал в английском, пинг — 50-60, залил два гига из Москвы ооочень быстро.
                                                                                                  0
                                                                                                  Аналогично в германских, пинг с москвы 50, скорость хорошая, из дц в германии в дц в Москве выжимал 10 мегабайт в секунду.
                                                                                            0
                                                                                            Не проще за такие деньги сразу взять выделенный сервер? Например, тут: www.hetzner.de/en/hosting/produktmatrix/rootserver-produktmatrix-eq
                                                                                              0
                                                                                              У хетзнера стоит сервер начального уровня 40$(там цены в евро), он AMD Athlon 64 3700+(одноядерный) и гиг озу. У линоды 40$ стоит чуть меньше половины одного ядра Xeon L5420(по производительности эти пол ядра будут скорее всего выше чем атлон хетзнеровский), и также гиг ОЗУ.
                                                                                              По месту на винте у линоды гораздо меньше конечно 32 гига против 160 гигов. Но зато есть всякие плюшки облачности. Типа апгрейда за 40 минут включая копирование данных.
                                                                                                0
                                                                                                За 49 евро возьмите сервер с i7- 4 ядра + 8 гб оперативы
                                                                                                  0
                                                                                                  Видел, сервера конечно мощные, только там еще 150 евро для установки платить. Суммарно 270 $ за первый месяц и 65 $ потом. Дороговато выходит сервера добавлять. Да и железо не серверное, тот же софтовый рейд смущает.
                                                                                                    0
                                                                                                    270 долларов это примерно 8 тысяч, а потом примерно 2000 в месяц.
                                                                                                    Железо там отличное, я такое юзаю в серверах, ни одной сломанной матери, ни одного сломанного проца или памяти, летят только винты. Сервера использую в промышленном масштабе.
                                                                                                    Чем он вас смущает, работает и не жужжит.
                                                                                                      0
                                                                                                      Летящие винты тоже проблема, у линоды летящий винт можно заметить только по небольшому простою.
                                                                                                      А насчет чем смущает, да стремно немного использовать память без ECC, ну и последнее время что-то больше отрицательных отзывов стало о нем.
                                                                                                      Насчет денег, впринципе конечно немного, но нам пока удобнее с linode работать, так как можно плавно мощность наращивать и над горизонтальной масштабируемостью работать.
                                                                                                        0
                                                                                                        Цены настолько ниже чем в России, что за тебе деньги я могу себе позволить 5 серверов в германии по сравнению с таким же сервером в России.
                                                                                                        Для резервирования просто беру два сервера, и все равно выходит дешевле.
                                                                                                          0
                                                                                                          Ну linode.com в США в основном находится, как и наши клиенты, и собственно головной офис, так что нам например удобнее в США.
                                                                                            0
                                                                                            Если проект не только-для-роисси, то Media Temple.
                                                                                            0
                                                                                            Мне о аварии не сообщили. И судя по статистике ночью всё было хорошо.

                                                                                            В 12:19 по МСК начались проблемы: сервер ушел в масштабирование и не вернулся. Сайты были при этом недоступны.

                                                                                            Открыл тикет в 12:46 — ответил за 3 минуты. После ответа сервер начал отвечать, но в панельке он до сих пор якобы маштабируется. Саппорт сказал, что включение/выключение сервера сейчас недоступно т.к. ведутся работы по утстранению вчерашней аварии.

                                                                                            О аварии узнал с хабра после открытия тикета.
                                                                                              0
                                                                                              И опять сервер не отвечает… Печально.
                                                                                                0
                                                                                                >> Саппорт сказал, что включение/выключение сервера сейчас недоступно
                                                                                                >> т.к. ведутся работы по утстранению вчерашней аварии.
                                                                                                Мне тоже самое написали, причем без указания, когда все починят. Вот это более всего напрягает.
                                                                                                  +1
                                                                                                  Ну так обычно когда чинишь, бывает не особо ясно когда починишь. Все что можно быстро починить обычно предусмотрено заранее.
                                                                                                  Как то в сибирьтелекоме екнулся биллинг, всех пустили в инет бесплатно и заливали 27 часов бекап.
                                                                                                  0
                                                                                                  Мне отписали, что все классно и можно запускать сервера (сообщение от сегодняшнего числа, 0:36), но до сих пор не могут запуститься сервера. Грустно.
                                                                                                    0
                                                                                                    Было второе письмо, в котором опровергалось первое.
                                                                                                      0
                                                                                                      Нет, там извинялись за то, что в первом письме по ошибке открыто перечислены email-адреса всех клиентов, кому было адресовано сообщение. Посмотрите на первое сообщение в строку «Кому».
                                                                                                        0
                                                                                                        Хм, а мне не пришло письмо с извинениями о засвеченном адресе
                                                                                                        13:29 сервер по-прежнему не запускается…
                                                                                                          0
                                                                                                          Судя по количество адресов, таких людей 307, включая Вас и меня :(
                                                                                                  0
                                                                                                  Ну опять… щас руководство начнет звонить…
                                                                                                    0
                                                                                                    Ладно хоть выходные, что будет в понедельник страшно представить, надеюсь пофиксят… ох как надеюсь…
                                                                                                      0
                                                                                                      У меня машина висит в стадии «запускается» уже несколько часов.

                                                                                                      Отвечают:
                                                                                                      К сожалению, операция включения/выключения сервера в данный момент невозможна. Это связанно с работами, проводимыми в рамках устранения последствий вчерашней аварии.
                                                                                                      В ближайшее время работоспособность восстановится.
                                                                                                        0
                                                                                                        Пришлите server id в личку.
                                                                                                          0
                                                                                                          И что это даст?
                                                                                                            0
                                                                                                            Это директор их, поднимет виртуалку :-)
                                                                                                            0
                                                                                                            Прислал
                                                                                                              –3
                                                                                                              Не понимаю, зачем писать такое? Ну напишите в личку «Пришлите server id в личку.» Нет. Надо в коментах, чтобы все видели о заботе о клиентах. А то, что сейчас не до Хабра должно быть всем, кто может как-то помочь, так это пофиг. Все заботливые и готовы «взять под личный контроль» и при том написать об этом в газетах в коментах.
                                                                                                                0
                                                                                                                Лучше ещё один канал для общения, чем ни одного.
                                                                                                                  +3
                                                                                                                  Радиомолчание — это выход? Вряд ли.
                                                                                                                    0
                                                                                                                    Я не про молчание, а про показушную «заботу» о клиентах. Просьбу выслать ID сервера можно было разослать всем в личку, а не писать в комент. И бодрый отчет о решении проблем я так понял немного рановато написали.
                                                                                                                      0
                                                                                                                      Так и есть. Написал, что запустил сервер. Захожу — зелененький )) Но радость длилась не долго, т.к. fs-ы вообще не монтируются ((
                                                                                                                        0
                                                                                                                        Кстати, у меyя тоже сервер зелененьким загорелся после того как я отправил ID. Но не отвечал… Ну, я решил ребутнуть :) Теперь сервер не в состоянии «масштабируется», а в состоянии «перезагружается».

                                                                                                                        Нужно решение проблемы, а не перекраска сервера из желтого в зеленый.

                                                                                                                        Обиднее всего, что авария меня не коснулась, а устранение последствий аварии привело к неработоспособности серверов.
                                                                                                                        +1
                                                                                                                        Всё правильно сделали. Те у кого не работают сервера возможно читают комменты, но не пишут что они не работают.

                                                                                                                        Другое дело, что я час назад отправил ID сервера в ЛС lohansky, а толку ноль…
                                                                                                                          +2
                                                                                                                          Как бы хваленые десятые рейды на sas дисках, с многократным резервированием не оказались помойкой на sata дисках. Которая накрылась. Вот это будет номер.
                                                                                                                            0
                                                                                                                            Надеюсь этого не произойдет т.к. вчера слил бэкап баз, а вот свежего бэкапа статики (около 9 гигов) у меня нет…
                                                                                                                              0
                                                                                                                              Я базы кроном тоже бакуплю каждый день на гмаил-сторадж, а вот статику давненько отправил на AWS, теперь нужно придумать, как ее от туда забрать. Но все таки тешат меня надежды, что все обойдется легким испугом.
                                                                                                                                0
                                                                                                                                что такое aws?
                                                                                                                                  0
                                                                                                                                  Amazon Web Services
                                                                                                                                    0
                                                                                                                                    Извиняюсь, ошибся, на S3 отправил
                                                                                                                                      0
                                                                                                                                      и почем там гиг пространства?
                                                                                                                                        0
                                                                                                                                        Около цента вроде.
                                                                                                                                        Воспользуйтесь лучше поиском по хабру, инфы валом!
                                                                                                                                    0
                                                                                                                                    Достучался таки до своего сервера. Оказывается он работал, но т.к. включение/выключение заблокировали он замер на двух слотах — ресурсов не хватало и достучаться до него было проблематично.
                                                                                                                                    Когда подключился LA был около 65. Пошаманил — нагрузку снизил. Даже сайты начали грузиться :)

                                                                                                                                    Все данные на месте и целые (вроде).
                                                                                                                        0
                                                                                                                        У меня то же самое
                                                                                                                  +1
                                                                                                                  Кстати при общении с поддержкой скалакси в одном из писем сказали что в понедельник рассчитают и зачислят компенсацию за неудобства.
                                                                                                                    +1
                                                                                                                    Компенскация — это лишь морфий для человека, которому отрезали ногу: боль ушла, но ноги так и нет.
                                                                                                                      0
                                                                                                                      Ага, рублей тридцать. Я бы им сам компенсацию зачислил, лишь бы не было двадцатичасового простоя.
                                                                                                                        +1
                                                                                                                        Да, бабосы снимать продолжают. Енот когда не надо старается :)
                                                                                                                        +17
                                                                                                                        Приветствую!

                                                                                                                        У нас действительно произошла авария с несколькими нодами данных, в результате чего произошло перемонтирование дисков некоторых клиентских виртуальных машин в режим read-only. Хранилище было восстановлено в течении 15 минут, но потребовались работы по поочередной перезагрузке вычислительных узлов облака, поэтому восстановление работоспособности заняло столь длительное время.

                                                                                                                        Мы с коллегами изучили эту авария и поняли, что нужно сделать, что бы навсегда избежать таких ситуаций в дальнейшем. Мы уже исправлятем эти недочеты и сделаем нашу систему хранения поистинне железобетонной.

                                                                                                                        Я от себя лично и от лица компании извиняюсь за сей неприятный момент. Всем пострадавшим будет начислена компенсация. Кроме того, мы решили поделиться с вами промокодом fail2win дающим 500 рублей, что бы вы помогли укрепить наши стены, а может и подсказали куда строиться дальше.
                                                                                                                          0
                                                                                                                          не нашел куда вводить промокод
                                                                                                                            +2
                                                                                                                            Это при регистрации. Тем кто пострадал и так зачислят.
                                                                                                                            0
                                                                                                                            Компенсация в данном случае как мертвому припарки, серверов та НЕТ!
                                                                                                                              0
                                                                                                                              Скиньте в личку ids серверов.
                                                                                                                                0
                                                                                                                                Скинул.
                                                                                                                                Сервак желтым горит, и не туды и не сюды )
                                                                                                                                  +1
                                                                                                                                  Во во… та же тема.
                                                                                                                                    +2
                                                                                                                                    Оп-па… зря я радовался, что беда прошла мимо… И у меня такая же фигня началась в 14:55 — вначале сервак отключился, теперь висит в состоянии запускается
                                                                                                                                      0
                                                                                                                                      У меня то же самое, но с 15-43
                                                                                                                                        0
                                                                                                                                        О, заработало, с 16-34
                                                                                                                                          0
                                                                                                                                          Включился в 16:09
                                                                                                                                          Простой 1:16
                                                                                                                                            0
                                                                                                                                            Все работает, больше полутора часов.
                                                                                                                                              0
                                                                                                                                              Хорошо. У меня уже более 19 часов простоя и выхода из сложившейся ситуации пока не наблюдаю.
                                                                                                                                          0
                                                                                                                                          присоединяюсь
                                                                                                                                            0
                                                                                                                                            И ещё один… Рано сообщили о победе, видимо.
                                                                                                                                            0
                                                                                                                                            Тоже скинул.
                                                                                                                                          +1
                                                                                                                                          У меня оба имеющихся сервера сейчас выключены. Можно ли их включать я не знаю — боюсь что опять повиснут при включении. Профиль info@omgovich.ru
                                                                                                                                            –4
                                                                                                                                            говорящая у вас фамилия…
                                                                                                                                              0
                                                                                                                                              >>Всем пострадавшим будет начислена компенсация.
                                                                                                                                              Ну и где компенсация?
                                                                                                                                                0
                                                                                                                                                Будет, не волнуйтесь.
                                                                                                                                              0
                                                                                                                                              Вы пишете в прошедшем времени, будто проблема уже решена и все сервера поднялись. А на самом деле, когда устраните последствия?
                                                                                                                                                0
                                                                                                                                                Я пострадавший. Устранятели на другой стороне фаервола ))
                                                                                                                                                  +1
                                                                                                                                                  Да, уже понял – написал lohansky в личку.
                                                                                                                                                  Не теряем оптимизма ))
                                                                                                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                  0
                                                                                                                                                  «Гений и злодейство — две вещи несовместные» ©
                                                                                                                                                    +1
                                                                                                                                                    Странно, что макхост сразу не проспамился, мол приходите к нам — лучший хостинг в мире! Весь твитер завален их призывами :)
                                                                                                                                                    +2
                                                                                                                                                    Нда, наши облака самые тяжелые облака в мире.
                                                                                                                                                      0
                                                                                                                                                      что-то хостинг за хостингом ложится… лезут по незнанию, создавая проблемы клиентам…
                                                                                                                                                        0
                                                                                                                                                        Это скорее всего показатель того, что потребности в ресурсах растут, в отличии от хостеров.
                                                                                                                                                        –26
                                                                                                                                                        Вот интересно. Сколько раз уже обсуждалось, что не нужно размещать важные(да и не важные) проекты в России, кроме проблем это никаких плюсов не имеет. Все технологии устаревшие, специалисты некомпетентные, милиция и государство коррумпированные и тп и тд. И все равно находятся идиоты, которые размещают проекты в Российских дата-центрах, а потом рвут волосы на жопе. «Русский человек любит авось, небось да как-нибудь».

                                                                                                                                                        Кстати, взято из новостей на сайте Оверсан:

                                                                                                                                                        Разработчики облака, решающего стратегические задачи российского государства и бизнеса, — группа компаний Оверсан и ОАО “Российские космические системы”( это те, которые друг друга мудаками называют habrahabr.ru/blogs/gps/110820/ ).

                                                                                                                                                        Не знаю кем надо быть после этого, чтобы размещать там свои проекты=)

                                                                                                                                                        ps. у них даже сайт кривой www.oversun.ru/slides/#section4, хотя стоит 10млн рублей=))))
                                                                                                                                                          +7
                                                                                                                                                          Успокойся уже, бабло вернул бы лучше, чем других критиковать, сволочуга жадная. Уж лучше там размещать проекты, чем на вашем говнохосте который тупо кидает своих клиентов.
                                                                                                                                                            +3
                                                                                                                                                            Выше было пояснение что это тролль )
                                                                                                                                                          • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                            0
                                                                                                                                                            Заработало
                                                                                                                                                              0
                                                                                                                                                              а у меня перестало работать ((
                                                                                                                                                              +7
                                                                                                                                                              Добрый день, коллеги.

                                                                                                                                                              Я отвечу на несколько особенно популярных в топике вопросов.

                                                                                                                                                              Проблемы, которые возникают у некоторых пользователей при старте серверов сейчас (залипают в желтый, стартуют по полтора часа) — есть следствие ночных проблем, да. Я не буду объяснять всю техническую суть этой проблемы, но она есть, все нормализуется сегодня в течение может еще часа, двух, может и немного дольше.

                                                                                                                                                              Тем, кому интересно точное техническое описание проблемы — вполне возможно, что мы опубликуем его чуть позже. Возможно, оно будет интересно вам, да и нашим коллегам.

                                                                                                                                                              Хостинг за хостингом ложится — да, заметили вы хорошо. Ложился и раньше, ложится сейчас и будет ложиться в будущем, потому, что хостинг — некая сложная техническая платформа (особенно «облака»), любая сложная техническая платформа падает, как подметил amarao. Хостинг ложится не только в РФ, это уже миф. Вспомните, как ложились дата-центры AWS. Наша с вами задача — создавать и эксплуатировать такие платформы, которые падают не слишком часто (дают адекватный аптайм в 99,999..%) и разрабатывать отказоустойчивые приложения для управления и эксплуатации таких платформ.

                                                                                                                                                              Мы понимаем, что никакие компенсации и промо-акции не компенсируют в полном объеме простой ресурсов, упущенную прибыль и так далее, однако сейчас самое лучшее и важное, что можем сделать мы — сконцентрироваться на наискорейшем решении всех проблем их последствий. Но и отмалчиваться мы, естественно, не будем.

                                                                                                                                                              Искренне от себя и от компании прошу прощения за это падение. Спасибо за понимание.
                                                                                                                                                                –12
                                                                                                                                                                Красивое оправдание, но оно не учитывает то, что многим срать почему ваше-чудо облако не работает. И почему вы морочите людям мозги тоже не важно. «хостинг — некая сложная техническая платформа (особенно «облака»)» — это просто отмазка. Если компания гнилая, коей является Оверсан, то никакие технологии и плюшки не помогут. Нат, я бы на твоем месте делал ноги из Оверсана, как сделали все уважающие себя сотрудники.
                                                                                                                                                                • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                                                0
                                                                                                                                                                На текущее состояние мои сервера работаю корректно. Проверьте и ваши :)
                                                                                                                                                                  0
                                                                                                                                                                  Поспешил. Сервера-то работают, а вот у одного захотел изменить парог масштабирования — начал выключать и все, машина повисла в состоянии «Выключается» :(
                                                                                                                                                                    0
                                                                                                                                                                    Не повисла, но встала в очередь. Сейчас включение/выключение достаточно долгое, пока все машины не поднимутся.
                                                                                                                                                                  0
                                                                                                                                                                  Такая же беда.
                                                                                                                                                                  Завтра же ставлю админу задачу по бэкапам серверов =(
                                                                                                                                                                    +2
                                                                                                                                                                    Сегодня же ставлю себе задачу «выполнить задачу „Настроить бекап сервера“ » :)
                                                                                                                                                                      0
                                                                                                                                                                      Коллега, не работайте хотя бы в воскресенье! =)
                                                                                                                                                                        0
                                                                                                                                                                        У Вас уже есть какие-нибудь идеи как организовать регулярные бэкапы?
                                                                                                                                                                          0
                                                                                                                                                                          Все зависит от нагруженности и частоты обновления информации на сервере. Коллеги выше омолвились о Google Storage и Amazone S3 как о месте хранения. Сейчас смотрю как организован доступ к ним. А из приложений пока ничего дельного не нашел — авторы статеи в интернете только и делают, что архивируют всю структуру и отправляют архив во внешнее хранилище. По мне, так это пустая трата времени и ресурсов. Коллеги, как вы бекапите систему?
                                                                                                                                                                            +1
                                                                                                                                                                            Весьма неплохая статья на тему умных бэкапов «наружу» — habrahabr.ru/blogs/sysadm/111555/
                                                                                                                                                                              0
                                                                                                                                                                              При записи в какой-либо файл s3fs считывает целиком предыдущую версию файла на компьютер, в локальной копии происходят все модификации, и после закрытия файла он целиком заливается обратно на S3. Это означает, что даже дозапись нескольких байт в архивный файл размером 500 мегабайт приведёт к передаче гигабайта по сети.

                                                                                                                                                                              Как-то мутно всё. Не проще сервер в другом ДЦ арендовать?
                                                                                                                                                                                0
                                                                                                                                                                                Если bacula director и storage на другой машине внутри аккаунта (если речь о Скалакси), то этот гигабайт незаметен (благо, внутри аккаунта сеть 100Мбит/1Гбит).
                                                                                                                                                                                Ещё можно лить уже сделанные бакулой бэкапы на s3 отдельно, а не через s3fs.
                                                                                                                                                                                  0
                                                                                                                                                                                  В бекапе внутри ДЦ смысла нет – что если сервер бекапа заденет вместе с основным?
                                                                                                                                                                                    0
                                                                                                                                                                                    Bacula director заливает файлы на s3 (схема работы по ссылке), просто обычно его запускают на отдельной машине.
                                                                                                                                                                                      0
                                                                                                                                                                                      Прошу прощения, невнимательно прочитал Ваш предыдущий комментарий. Получается, схема следующая: поднимаем внутри ДЦ еще один сервер, вешаем на него bacula, который бекапит систему, после чего готовый бекап отправляем на s3. Правильно? И еще, насколько целесообразно ставить bacula storage на основной сервер? Насколько возрастет нагрузка?
                                                                                                                                                                                        0
                                                                                                                                                                                        В случае отдельного director логичнее storage сделать на нём (если не выносить никуда)
                                                                                                                                                                                  0
                                                                                                                                                                                  Ничего мутного. Это единственный вариант сделать append файлу на S3. Если вы скажете бакуле закрывать том сразу после бэкапа, то append никогда не понадобится. Хотя чего вы его так боитесь, я не понимаю. Тем более в скалакси, где трафик бесплатный.
                                                                                                                                                                        –5
                                                                                                                                                                        Мыши кололись, но с кайфом продолжали жрать кактус. Сборище мазахистов=)
                                                                                                                                                                        +10
                                                                                                                                                                        На баннере Scalaxy разрывает :) img12.imageshack.us/img12/1820/scalaxy.png
                                                                                                                                                                          0
                                                                                                                                                                          Интересовался у саппорта положением дел:
                                                                                                                                                                          Основные проблемы уже решены, подняты практически все задетые машины. Сейчас наблюдаются проблемы с машинами, которые запускали до 16 часов — в ближайшее время поднимем и их.
                                                                                                                                                                            0
                                                                                                                                                                            любая система рано или поздно даст сбой. даже те же google apps или s3, ничто не вечно. уж сколько раз твердили, если у вас mission critical tasks — полагайтесь только на себя. по крайней мере вы всегда сможете развернуть бекапы сразу а не «в порядке очереди».
                                                                                                                                                                              0
                                                                                                                                                                              хороший сервис. но дорого. надо еще дешевле чтобы на «линейке» минимум был.
                                                                                                                                                                                0
                                                                                                                                                                                Дорого? o_O ???? Где дешевле и лучше???
                                                                                                                                                                                0
                                                                                                                                                                                Сервер так и весит. Грустно, у нас уже утро а он людям нужен…
                                                                                                                                                                                  0
                                                                                                                                                                                  Какой сервер? Аккаунт, ID? Поднято практически всё уже. Можно номер тикета, если есть.
                                                                                                                                                                                    0
                                                                                                                                                                                    сервер 3768
                                                                                                                                                                                    тикет 3389
                                                                                                                                                                                    Причем часов 10 назад отрапортовали, что сделали
                                                                                                                                                                                      0
                                                                                                                                                                                      Ответили.
                                                                                                                                                                                      Уведомление о том, что машины могут медленно подниматься, отосланное 13 часов назад, не стоит воспринимать как «всё сделали». Впрочем, Ваша машина запускалась и ранее, если верить логу.
                                                                                                                                                                                        0
                                                                                                                                                                                        Спасибо, теперь точно все работает )))
                                                                                                                                                                                          0
                                                                                                                                                                                          Одни из последних поднялись.
                                                                                                                                                                                          Хотя до этого сервер работал, посмотрите в лог панели. Непонятно, почему доступа не было.
                                                                                                                                                                                  0
                                                                                                                                                                                  Моё облако до сих пор лежит. Тикет 3470. Сколько ждать-то?
                                                                                                                                                                                    0
                                                                                                                                                                                    Очень странно. Сейчас посмотрим, всё уже поднялось, в общем смысле. Минуту.
                                                                                                                                                                                    0
                                                                                                                                                                                    Похоже перманентный трындец у скалакси продолжается. Вчера вечером выбило сервер, он не запускается. Другой не выключается.