Проблема с серверами 1 июля

    Evernote пережил серию аппаратных сбоев на одном из наших серверов между 1 и 4 июля. Эти проблемы потенциально могли затронуть 6 323 пользователей по всему миру. В результате этого сбоя некоторые заметки, созданные или отредактированные этими пользователями в промежуток времени между 1 и 4 июля, не были корректно записаны на серверах Evernote. Мы незамедлительно связались со всеми пострадавшими пользователями по почте, и наша служба поддержки провела их через процедуру восстановления данных. Мы сразу предоставили всем потенциально пострадавшим пользователям премиум-подписку (либо продлили ее на 1 год для тех, кто уже являлся премиум-пользователем), чтобы обеспечить им приоритетный доступ к нашей технической поддержке в случае, если понадобится помощь в восстановлении заметок, а также для частичной компенсации за причиненное неудобство.

    Если вы не получили от нас такое письмо в начале июля, значит проблема вас не затронула.


    Благодаря присущей Evernote избыточности хранения данных (копии заметок сохранялись на жестком диске, в почте и истории браузера), большинство пострадавших пользователей смогли восстановить все свои заметки.

    Мы хотим вас заверить, что это была однократная проблема. Мы значительно улучшили нашу систему оповещения и избыточность инфраструктуры, чтобы предотвратить повторение подобных инцидентов. Мы искренне просим извинения у наших пострадавших пользователей. Даже если большинство из них не потеряли какие-либо данные, они вынуждены были прочитать длинное и, вероятно, волнительное письмо с информацией о проблеме. Мы также надеемся, что те, кто потерял данные, получили достаточно информации о заметках, с которыми они работали в течение четырех дней, чтобы восстановить или создать заново наиболее важные из них.

    Мы получили ответы от нескольких сотен пострадавших пользователей, и мы крайне благодарны им за понимание и постоянную поддержку. Мы пишем об этом сейчас из-за ошибочной информации, распространившейся кое-где по Интернету.

    Ниже технические подробности происшедшего.

    Данные каждого пользователя хранятся на «кластере» (shard). Кластер образуется из связки двух серверов: рабочего и запасного, для обеспечения отказоустойчивости. Если есть проблема с сервером, система автоматически запускает в работу второй сервер в кластере. У нас сейчас есть 37 кластеров. С кластером номер 22 в прошлом месяце возникли проблемы. Данные каждого сервера хранятся на RAID-массиве (с полным резервированием). Также осуществляется резервное копирование всех данных, как в нашем центре обработки данных, так в другом месте. Полная копия ваших заметок хранится также в программных клиентах для Windows и Mac (а также программах для iPhone и iPad для премиум-пользователей, которые активировали эту возможность). Это значит, что любая заметка в Evernote хранится по меньшей мере в шести местах: диск на основном сервере, RAID-зеркало, запасной сервер кластера и его RAID-реплика, резервные копии в центре обработки данных и в запасном хранилище. Большинство пользователей также имеют одну или две копии в своих локальных клиентах. Это делает потерю данных в Evernote крайне редким явлением.

    Инцидент с кластером 22 был вызван крайне маловероятным сочетанием аппаратных пробем сразу с основным сервером и запасным механизмом. Вкратце, кластер переключался туда-сюда между двумя серверами на протяжении некоторого времени, что привело к тому что созданные в это время записи были затерты. Все данные, созданные до сбоя, было просто восстановить из резервной копии. Вероятность повторного возникновения такой последовательности сбоев крайне мала, но на всякий случай мы модифицировали механизм отказоустойчивости, чтобы быть уверенными, что потерять данные будет невозможно даже при самом худшем развитии событий.
    Evernote
    Evernote
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 20

      –3
      — Данные каждого пользователя хранятся на «кластере» (shard). Кластер образуется из связки двух серверов
      — Немного не по-русски звучит. Может быть, имеется в виду "… хранятся на шарде, представляющем собой кластер из двух серверов"?
        +1
        Мы сразу предоставили всем потенциально пострадавшим пользователям премиум-подписку (либо продлили ее на 1 год для тех, кто уже являлся премиум-пользователем), чтобы обеспечить им приоритетный доступ к нашей технической поддержке в случае, если понадобится помощь в восстановлении заметок, а также для частичной компенсации за причиненное неудобство.
          0
          Вполне гуманно
            +4
            отличная реакция. в этом вы молодцы
            +1
            Мы сразу предоставили всем потенциально пострадавшим пользователям премиум-подписку (либо продлили ее на 1 год для тех, кто уже являлся премиум-пользователем), чтобы обеспечить им приоритетный доступ к нашей технической поддержке в случае, если понадобится помощь в восстановлении заметок, а также для частичной компенсации за причиненное неудобство.

            Означает ли слово «частичной» в данном контексте что позднее Evernote предоставит более полную компенсацию пострадавшим?
              +4
              Если бы на хабре кто-то не написал, так бы и этого топика не появилось
                +2
                никто бы и не узнал, что проблема вообще была
                  +2
                  Ну, в общем-то, всех пользователей Evernote, кого эта проблема затронула (или потенциально могла затронуть), мы оповестили еще 5-6 июля. То, что эта история не всплыла тогда лишь означает, что инцидент был незначительным и никто его не стал раздувать. Сегодня с подачи одного из сайтов об инциденте написали публично в новостях, и чтобы расставить точки над «i» мы, разумеется, опубликовали фактически ту же информацию, которую месяц назад уже рассылали нашим пользователям.
                    –6
                    Увольте вашего PR-специалиста, он только деньги у разработчиков зря отнимает.
                      +1
                      Хм. Заминосавали… Видать правда глаза режет? А между тем, хороший пиарщик должен работать на опережение. Т. е. ему нужно было не отмалчиваться месяц, полагаясь на авось, а сразу же после устранения неисправности рассказать об этом. И были бы тогда героями. А сейчас приходится отмазываться.
                        0
                        Ну а раз приащих плохой, нечего его в штате держать или платить ему, лучше эти же деньги потратить на разработку.
                  +2
                  Ну вот еще один косяк слонят(
                  Я говорю еще 1, так как считаю что ваши программа Evernote Win просто мега косяк!!! Мне очень нравится ваш сервис и я бы пользовался им еще больше, если бы программа работала быстрее… Пересмотрите пожалуйста быстродействие вашей проги, тормозит сравни iTunes Win…
                    +6
                    Поддерживаю — Evernote должен летать, так как потребность что-то сохранить в 90% случаев бывает спонтанной. И вся эта спонтанность разбивается о его медленную работу.

                    Также ощущаю, что редко в нем ищу, так как есть барьер — время на запуск. Бывает быстрее гуглом поискать, нежели в Evernote.
                      0
                      проще клиент Evernote на автозапуск с виндой поставить
                        +1
                        Он постоянно болтается в трее. Сделал замер прямо сейчас — при клике иконки в трее, окно Evernte появляется почти моментнально, однако контент в ней прорисовывается только примерно через 20 секунд. Это чудовищно долго.
                        0
                        а я по этой причине пользую версию 3.1.0.1225, она летает. Увы, других вариантов не придумал
                        +1
                        Хм, а я не пользуюсь приложением на стационарном компе. На телефоне андроид версия, в хроме расширение. А если нужно что-то найти через компьютер — иду в веб-интерфейс.
                        Я что-то теряю?
                          0
                          Офлайновую работу с заметками и (в свете текущей темы) локальную копию базы, которую можно рассматривать как бэкап. Ну а вообще в работе с нативным клиентом можно найти массу других преимуществ.
                        0
                        Какой-то образцово показательный fail.
                          +1
                          С трудом могу назвать данное техническое решение кластером. Кластера надо строить иначе. Для подобных компаний изначально должна быть построена масштабируемая кластеризованная SAN.

                          Only users with full accounts can post comments. Log in, please.