dimansny 3 июл 2019 в 12:15

Неудачное развертывание ПО привело к сбою в работе сервиса Cloudflare

2 мин

11K

Веб-разработка*SaaS / S+S*

Перевод

+13

Комментарии 42

НЛО прилетело и опубликовало эту надпись здесь

dady_KK 3 июл 2019 в 14:44

Во время инцидента задумались ровно о том же, но когда поняли, что и ДНСы лежат там же (думали про вариант переключения А-записи), то понимаешь весь масштаб зависимости и проблемы всех яиц в одной корзине и как-то стало сразу невесело. Решений с фолбеком без отказа от клаудфлер пока приемлемых не нашли(

Chupaka 3 июл 2019 в 21:03

Унести DNS с CloudFlare — не вариант?

dady_KK 4 июл 2019 в 03:05

Смысл защиты клаудфлер в том, что А запись контролируют они, подменяя ее на свои сервера, которые потом редиректят собственно на сервер сайта. То есть и НС-ки их и А запись их, то есть в случае падения их сервисов (в том числе и АПИ) нельзя вообще ничего сделать с ДНС. А отдельно без НС и А в сервисе смысл теряется.

Мы собственно и кинулись сразу менять, как Вы и предложили, но по пути поняли, что не тут-то было(

Chupaka 4 июл 2019 в 11:40

«CNAME setup»? support.cloudflare.com/hc/en-us/articles/360020348832

dady_KK 4 июл 2019 в 18:15

Несколько я понял, это только для поддоменов подходит, поправьте если я ошибаюсь

Chupaka 5 июл 2019 в 13:10

Непонятное техническое ограничение, когда сам домен может иметь только A-запись. DNS Cloudflare умеет на лету преобразовывать CNAME в A, чтобы это обойти. Умеет ли ваш DNS, который вы хотите использовать — вопрос к нему. Подозреваю, и через A должно заработать…

dady_KK 5 июл 2019 в 20:32

Благодарю за подсказку, будем думать

kemko 4 июл 2019 в 11:23

Вариант на Business ($200 в месяц) и выше. На более дешёвых страдай.

kemko 4 июл 2019 в 11:23

SLA с 100% uptime есть на тарифе Business и выше.

Chupaka 4 июл 2019 в 11:42

А на Enterprise, оказывается, в SLA коэффициент отката x25 за даунтайм. Надо запросить подробности у менеджеров…

Valsha 3 июл 2019 в 13:38

А почему СЕГОДНЯ? Если это было 02.07.2019. А сегодня это уже 03.07 :)

-1

dikkini 3 июл 2019 в 13:53

потому что это перевод статьи

Meloman19 3 июл 2019 в 15:34

В таких случаях, обычно, переводчик вставляет примечание в скобках. Особенно в статье, где вообще нет хоть какого-то указания даты события.

НЛО прилетело и опубликовало эту надпись здесь

mayorovp 4 июл 2019 в 07:04

А дата-то где?

korsarer 4 июл 2019 в 14:36

А дату можно увидеть перейдя к оригиналу. Нажмите на надпись «Автор оригинала John Graham-Cumming». Ну или вот ссылка которая открывается по нажатию этой надписи: blog.cloudflare.com/cloudflare-outage

-1

mayorovp 8 июл 2019 в 09:15

А почему нужно переходить по ссылке на оригинал для того чтобы понять о чем написано в переводе?

НЛО прилетело и опубликовало эту надпись здесь

Sjam 3 июл 2019 в 21:18

Чуть более часа на устранение проблем. Но можно наверное было бы и шустрее.
Не вижу оснований отказываться от сервиса, скорее наоборот, работа над ошибками вполне возможно, улучшит сервис

dady_KK 4 июл 2019 в 03:09

У нас сайты заработали минут через 20 после начала инцидента, но мы его заметили на 5 минут быстрее чем сам сервис.

А менять конечно смысла нет, я с Вами солидарен, особенно за неимением альтернатив не хуже чем клаудфлер.

DanilinS 3 июл 2019 в 21:32

На графике ниже показан скачок загрузки CPU на одном из наших PoPs:

Меня всегда радовали графики с нечитаемыми (или отсутствующими) значениями по осям.

MyOnAsSalat 4 июл 2019 в 14:39

Там про приблизить нужно, как минимум на десктопе

korsarer 4 июл 2019 в 14:42

Мой преподаватель не принял работу из-за такой ошибки и заставил исправить. Думаю это справедливо, ибо график без обозначения осей это не график вовсе, ведь по нему ничего нельзя понять. Хотя в случае с этим графиком можно догадаться, что по оси X обозначается время, а по оси Y обозначается процент потерянного трафика. То есть по этому графику в промежуток времени с 13:45 до 14:15 потеря трафика составляла около 80%.

kemko 4 июл 2019 в 15:23

Нельзя узнать точно, сколько трафика ты недополучил. Можно разве что что сравнивать с показателями за другой аналогичный период (вчера, неделю назад и т.д.), когда всё было хорошо и исходя из этого строить предположения.

А на скриншоте просто график с процентом нагрузки на CPU во время инцидента.

dimansny 4 июл 2019 в 14:50

Перед графиком есть предложение «На графике ниже показан скачок загрузки CPU на одном из наших PoPs:». Ниже график, где по оси X числа вида 13:45, 14:00, 14:15 — можно сделать вывод, что это время. Ну а по оси Y, как и сказано перед рисунком, загрузка CPU, всегда измерялась в процентах. Строго говоря, конечно, график не соответствует нормам. Но фактически тут как раз тот случай, когда и без подписей все понятно)

mirrik 4 июл 2019 в 19:07

Вот так настроил cloudflared и буквально через пару дней поймал 502 по всем логам! бывают же совпадения, а резервного DNS не было.

НЛО прилетело и опубликовало эту надпись здесь

TheYellingChives 5 июл 2019 в 13:22

Куда?

potan 5 июл 2019 в 00:50

«регулярное выражение, приведшее к скачку загрузки CPU» — регулярное выражение обычно компилируется при первом применении в конечный автомат и дальше работать за линейное время.

mobi 5 июл 2019 в 07:07

Регулярное выражение может быть вида /(A*)*/ и на больших объемах текста вести себя так себе.

potan 5 июл 2019 в 15:30

После компиляции получится простой конечный автомат.

dimansny 5 июл 2019 в 15:42

Нельзя исключать и банальный вариант, когда регулярка компилировась при каждом запросе.

mayorovp 5 июл 2019 в 16:37

Это если оно компилировалось...

mobi 5 июл 2019 в 18:14

Если использовать классический конечный автомат Томпсона, то да, никаких проблем с производительностью не будет — сложность линейно растет с длиной строки. Но если брать что-то более сложное с поддержкой backreference (например, PCRE), то там уже соответствие с регулярным выражением запросто может приводить к экспоненциальному росту сложности.

GrigoryPerepechko 6 июл 2019 в 17:38

Почитайте на досуге про разницу между детерминированными КА и недетерминированными КА.
В регулярках есть буквально пара диалектов с ДКА (что нибудь вроде sed/awk), а то что в языках программирования встроено — все НКА

potan 7 июл 2019 в 00:28

Недетермерированный КА эквивалентен детерменированному, в котором состояния соответствуют множествам состояний искодного НКА.

-1

mayorovp 7 июл 2019 в 10:43

Но работают-то они с разной скоростью. Особенно в случаях вида /(A*)*/

potan 8 июл 2019 в 00:10

Конечный автомат работает со стокростью 1 lookup по таблице на каждый символ анализируемой строки. А для /(A*)*/ КА вообще получится ровно такой же, как и для /A*/., не считая затрат на компиляцию.