Комментарии 90
Не хватает только предъяв к клиентам которые срулили прямо перед проблемами(как случаи с выводом денег из банка прямо перед его разорением).
Админы делятся на две категории, которые уже бекапят и которые ещё не бекапят.
А выбор хостинга это дело вкуса, есть люди которые любят BDSM нельзя их за обвинять.
3-ю категорию гугл потерял, после многочисленных копи-пасте этого афоризма. "А раз тебя не знает гугл, значит ты не существуешь" :)
Потому что третья, Судя по упоминанию «огромного количества запросов бэкапов», это которые уже бэкапят, но ещё хранят бэкап там же, где и основные данные.
невозможность 2 дня перебить ns сервера сводило всё наличие бекапа к полной бесполезности… Сейчас массово тащу оттуда домены.а где домены будут в наибольшей безопасности для таких случаев?
реальные ценности отношений к клиентам познаются только в проблемах.а еще бывает бизнес, построенный так, что только на этом и держится. Это я про банк Тинькова, который не имеет офисов вообще.
При этом кое-кто другие пытались повторить сей успешный опыт — но не смогли: даже здесь все непросто…
03.03 около 17:00 мы развернулись на другой площадке и сменили DNS записи в их панели.
4, 5 и 6 марта я с удивлением наблюдал как NS Мастерхоста периодически погибают, потом оживают и какое-то время отдают старые A, MX, SPF записи, и так более 48 часов, это при TTL 900c.
Забрать у них домен я не могу до сих пор, заявки на получение кода AuthInfo они не обрабатывают. Телефон включили только сегодня, но там заглушка «все операторы заняты, перезвоните позднее».
Прописать свои DNS сервера для домена тоже нельзя, можно добавить еще NS записей, но учитывая что Мастерхост прописывает 4 своих NS сервера, и каждый из них резолвится по 4-м ip адресам эффективность от своего резервного DNS отдающего правильные записи очень мала. Для себя сделал выводы, что держать домены в России у кого-то кроме nic.ru очень плохая идея.
у Nic.ru, к сожалению, совершенно конские цены нв продление доменов. Хотя 800р разницы при таком раскладе, конечно, мало что решают. Но и nic тоже были проблемы с почтой и остальным…
Нельзя делигировать на другие днсы? В масле не прописать больше ns записей и не сменить регистратора, а именно делегировать, сделав основными другие днс серверы?
Есть же ещё beget есть. Они сами регистраторы, и вроде клиентов своих очень ценят. А не так, как многие...
Будет так, как прописано в договоре. Это не форс-мажор, сл-но компенсация согласно договора с провайдером услуги.
Шанс повторения ситуации 99.99%
Ну вот и можно сваливать!
Вопрос, как можно было в ДЦ пропустить людей, который ДЦ и отжали, и потом в сообщении для клиентов обещать неповторения такого в будущем, остается открыт. Получается, что и от остальных атак ДЦ годами был открыт?
Угу. Так и есть. Мы довольны, что перенесли серверы к другим (не буду тут, рекламой запишут, если надо — в личке обсудим), но МХ попроще с доступом было, чем сейчас.
Да, когда-то в МХ радовались, что на входе не сильно напрягают. Сейчас понимаем, что лучше полчаса потратить на вход, но атака «на бардак» захлебнётся, и серверы и ДЦ хозяина не сменят «случайно».
Меня возмутило, как, потеряв буквально контроль над ДЦ и всеми сервисами, данными и пр., люди пишут «теперь-то точно не потеряем, мы договорились!»
Ну, понятно, что простоты в деле охраны всегда немного, но тут уж вопрос не только замков, дверей и СКУД, но и того, «кто твой научный руководитель». Старый бизнесы в этом смысле уже имеют стены, крыши и знакомства, и косяк такого рода показывает, что что-то пошло не так в большом масштабе.
У вас странная логика.
Если тех, кто "захватил ДЦ" не смогла сразу же выдворить ни собственная охрана, ни, уверен, вызванная полиция, то почему вы считаете, что усложнение процедуры входа чем-то могло помочь?
Вы же не считаете, что они забаррикадировались на территории и все эти дни ни полиция ни какая-нибудь группа антитеррора не могла их выкурить оттуда? ;))
А в чём, собственно, проблема проникнуть на территорию ДЦ?
Был в нескольких ДЦ, не вижу вообще никаких сложностей — нигде не было ни колючей проволоки под напряжением, ни пулемётных вышек ни даже снайперов на крышах.
А значит, компания из 5+ крепких ребят элементарно проходит на территорию и делает всё, что посчитает нужным. Приехавшая на место полиция и даже нанятая охрана мгновенно утихает, увидив документы на владение территорией и отправляется восвояси. Одно дело, когда они "пресекают проникновение на охраняемый объект" и совсем другое, когда они "незаконно, с умыслом, совместно с группой лиц по предварительному сговору препятствуют законному собственнику находиться на территории своей собственности".
Как говорится, свечку не держал, но команда для проникновения могла состоять из 5-10 просто крепких ребят, 2-3 инженеров (для выполнения задач по отключению чего-либо) и группы из 2-5 адвокатов/юристов с бумажками, от вида которых приехавшая охрана сразу потеряет желание что-либо делать.
p.s. Это ещё хорошо, а если "проникновение на объект" осуществляли маски-шоу, либо "судебные приставы при исполнении", то в "команде проникновения" могло быть всего 3 человека — пристав, юрист и инженер.
проходит на территорию и делает всё, что посчитает нужным
Проходит до поста охраны и наталкивается на шлюзовые двери или шлюзовой турникет. Который блокируется охранником при любой странной ситуации (как то явление 5-10 крепких ребят).
Всё круто,… НО для въезда автотранспорта есть отдельные ворота без шлюзового модуля (наверное потому, что в ДЦ может въезжать фура максимальной длины и экономят место). При желании проникнуть можно дождаться въезда/выезда автомобиля и пробраться через ворота.
Тут уже охрана ничем не поможет.
ihor можно сказать «на днях», по крайней мере свежо предание
Драма с Максхостом была самой эпичной, наверное, за всё время.
Cloudmouse https://habr.com/ru/post/250097/
Район проклят, похоже. ) Айхор на угрешской был, эти, насколько я понял, тоже недалеко ))
В наше время вообще существует опасная тенденция к тому, что люди априори считают, что «сервис должен работать». Это и правильно, особенно когда деньги платишь. Но неправильно быть не готовым к сбоям. Сейчас вообще не думают об оценке рисков. Выходит из строя сервер или смартфон — имей бекапы. Летишь на самолёте — приходи с запасом, а не впритык к закрытию регистрации. Взломали сервис с твоей привязанной картой — имей отдельную карту, на которой немного денег. На почте нет интернета — обслуживайте по старинке. Пришёл в больницу по записи — будь морально готов к тому, что вместо 15 минут пройдёт час.
То, что подобное отношение у «обычных» людей — это одно. Но печалит то, что подобный подход закладывается при разработке госсервисов и на уровне крупного бизнеса. Доживём когда-нибудь до глобального блэкаута)
Бэкапы — это тоже затраты. Даже в случае какого-нибудь простого магазина на вордпрессе нужно тратить ресурсы хотя бы на проверку того, что все скрипты работают, все бэкапы нормально восстанавливаются и т.д. Даже в самом примитивном случае могут быть факапы, например перенесли базу в другое место, забыли обновить конфиг бэкапа, и скрипт фигачит бэкапы с уже необновляемой базы. Когда объем сайта исчисляется уже терабайтами — простенькие скрипты уже не помогут, нужно заморачиваться с AWS и прочим. А многие бизнесы вообще живут без IT-специалистов. Им сделали в конторе сайт, первоначально настроили, выложили на хостинг и всё. Компания просто следит за тем, чтобы на хостинге были деньги.
Хостинги сейчас довольно стабильные, сайты могут работать годами без перебоев, тем самым притупляя у владельцев бизнеса чувство опасности.
Я ни в коем случае никого не оправдываю, люди сами себе злобные буратины, но я понимаю почему такое происходит.
Причём не обязательно иметь в штате постоянного сотрудника. Можно запускать ноутбук ночью раз в неделю (в BIOS запуск настраивается) + скрипт на архивацию и дамп БД, который будет отправлять архивы на этот включенный ноут. Раз-два в год привлекаешь человека для аудита работоспособности своей доморощенной системы бэкапов. Ну хотя бы так — это всё равно лучше, чем остаться с голым задом в случае факапа. И нет тут никаких 2%.
How I ended up paying 150 for a single 60gb download from Amazon Glacier
Бэкапы — это тоже затраты
Копеечные затраты. Резервный (в другом ЦОДе, в другой стране) хостинг для бэкапов стоит 5 баксов в месяц. Bash-скрипт c mysqldump-ом и копированием папки /var/www пишется любым фрилансером за 10 минут и стоит 10 баксов.
Можно обвинять? А почему нельзя? Когда я давал рекомендации своим знакомым, то они реально не понимали зачем этим заниматься. На вопрос «что ты будешь делать, когда завтра твой сайт перестанет открываться», люди просто пожимали плечами. Это пофигизм. Не косяк специалистов или нехватка денег — подобный вопрос должен задавать владелец прежде всего сам себе. Дальше всё зависит от ответа на этот вопрос.
И да. На уровне архитектуры многие отказы можно предусмотреть вместе с возможностью их избежать, но сразу строить отказоустойчивую систему — удовольствие очень недешёвое, а проект может и не пойти, и тогда всё созданное улетит в трубу вместе с кучей потраченных на это денег. Спрашивается: как сделать одновременно идеально и разумно по затратам?
удовольствие очень недешёвоеПочему?
Спрашивается: как сделать одновременно идеально и разумно по затратам?
— регистратор и хостинг не должны быть одним лицом;
— ресурс должен бекапиться скриптами на какой-нибудь комп у себя дома (комп включается и отключается по расписанию), либо в облако;
— все пароли для поддержки ресурса нужно собирать в единый файл;
— раз в год последняя копия бэкапа должна записываться на CD\DVD болванку, а файл с паролями распечатываться, время хранения — 5 лет.
Никаких тут больших денег нет, но спокойному сну очень сильно способствует)
Надо учитывать специфику. Одно дело сайт-визитка физлица. Другое — когда бизнес только-только начинается и сайт либо ещё не играет сильной роли, либо на него сразу завязывается всё. И совсем иное когда уже сложившийся бизнес выходит в интернет. Критичность отказа для себя должен и может определять только сам владелец. Сайт-визитку можно размещать на лоукостере и бэкапить раз в год, а то и реже. А крупный бизнес уже может себе и round robin позволить.
Есть, правда, один момент чисто психологический. Когда человек начинает бизнес всё строилось по остаточному принципу и это было в какой-то степени оправдано. Потом у него всё разрастается, модель рисков уже не та, но так как оно всегда работало и работает это выпадает из поля зрения. И тут вдруг прилетает астероид, а оказывается что к этому никто не готов. Се ля ви) Вот это я могу понять. Но когда внимание акцентируешь на это или звучат первые звоночки в виде недоступности сайта на пару часов и потом у человека годами ничего не меняется… тут уж владелец сам себе буратино.
— платный сервис
— user generated content (тысячи пользователей, которые генерили тогда в сумме гигов по 10 в день, сейчас значительно больше)
— инфа важна, если откат на сутки назад они ещё могут пережить, то если откат будет на более далёкую дату — все разбегутся и хорошо если не засудят
— сервис держится исключительно на мне, а я программист, а не сисадмин.
Решение в лоб (mysqldump и заливать все файлы на FTP) уже не работает, времени настраивать более сложные решения с инкрементными бэкапами нет (понимаю, что не слишком долго, но когда у тебя нет ни минуты свободной — нужно преодолеть порог, чтобы со всем этим разобраться), искать фрилансера и давать ему доступ на прод не хотелось.
Тогда было принято временное решение бэкапить данные баз ежедневно (опять же для простоты всё бэкапилось в облачное хранилище того же провайдера), а картинки — раз в месяц (на самом деле получалось реже). И это временное решение просуществовало что-то около года.
Если бы в то время упал метеорит — мой сервис бы это не пережил. С тех пор мы развились, и рабочие руки настроить всё как надо появились.
Я понимаю, что стратегия была неверной, я сам себе ЗБ, и хорошо, что пронесло. Но вот рассказываю как так может получиться. Когда отлично знаешь, что без бэкапов нельзя, а бэкапов нет.
тысячи пользователей, которые генерили тогда в сумме гигов по 10 в день, сейчас значительно больше
Ну это вы мою методичку уже явно переросли) Тут и на оптические диски «холодную копию» записывать смысла нет, если бэкапы капитально устаревают уже послезавтра)) Бэкапить терабайтные сервисы — это уже совсем другой уровень. И в результате как у вас сейчас организовано резервирование? Полная рабочая копия с распределённой синхронизацией?
Потом надо будет сделать нормально… когда-нибудь… когда будет время…
tcapb1 Если бы в то время упал метеорит — мой сервис бы это не пережил.Зачем метеорит? Достаточно было прихода «старого собственника/налоговой/etc» — и ваша компания накрылась бы медным тазом. Вы эту мысль до директора донесли?
tcapb1 Потом надо будет сделать нормально… когда-нибудь… когда будет время…Что, на рынке есть дефицит в простых и надежных технологиях резервирования?
tcapb1 На тот момент ещё не было никакого директора, это был чисто мой пет-проджект, который управлялся в одни руки. Перейти порог один человек -> полноценная компания у меня очень долго не получалось.То есть вы могли потерять все за один день и вас это не беспокоило, главное развитие?
tcapb1 И когда все эти задачи расписаны на несколько лет вперёд очень сложно остановиться, отдышаться и например сделать качественные бэкапы. Неоптимально, но работает. Потом как-нибудь вернёмся. И так проходит месяц за месяцем.А расписывают задачи кто —
Что, на рынке есть дефицит в простых и надежных технологиях резервирования?
Нет, нету конечно. Но постоянно есть конфликт по приоритетам.
1. Внедрение новых фич. Есть ключевые фичи, которые повышают конверсию продаж и понижают вероятность отказа от нас старых клиентов. Двигаемся в этом направлении: больше конверсия — больше денег — больше рабочих рук.
2. Доработка существующих фич. Система удобнее — лучше юзер-экспириенс — больше положительных отзывов — больше приходов по сарафану.
3. Снижение технического долга и переработка архитектуры. Пользователям на первый взгляд ничего не даёт, но повышает скорость разработки, снижает порог вхождения для новых сотрудников.
И когда все эти задачи расписаны на несколько лет вперёд очень сложно остановиться, отдышаться и например сделать качественные бэкапы. Неоптимально, но работает. Потом как-нибудь вернёмся. И так проходит месяц за месяцем.
На «другом хостинге» держится запасная VDS с запасным IP-адресом.
РаундРонбин требует не запасной, а полной рабочей копии, которая работает одновременно и параллельно.
И когда сайт требует базы, я бы поглядел на решение полной отдельной копии за $5-10 под раундробином.
РаундРонбин требует не запасной, а полной рабочей копии
Если нужна высокая отказоустойчивость, близкий к нулю downtime, то делается полная рабочая копия.
Если высокая отказоустойчивость не нужна, можно ограничиться запасным IP-адресом, по которому находится запасной сервер (выключенный). После краха основного сервера, на запасной копируются забэкапленные данные, после чего сервер включается.
Остаётся только понадеяться, что пострадавшие сделали верные выводы о том, что "регистратор доменов" и "хостер" должны быть разными сущностями. А лучше ещё и DNS хранить где-то в третьем месте, чтобы в случае подобных проблем была как минимум одна живая точка, в которой можно сделать перенаправление сайта.
Да, вариант с умершим регистратором будет самым жестоким, но и там наиболее вероятный сценарий — данные о доменах сохранятся, но настройки будут заморожены.
Если упала панель управления DNS, то это вообще не проблема — у регистратора меняете данные DNS и продолжаете работать.
Главное, чтоб бекапы были.
А если у вас как минимум VPS (а не просто shared хостинг за $10/мес и всё), то есть смысл запустить собственный "dns хостинг" для своих сайтов (благо можно в докере поставить парой кликов), а secondary dns запустить на VPS другого провайдера.
и предотвращает возможные сбои в будущемВидимо штат доукомплектовали гадалками.
А если серьёзно, то у меня вроде как адекватный вопрос и мне интересно почему так. И я его задаю из любопытства, а не из разжигания ненависти.
«Мастерхост» урегулировал конфликт с бывшим владельцем дата-центра