Хабр Курсы для админов
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток Администрирование доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 146
У меня как то на 2 этаже Редисона ровно на стол воды после ливня налило. Все возможно
наше отделение банка на 1 этаже жилого дома затопило из квартиры жильца на 3-ем, на системных блоках была историческая отметка об уровне наводнения:-)
В нашем здании сдали Сбербанку первый этаж. Они там отремонтировали.привезли столы, технику, бумажки.
23 февраля у нас на втором этаже был сабантуй с распитием. Кто-то открыл в туалете окно проветрить и не закрыл. Ночью было прохладно и в туалете лопнула труба или батарея. И ...
24 февраля у них должно было быть открытие нового офиса. Не вышло. Потом, возмещали им ущерб. Пару мониторов, принтер и немного мебели.
Стихия...
Бракованные батареи... (батареи должны выдерживать такой приличный перепад температур...)
Дело не в перепаде температур, а в замерзании внутри батарей теплоносителя, который при этом расширяется
если отопление работает, то это невероятный сценарий.
Это если всё подключено правильно. При неправильном подключении батареи дальний край может не прогреваться и вполне может замёрзнуть.
если отопление работает, то это невероятный сценарий.
Это классический сценарий ЧП районного уровня
Февраль, пожар, разбитое огнеборцами окно, ликвидация горения. А ночью батарея замерзает, лопается и весь многоквартирный дом остаётся без тепла
Пожарные и МЧС этому моменту уделяют внимание: накидывают оставшиеся тёплые вещи / ковры на радиаторы и напрягают работников ЖКХ чтобы те что-то предприняли
Это совершенно реальный сценарий, который я лично наблюдал неоднократно.
могла быть труба ХВС, или ГВС-полотенцесушитель, который легко может быть ледяным, потому что нет циркуляции. окно открыто, на улице е...колотун, и привет.
скорее всего сервера уцелели, затопило какие нибудь маршрутизаторы или просто электричество вырубилось
Когда крыша худая - уже ничего не поможет - это уже диагноз.
На раз, два возможно... У нас была такая история в магазине. Делали ТО кондиционеров на крыше, что-то открыли и ливанул дождь. У нас тогда вода прямо на компьютеры и кассу лилась.
Один дата-центр на такую большую (по присутствию в регионах) компанию?
Ненадёжно (как уже сейчас видно, задним умом...)
Хотя про задний ум: "не стоит класть все яйца в одну корзину", кажется, не вчера родилась поговорка.
Это не ехиничество, а напоминание о просчёте рисков для менеджмента: время простоя и репутационные издержки дороже затрат на диверсификацию рисков
Тут баланс между работами по улучшению надёжность и стоимости инцидентов. Теперь у них есть данные, чтобы принять решение.
привет! но зачем вот эти вот "компанейские" датацентры, в стиле 90х, когда есть нормальные датацентры?! не думаю что прям вам бесплатно электричество там дают...
В нормальных нет мест или 5 кВт на стойку.
Я не там, я не знаю.
Перезды это всегда куча работы.
Сейчас коллеги занимаются переключением одного из сервисов в мультисервисный режим. Раньше был один инстанс, а теперь будет три, к этому добавятся еще пара баз данных и Кавка. Будет быстрей и удобней. Но вот в плане поддержки и дебага это просто другой мир.
И это мы еще на лёгком уровне мигрируем, так как софт опенсорсный и мы просто по инструкции делаем.
"облака ненадёжные!" говорили они... "своё управляемее и лучше" говорили они...
Так просто не надо под кроватью серверы размещать, потратьте деньги, сделайте защищенную серверную по всем нормам, чтоб даже если все остальное здание затопило, но ваше оборудование уцелело, продумайте электропитание. На крайняк колокацию купите, если сами не в состоянии, будет у вас полуоблако.
А ещё купите 2 независимых энерговвода в каждую локацию с дизельгенератором, поддержку каждой железяки, толпу разноплановых железячников, качественные помещения, оплачивайте это всё ежемесячно и ежегодно, заменяйте по мере необходимости (но часто) и ещё кучу "мелочей", на каждую из которых должен быть бюджет. И про срок поставки оборудования не забудьте. Или просто за сопоставимые деньги обойдитесь облаками и парой взаимозаменяемых DevOps-ов.
А эти "они", они здесь, с нами, в этой комнате?
Есть куча примеров, когда эти ваши "надёжные" облака теряли данные или долго не могли восстановиться после аварии.
Если кто-то безалаберно отнёсся к созданию своего компанейского дата-центра, то это не значит, что все такие.
Спич о том, что своё одинакового качества нисколько не дешевле и не проще, если считать TCO и девятки. При этом в случае облаков компаниям не нужно множество людей, компетенций и устаревающих физических объектов в дополнение к собственно подразделениям, делающим продукты. А облачных провайдеров может быть несколько и это разделит между собой инфраструктуры решений. Ну это конечно если вы не в ларьке и всё ваше ИТ на 1 сервере вместе с 1С и терминальным сервером.
А задача обеспечения геораспределённости баз данных и мастер-мастер решений сложна вне зависимости от того на земляных ресурсах вы её решаете или на облачных.
Ну вы почитайте про Рутьюб за что его ругают
Увы так у многих ретейл компаний
Не во всех магазинах до сих пор работает оплата банковской картой.
Cash is king. (c)
Спортмастер не Лента чтобы туда с кешем бежать, можно и пережить, а вот самой сети не завидую
"честный знак" передаёт привет
И аптекам, и продуктовым.
В Питере когда интернет отключали мобильный во всем городе недавно, все с этим хлебнули горя.
Сперва вводят систему, которая без интернета не работает и не позволяет в принципе продать товар, даже за наличку. А потом отключают интернет. Гениально.
Вменяемые продавцы прекрасно обходили вредительские запреты на продажу алкоголя после XX вечера просто продавая за нал, сама акцизная марка при этом переклеивалась на листок бумаги, чтобы утром следующего дня быть пробитой через эту лабуду. Так же можно и со всякими бесчестными знаками, если их можно срезать/снять с продаваемого.
А продавцы, сознательно нарушающие закон, точно "вменяемые"?
И везде написано: если вам не выдали чек при продаже, обращайтесь в роспотребнадзор
История такая, на улице дождь не погода, думаю дай зайду куплю дождевик от дождя. смотрю рядом спортмастер, думаю, ну на себе экономить нельзя, дай что нибудь по дороже куплю. Захожу, а там говорят, простите покупки не доступны, у нас дождь.
Каждый магазин должен иметь возможность торговать автономно.
...в условиях зомби-апокалипсиса.
А также продавать водку из-под полы после 11 вечера. (с)
Угу. Максимум, что может себе позволить отломаться - система лояльности и персональных скидок, а основная операционка должна работать локально, только синхронизируясь с удалённой централизованной системой.
Но могут быть именно дедлоки при ошибках проектирования. И их не всегда легко выловить - имел опыт в ритейле.
И тут на сцену выходит "Честный знак"...
Да уж, постоянный контроль плохо согласуется с автономностью. Честный знак это же не про честность, верно? Это про создание препятствий для обманщиков?
АЙ
Это же про водку или на баскетбольные мячи его теперь тоже лепят? А кто проверяет честность?
В Спортмастере был месяц назад, там теперь даже обувь маркируют.
Фиг уже разберёшься, про что он. И нафиг его лепят во всевозможные места - тоже фиг разберёшься. Смотришь на товары, ввезенные по "параллельному импорту" (та же кола), где эти этикетки приколхожены отдельно кем-то, и не понимаешь, в чем смысл.
Обувь как раз довольно давно под ЧЗ попала - во всяком случае кожаная. Сразу после шуб, ЕМНИП.
Что до чисто текстильных кроссовок - или с минимальными замшевыми вставками, скажем - вот тут не могу точно сказать.
Есть мнение, что это (индивидуализация каждой единицы товара) - создание инфраструктуры для цифрового рубля.
Выглядит как инструмент давления на бизнес, проверяющие любят его. А поддерживать движение кодов маркировки на всей цепочке от производителя до возврата конечным потребителем дорогого стоит.
И получается весомый скрытый сбор с потребителя.
Выглядит как попытка решить организационную проблему техническими средствами. Контрабанда и подделки должны отлавливаться таможней на границе. И если в ларьке Василия ещё могут быть подделки, провезённые Василием в чемодане, то в сетях типа Спортмастера их не должно быть в принципе.
Шапку для бани хотел купить в Ленте. Они сейчас тоже с QR-кодами, как молочка. Долго тупил на кассе самообслуживания.
В дикси почти каждую ночь отрубается система лояльности на киосках, но воду все также можно покупать
Честный знак умеет работать в оффлайне, спортмастер сами виноваты что решили сэкономить и не реализовать возможность полностью оффлайн функционирования магазина, тем более во времена когда роскомпозор крушит все направо и налево.
Нет у честного знака работы в оффлайне. У них есть апи с доступом по сертификатам крипто-про. Выданным по учередительным документам. А на кассах стоит ПО, которое может это обрабатывать. Смысл в том, что если не отправить проданные коды в честный знак, то могут предложить сесть на стеклянный сосуд с узким горлышком.
Возможно даже у спортмастера свой обрабатыватель чеков, который аггрегирует инфу и передаёт в ЧЗ. Но там нюансов столько, что не возьмёшь флешку и не пойдёшь передавать. И за пять минут не переделаешь.
Я просто писал похожую штуку для своей компании (в последней статье часть "Третья задача") вот оттуда и знаю
Что значит нет? Локальный модуль вполне себе открыто лежит на сайте честного знака и вся логика работы в оффлайн режиме вполне себе продумана если судить по их блок схемам.
Кассир сканирует код, и кассовая программа отправляет его через интернет в Честный знак на онлайн-проверку.
Если касса не получает ответ в течение 1,5 секунд, то автоматически отправляет код в Локальный модуль на офлайн-проверку.
Модуль отвечает кассе, запрещен ли код к продаже, если разрешен, то касса добавляет товар в чек.
В момент оформления продажи при выполнении запроса разрешительного режима офлайн будет отображаться прогресс выполнения. ККТ формирует уведомление о реализации маркированного товара. В «отраслевом реквизите предмета расчета» уведомления ККТ указывает данные, на основании которых принято решение о продаже товара: факт и время проверки кода маркировки (для онлайн-проверки) или код идентификации (для офлайн-проверки).
Когда интернет-соединение восстанавливается модуль отправляет данные в ОФД и ЧЗ.
Это скорее всего с какого-то момента появилось, потому что я как и оратор выше, тоже реализовывал в своё время интеграцию с Честным знаком, и на тот момент (2019 г.), у них ничего такого не предполагалось...
Да, это относительно свежая вещь. В конце 2023 определились как это будет работать и с 1 марта 2025 обязательное использование ввели.
Но есть подозрение что, учитывая размеры штрафов, магазины слегка положили болт на нормальную реализацию оффлайн продаж, что собственно мы и видим на примере спортмастера.
Подтверждаю. Очень странно что у них встал Честный знак. Для работы с ним нужны:
1) Кассовый фронт, он работал т.к. была оплата наличными
2) Интернет, для того чтобы запрашивать данные о легальности датаматрикс кода и через ОФД отправлять данные о продаже.
Для работы безнала тоже нужен только интернет. Процессинг это функция банка.
Из всего этого кажется, что у них упал интернет всей розницы. Получается он завязан на затаплиевыемый офис. Ужас
Локальный модуль проверяет 10% контролей. Остальные - только онлайн. Формально использовать можно, но отклонения, которые могут возникнуть - это уже проблема УОТа. Я думаю, их кассы дополнительно проверяют марки по собственной базе(мы так делаем), и именно этот функционал лег и не даёт завершить чек.
на сейчас, модуль работает по принципу "черного списка" (пункт 2) и контролирует только кодики, "заблокированные по решению огв"
данные в модуле через 72 часа превращаются в тыкву, так что если 3 дня нету соединения то извините.
как бы вам не хотелось, но код нужно попытаться проверить вначале онлайн
а если касса стучится во внутреннее ПО\ГИСМТ, чтобы, например, проверить владельца кодика (юрлицо), то всё выглядит грустно.
Не знаю как и на какие ЮЛ оформлены магазины у СМ, но если разные, то кодики надо туда-сюда гонять и, наверное в магазин загружать.
Очень автономно.
А как он может работать офлайн, если надо проверять срок годности продуктов? Он в датаматрикс зашит?
А что-то запрещает отказаться от использования "честного знака" в случаях как со спортмастером?
Так ведь товары хотя бы будут продаваться. А то выходит что, из-за заботы о клиенту, му этому клиенту ничего не продадим.
И постоянная связь с налоговой - в небольших магазинах на каждую кассу в Беларуси прицепили блок с антенкой, если не было возможности как-то по другому связь с налоговой организовать и все покупки сразу улетают в МНС
С такими наценками могли бы и не поскупиться на резервирование
Не факт, что у них все хорошо даже с текущей наценкой. Трафик в розницу кратно упал, ТЦ пустые, но аренду и персоналу все равно платить надо. А тут еще маркетплейсы с конкурентным ассортиментом, но неопределенного происхождения. В общем, перспективы у розничных сетей так себе.
Неплохо было бы начать с самой базы: увеличить количество сотрудников, тех же кассиров, и сделать их >1, чтобы не стоять в очереди из 10 человек по 10 минут. Как тут выше верно заметили, удачи им с продажами при подобном подходе. В следующий раз при виде очереди и если не срочно, я принципиально разворачиваясь и иду на маркетплейсы. После ухода Декатлона совсем тяжко стало: я последние лет 10-15 и так Спортмастер не воспринимал как адекватную торговую сеть - слишком уж нищий ассортимент, низкое качество товаров и завышенные цены, какой-то одноклеточный брат-близнец Мвидео, а тут еще и вариантов других не осталось. Но самое печальное, что за эти 3 года отсутствия конкуренции и предсказуемого увеличения числа покупателей, ассортимент как был нищим, так и остался, общее качество товаров как было невысоким, так и осталось, но зато цены как были оверпрайс, так стали ещё более оверпрайсом.
Меня больше удивляет, почему они не могли заказать на несколько часов мощности у селектела или кого угодно
Что-то мне подсказывает, что подобные сценарии просто не просчитывались и варианта "счаз быстренько в один клик всё поднимем где-то там" просто не было... Было бы - кликнули бы...
Но, есть шанс, что теперь-то подсчитав прямые траты и прикинув недополученное кто-то кого-то этим озадачит.
P.s.: согласен с уже озвученным - зато прорекламились то как знатно))
Вопросов до кучи.
От сложности развертывания бэкапов до перенаправления сетевых запросов в другой ЦОД.
Зачем бекапы, если это решение на несколько часов и почему нельзя просто поменять DNS запись, чтобы запросы шли куда надо, или использовать nginx c простым конфигом для проксирования нужного трафика
Может, что недопонимаю. Но а что нужно нужно накатить для функционирования системы? Софт софтом, а базы данных с состоянием до ЧП откуда?
DNS - ок, сколько там понадобится для того, чтобы начала работать обновлённая запись. А ежели крутится своя внутренняя VPN? Что там с сетевым оборудованием? Затопило вместе с серверами или как?
А куда надо чтобы они шли, если у них облачная CRM которую затопило?
Предположу что было так:
Инженер: "А на случай, если датацентр уйдет в оффлайн, мы можем развернуть всю инфраструктуру на сторонней инфраструктуре. Но нам потребуется месяц, чтоб написать скрипты развертывания, настроить дупликацию баз данных или хотя бы бэкапов, настроить развертывание и провести тестирование."
Менеджер: "Какой еще месяц, вы с дуба рухнули? У нас там 100500 фич и рекламных кампаний еще не реализовано!"
Инженер: "Но в случае форс-мажора..."
Менеджер: "У меня тут квартальная премия за невыполненные KPI горит! Сейчас более важные вещи есть!" И тихонько добавил: "у меня уже оффер от конкурентов на столе, вот досижу до квартальной премии и свалю, а после меня тут хоть потоп".
а после меня тут хоть потоп
Так оно и вышло.
Или посчитали, сколько будет стоить поддерживать репликацию в несколько ДЦ десятки лет, сравнили с потенциальной потерянной прибылью, и решили что оно банально не окупается (а немалый процент недополученной прибыли ещё и в отложенный спрос превратится). Да и восстанавливаться из бэкапов и потом накатывать недостающее - тоже то ещё веселье, явно проще через сутки запуститься как было.
К слову, тут пару лет назад Mediamarkt/Saturn лежали неделю-две, на сколько помню. Хакерская атака, на н-ное количество времени заражены, и веселье в виде странной схемы бэкапов, не позволяющие делать всё по-человечески)
Наконец-то здравый комментарий, а то тут как почитаешь - все миллионеры с репликацией в 10 топовых дата-центров.
Чуть больше года взломали сеть кафе Му-му, каким то шифратором все базы им зашифровали. Выкуп платить не стали, бекапы не все восстановились, они тоже почти месяц неработали. После этого закрыли примерно половину кафе в Москве…
Ну думаю и не очень прибыльные были эта часть кафе уже, а тут под шумок и закрыли. Кстати, вопрос москвичам, раньше в нулевые когда в командировках был - часто заходил, но цены уже тогда подтягивались постепенно и были почти как в кафе а не как в столовой. Как там сейчас то? Я почему-то думал что и кончились они уже
хе-хе. Это вам не одностраничный лендинг развернуть.
Перенос таких систем дело не одного месяца.
Хороший шанс уничтожить это приложение, правда боюсь дождика недостаточно. Как оно появилось магазин скатился, по 10 минут на клиента на кассе, просишь пробить побыстрее, вместо этого выносят мозг своим вц приложением те же 10 минут.
не работала безналичная оплата
Ого, а я-то думал, что терминалы безналичной оплаты общаются исключительно со своим банком...
Зависит от архитектуры. Информацию об оплате надо магазину как-то сообщать. Кто-то показывает на экране и выдает чек на списание денег, кто-то пишет все логи в свои базы, и делает единый чек на покупку и списание денег. Ну и отложенное списание никто не отменял.
Так и происходит в ООО "Рога и Копыта".
А у крупных сетей есть разного рода шлюзы в виде прокладок, всякие там OMS-системы и прочие прелести
Извините, а в серверах стояли те самые чипы, производство которых скоро закончится из-за нехватки воды, да?
Мне тоже не понятно, как это возможно. Если у вас свой как бы ЦОД, то он, наверное, не в подвале должен стоять. Обычно это отдельный машинный зал или шкафы в каком-то ДЦ крупном, который защищен от всего. Если у вас колокация, то тем более должно быть в Tier III. Или вы участвуете в ИТ выставках, но сервера держите у себя в офисе в БЦ, где даже питание не гарантировано? Я не могу понять, как в 2025 такие цепочки ещё могут складываться у ИТ директоров
Казалось, что все ИТ директора в DRP умеют
Так и есть, там серверные стоят отдельно (контейнеры со своими генераторами на бетонных подушках высотой с пол метра). Сколько лет стояли, все нормально было. Сейчас же чуть выше построили ещё один огромный склад и вся вода после ливня, что раньше полями уходила, устремились к этим серверным. Озеро натекло глубиной метра 1,5. Сломали трактором бетонный забор, что б вода ушла, но сервера уже лежали...
А DR-сайта для основных mission critical систем у федерального ритейлера нет ?
В Фукусиме на атомной электростанции допустили залив водой же электрогенераторов, а тут всего лишь ритейлер.
А сколько это стоит?
А как это соотносится со стоимостью одного-двух дней простоя?
Вся эта "непрерывность" - она, конечно вещь замечательная...
Но это всё-таки непрерывность БИЗНЕСА. И она всячески скучно оценивается в деньгах... И бывает, что дешевле - простой.
Тот случай, когда серван не упал, а утонул. Если упавший сервак - поднимают, то утонувший - откачивают ? ))
Меня бы в Транснефи за такое бы публично расстреляли...
Ещё один аргумент в пользу того, чтобы достаточно крупной компании перенести сервера в облако. Даже StackExchange (StackOwerflow etc) не так давно начала перенос для ускорения работы сервиса и упрощения его обслуживания..
И найдётся куча историй как падали, горели и просто теряли данные крупные облачные провайдеры...
перенести сервера в облако
Так дождь из облака и пошёл!
... и тут мы вспоминаем пожар в dataline, который унес к прадедам часть инфраструктуры банка открытие. Или знаменитый пожар в OVH.
Это всего лишь говорит о том, что Вам незнакомы процессы обеспечения Disaster Recovery и Вы не знаете или сознательно не упоминаете про разные зоны доступности и возможность использовать несколько облачных провайдеров там, где это действительно нужно.
А потом начальник поддержки внутренних сервисов приходит к IT директору и описывает, как клёво прыгнуть в облака, причём сразу от нескольких независимых поставщиков, причём географически распределённо и чтобы TIER IV или хоть III. На что его IT директор отправляет в "молчеловек, пжалста подсчитайте, скока бабулёсов надо будет в месяц за такое отваливать и сколько надо первоначально вложить", после чего обычно энтузиазм угасает, поскольку IT это обслуживающий персонал в случае ритейла и кучи всего другого и сливать в IT всю прибыль никто не будет, т.к. старое доброе "Если ( Бабло.ПотеряНаПростое < Бабло.РеализацияИПоддержка ) ПечататьВВывод( 'Идите нафиг со своими хотелками' )" работает всегда и везде (см. Боинг, Тойота и так далее)
Что за ситхианство, право слово: можно не только лишь в одно. Много кто просто прекращают покупать замену всем подряд вышедшим из строя серверам, перенося замещающие мощности в облака. Более того, делают интерконнект корпоративных сетей с изолированными VPC в нескольких местах и эти самые облачные ресурсы живут в адресном пространстве корпоративных сетей, с сопутствующими фаерволлами разумеется. А железки таки приходят в негодность постоянно, даже за 100500$, не говоря уже о проблемах с гарантиями и сроками поставок в наших условиях и когда это становится головной болью кого-то другого, то многим это нравится. И так потихоньку мигрируют, по пути не особо любя собственных инженеров поддержки внутренней инфраструктуры, в отличие от своих разработчиков продуктов. А эти самые разработчики продуктов постоянно заводятся в самых неожиданных местах и всё чаще приходят с хотелками динамических сред и кубера с сопутствующим стэйтом и это всё очень просто добавить через облако и обычно сильный гиморрой в онпремах, в первую очередь из-за долгого цикла "сначала закупка мощностей, потом выделение мощностей" и из-за слабых возможностей онпрем-решений из-за несопоставимо меньших компетенций внутренних команд по сравнению с облачными инженерами с узкими специализациями и тестированием решений на сотнях тысяч клиентов.
Речь не идёт о локальных SAP и тому подобным вещах, живущих в собственных загонах и по сути являющихся программно-аппаратными комплексами.
Итекетка?
Ну хоть честно рассказали, что сушили серверы. Обычно такие инциденты просто замалчивают
delete
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
В «Спортмастере» из-за ливней затопило IT-инфраструктуру, серверы «сушили» почти сутки