Комментарии 52
Там же наверняка не менее двух независимых источников электропитания и три кольца отцепления с дизель-генераторами.
Как же так?
Наверное не завелось …
Вспоминается анекдот, про шарики, один сломал другой потерял.
https://status.yandex.cloud/ru/incidents/1129
Отчет. Нет у них никаких генераторов, прогретых и готовых к запуску.
Сегодня с утра перевел свой проект туда, и такое событие.
Доллары не пробовали покупать?
Не понял, причем тут доллары?
Это из мема про чувака и доллары, как понимаю :)
Спасибо, не знал про такой мем. Но у меня зарезервировано и всё работает на старом хостинге, случай несмертелен, но неприятно, что облака ненадежные. )
На самом деле, когда не лезет ркн, вполне надёжные. Но да, статистически крупный сбой мог случится и чисто статистически в день сбоя кто-то новый должен был добавится.
А так, я уже 3 года там и уверен, завтра придут бухтеть «бу-бу-бу, яндекс плохой, у других такого нет», хотя было , да и тут первый раз
Если честно то заколебали со своими отвалами. Вот что бывает когда на рынке по сути остаётся монополист и ему за это ничего не будет. Тоже самое касается и рекламы, кстати, с их директом
А как убеждали и радовались, что после объезда массы специалистов и ухода западных компаний что якобы всё работает и ничего не сломалось. Но вот прошло несколько лет и запас прочности как будто иссяк.
Зато по 5 собесов , даже в инфраструктуру есть алгоритмический собес и сессия с кодингом... не помогает почему то..
Причем тут 5 собесов. Можно хоть сколько собесов пройти и алгоритмов знать, но если нет электричества, значит нет электричества. Это из разряда шутки про то сколько пррграммистов нужно, чтобы вкрутить лампочку
значит нет электричества
это решаемо, к примеру, у старого Яндекса ДЦ в Финке на ДГ месяцы работал.
Во-вторых, странно видеть, что у такой крупной компании, светила всея Рунета, сервисы не дублированы как минимум в 2 зоны доступности.
Для меня вот это оказалось интересным сюрпризом, орг.выводы будут сделаны (и не в пользу Я).
Справедливости ради - у них есть несколько зон доступности, они настоятельно рекомендуют разносить ноды сервисов по разным ДЦ, но оставляют это на усмотрение клиентов.
значит нет электричества
выше пишут https://habr.com/ru/news/895770/#comment_28109860
два независимых ввода, дизель-генераторы
куда всё делось?!
куда всё делось?!
а было ли? (в частности, было ли оно действительно независимым?)
работал я как-то в одном провайдере, довольно крупном. И вот этот провайдер (П) имел ДЦ в одном регионе, а крупного клиента (К) в другом. К настоял на том, чтобы у П был законтрактован канал связи от К до ДЦ, независимый от П (сторонний поставщик, более того - конкурирующий провайдер).
День Икс, звонок:
К: -у нас ничего не работает! Нет доступа!
П: -в ДЦ всё в порядке, наблюдаем обрыв связи, бригада уже выехала в предположительное место обрыва. Переключаем на резерв.
К: -у нас всё еще ничего не работает! Нет доступа!
П: -ну, ничего поделать не можем, второй канал не живой кажется
К: -громко матерится в трубку, угрожает судом и прочими юристами
---
Спустя час, на ХХ км федеральной трассы Екатеринбург-Пермь, две бригады конкурирующих провайдеров смотрят на экскаватор, который добивает их провода, лежавших чуть более чем в метре друг от друга:
- да мужики, тут мы до вечера все это не починим...
прошу воспринимать данную историю как быль или былину =)
Вот тут щёки раздували - https://yandex.ru/company/technologies/datacenter
Правда, без деталей :)
Это потому что у электриков всё ещё нет алгособесов и вот результат!
В облаках Яндекс далеко не монополист. Один из крупных - да. Но не единственный.
"При Воложе такой херни не было!"
Для истории. Все еще не работает. Седьмой час полной недоступности.
Для истории) Наши сервисы в ЯО ожили ровно через 8 часов.
у меня ожило полчаса назад, примерно в 21-30 по москве, но у меня слава богу в упавшей зоне доступности было только пару нод OpenSearch , но да, как один из комменататоров выше написал - завтра с командой будем делать выводы. И да, очень интересно было бы услышать - где дизель-генераторы, где резервирование по питанию..
Для истории - наши сервисы до сих пор все лежат. Шмяндекс считает инцидент исчерпанным и предлагает обращаться в поддержку. Обратился в поддержку - молчат.
Вот и показатель ТОП компании которая себя таковой считает.
Просто дата центр зависит от монополиста ФСК ЕЭС. А от аварий с электроснабжением никто не застрахован. Вроде там первая категория и кольца, энергетики поправят меня.
Говорят дизель генераторы отлично страхуют от любых аварий с электричеством.
Говорят, для дизель генераторов нужно ещё диз. топливо и автоматика запуска.
А это проблема? Пара бочек с соляркой побольше, батарейка на полчаса и автоматизация чуть ли не на ардуине.
Вы эту автоматику видели, причем не для БС, а для прожорливого ДЦ (там где даже одного шкафа АВРа недостаточно)?
Вот именно, что проблем не должно быть, по идее.
Там столько контуров резервирования: 2 ввода, кинетические накопители энергии (для покрытия пиков и плавного переключения), прогретые ДГУ со временем старта и выхода на рабочую нагрузку 4 секунды, батарейные комнаты для собственные нужд систем управления, резервные генераторы, если основные не заведутся... Даже ручная подача топлива предусмотрена если не сработает насос. Не мыслю что могло случиться чтобы все это одновременно перестало работать...
Так у Яндекса они есть. Есть даже фото генераторов по ссылке https://yandex.ru/company/technologies/datacenter Но что-то пошло не так, видимо.
Устаревшие технологии ИБП и ДГУ могли бы помочь )
Это не совсем тот монополист, почитайте про аварию 2005 или 2004 года в Москве, когда тотально всё сломалось, вот после этого сделали елиную диспетчеризацию. По логике там в идеале должно было быть два ввода с разных подстанций и автоматическое переключение.
Yandex delenda est
Видимо, до технических специалистов компании эта простая мысль тоже начала доходить.
При нынешнем качестве менеджмента это можно лечить... только так! :))
В Узбекистане торговая площадка Uzum тоже была на ru‑central1-b, не работала
Облако спустилось на землю.
Просто монополисту надо было проводить алгоритмические собесы среди электриков, и такого бы не произошло.
У «Яндекса» наблюдаются сбои в работе сервисов и недоступность зоны ru‑central1-b (материал обновлён)