Комментарии 48
почему отрабатывают потерю только одного датацентра?
Надо отработать потерю сразу 3-4 датацентров.
Прикупить ресурсы у соседей на случай падения всей инфраструктуры.
Думаю сейчас заводы по производству железа радуются, так как 2е страны надо будет снабжать серверами.
По моим соображениям бу оборудование в России подорожает, так как за счет него перекроют нехватку ресурсов.
Кто будет отрицать, что самый простой и дешевый путь сейчас для прироста мощностей - купить бу сервера и поставить в стройки к соседям?
"Заводам по производству железа" спроса со стороны ИИ более чем хватает... А предложение БУ при таких ценах на железо и санкциях совсем не то, как было раньше с коротким периодом обновления.
Так у них всего 3-4 датацентра.
Надо отработать потерю сразу 3-4 датацентров.
Вы вообще представляете масштабы ДЦ Яндекса в том же Сасово, например? Резервировать даже один такой ДЦ - невменяемые расходы и огромная инженерная работа. Резервировать 3-4 - ну может военные практикуют на случай ядерной войны, но не гражданские точно.
Обидно конечно что у людей файлы на диске поотваливались, но не ожидайте магии, Амазон тоже минуснул ДЦ от пары дронов.
Резервировать-то можно всё, только в цены на сервисы тоже придётся закладывать резервирование.
А те, кто сейчас ноет и ругает, сразу сбежали бы к конкурентам подешевле и без резервирования.
У нас на работе руководство тоже с умным видом захотело резервироваться, но уверен, что на днях подготовим план, посмотрят на цены и тихонько разрезервируются.
Вы цены на облака Яндекса видели? Если кратко, собственное железо с резервированием, арендой площади, инфраструктурой охлаждение и т.д. окупалось за полгода ещё пару лет назад (последний раз, когда я смотрел их неадекватные цены)
Смотря как считать, смотря какой объем. Вы ФОТ человека который будет на вашей площадке сопровождать это железо и заниматься всем тем, что в облаке стоит с приставкой managed, закладывали в расчеты?
Обычная раскладка затрат датацентра примерно выглядит вот так:
1) электричество ~50%
2) расходники ИБП, фильтров и т.п. ~25%
3) зарплата инженеров ~15%
4) аренда земли ~ 10%
Т.е. как ни крути, но стоимость услуг датацентра можно сравнивать в перерасчете на киловатт (держа в уме, что себестоимость будет примерно х2 к стоимости киловатта в регионе, где вы находитесь).
И вот для такой раскладки Яндекс был очень дорогой. А если рассматривать задачи ML (ИИ на поп языке), где тому, кто учит, удобнее физически иметь доступ к машинам (при наличии 10 гигабитной сети в офисе мы, бывает, физически перетыкаем ssd, потому что это существенно быстрее), он был экстремально дорогой.
Давайте я вам более приземленный пример приведу. Вот мы к примеру тратили примерно 900 тысяч рублей в месяц на яндекс облако. В один из моментов решили, что много тратим на облако и может на свое железо потратить? Сели посчитали сколько CPU и памяти утилизируем и сколько это будет в железных серверах, получили цену на нужное кол-во серверов под наши запросы, посчитали размещение колокейшена, так как своего ДЦ нет, а так же ФОТ человека который будет все это физическое железо обслуживать и настраивать (все managed сервисы и тд) и вот там окупаемость железа далеко не полгода, хорошо если года в 4 уложились бы.
Ну так вы выкинули только дорогое железо Яндекса, а дорогой коллокейшн Яндекса хотели заменить на какой-то другой дорогой коллокейшн. Вы не пробовали посчитать, сколько будет стоить железо + аренда комнаты под серверную в вашем же БЦ + два провайдера + зарплата нормального сисадмина? Для 90% пользователей яндекс облака этого достаточно и это дешевле. Давеча звонит мне лучший друг и вопрошает "Вань, а данные с Я.диска же никак не достать, у нас там вся работа была, все договора... " - и это нормальная компания с нормальным оборотом, и бизнес у них технический, а не гуманитарный. И таких большинство. Добиться от него, зачем им был нужен Яндекс, если им нужен только диск и почта, я не смог. Единственный аргумент там был "удобно".
+ аренда комнаты под серверную в вашем же БЦ
Что-то мне подсказывает, что по надежности это будет совсем не тоже самое.
Тут вопрос уже в том, зачем вам мощности. Если они нужны для текущей работы, то надежность не больше, чем вам нужна - пропал свет в БЦ (такое часто бывает?), работа все равно встала. Если для продакшена, то вариант с прокси где-то в датацентре, а дальше две разведенных серверных, намного устойчивее в текущих условиях и всегда был дешевле Яндекса.
Как то слабо верится. Можете привести пример своих расчетов? Я верю, что свое окупается на длинной дистанции, от 3х лет вы больше, но вы пишете про полгода и вот тут у меня о-о-о-о-чень большие сомнения, так как базовая математика в голове не сходится. Ну либо вы не все затраты учитываете и сравниваете условно стоимость 1 ядра в облаке и 1 ядра в неком усредненном сервере, а ну или сервера с GPU, вот на них цены в облаках очень спорные.
Конечно
Вот некая конфигурация с 8 а100 на Яндексе:

За полгода выйдет 19 млн рублей.
Давайте прикинем, сколько стоит такой сервак:
8 а100 ~ 5 000 000

Платформа супермикро под них будет миллиона полутора. Два процессора - пусть ещё миллион. Память - дорогая нынче, но тоже миллион-полутора максимум. Получаем не больше половины от 19 миллионов.
Давайте посчитаем потребление такого сервера. В пике у меня восьмикарточная 3090 ест 3.2 киловатта. А100 ест меньше. Т.е. за полгода где-то 13 000 киловатт часов - копейки на фоне стоимости. Можно даже добавить ещё полутора киловатта на кондер, которые способны отводить киловатт 6 тепла, т.е. заморозят серверную.
В общем, тут на любую стоимость аренды, личного сисадмина для этого сервера и т.д. такой запас…
Эээ нет, я не спорю с тем, что цена на GPU в облаках не совсем вменяемые. Свои нейронки нужны не всем, далеко не всем. Так что в моих сомнениях по окупаемости, именно обычные сервера, без GPU
Ок

По сути, комп с 16 ядерным процессором. За полгода отдать придется 650к. Очевидно, что тысяч за 200 комп не хуже по производительности той, что будет в облаке, даже в наши дни собрать можно. 450к на обслугу этого компа на полгода - я не представляю, что нужно делать.
Я понимаю, зачем нужны один-два ядра в датацентре. Могу понять, что далекие от айти компании «удобно» покупают там почту и диск. Даже могу понять, зачем единоразово могут слить миллион или даже больше. А вот зачем тратят по 900к в месяц - это в моей голове не укладывается.
Даже не у айтишной компании, может быть своя собственная внутренняя разработка, если то что есть на рынке не устраивает компанию. Это наш случай, лично у нас было 3 кластера k8s, managed postgresql | mongodb | redis | opensearch, все размазано по 3м ДЦ, несколько s3 бакетов и прочая обвязка. Я понимаю, что в вашем представлении всем хватит 16 ядер и 32Gb оперативной памяти, но это не всегда так. Иногда требуется что то больше чем простой лендинг и сайт визитка.
И? Я же показал, что и один слабый комп ужасно дорогой, и гпу сервер на 8 карт ужасно дорогой. Давайте теперь и вы приведите пример конфигурации, которая НЕ окупается за шесть месяцев при ценах Яндекса.
P.S. В моём представлении у нас три человека каждый месяц тратят мощностей по ценам Яндекса на 10 миллионов, которые стоят в двух стойках за стенкой, особо не шумят и стоят нам меньше 100 000 рублей.
P.P.S. И я дурачок не прокрутил страничку цен дальше. У Яндекса там ещё отдельно плюсуются ссд по неадекватной цене и сеть. Так что окупаемость там может быть и быстрее полугода.
Справедливо, мы рассматривали что то типа HPE DL325 Gen11 4LFF на замену облаку в кол-ве 9 серверов (AMD EPYC 9254, 192Gb RAM, 4Tb SSD). 9 серверов стоят в районе 10 млн рублей. Их надо где то размещать, колокейшен с 10Gb сетью между серверами, между разными ДЦ, стоит ~170 тысяч рублей в месяц, еще примерно 250-300 тысяч рублей будет стоить вам человек который будет это все обслуживать + вам нужен будет какой либо зип на эти сервера.
Два человека.
Плоть слаба. Иногда есть отпуска, болезни и даже увольнения. Бизнес не хочет простаивать две недели пока понимающий человек из отпуска вернется.
Тут есть несколько моментов:
1) если это было два года назад (до взлета цены на память), то я бы немного поспорил с ценой железа, но не сильно, ~20%
2) если компании нужно 9 таких серверов, то кажется немного странным, что в компании уже нет человека, который следит за железом. Поэтому целесообразней рассматривать не + 2 человека на 250-300к, а насколько нужно двум сотрудникам поднять зарплату за доп. работу по поддержке этих серваков. В очень странном варианте, что в компании таких людей нет, на мой взгляд, нужно рассматривать не найм новых, а поиск кого-то на стороне, кто будет способен уделять какое-то время в месяц за меньшие деньги и в редких случаях быстро решать проблемы. Все-таки полноценный админ на 9 настроенных работающих серверов - это перебор.
3) у вас за эту конфигурацию 900к в месяц? у меня с текущими ценами Я.облака получается в полутора раза больше
4) даже с вашей ценой сервак окупается намного быстрее 4 лет
К серверным предъявляют требования - и по электропитанию, и по пожарной безопасности, и, наверняка, много какие еще. Оборудовать в БЦ себе такую - не дешево, при этом она будет полностью зависеть от электропитания этого самого БЦ. Две такие серверные - будут еще дороже, учитывая, что затраты на аренду и оборудование будут умножены на два. Плюс "прокси где-то в датацентре" тоже не бесплатен и кто-то должен его настроить и следить за ним, должен настроить схему балансировки, как-то следить чтобы оба плеча были одинаковы, придется разработать политику обновлений чтобы избежать рассинхрона, и так далее и тому подобное. Кто всем этим будет заниматься? Откуда экспертиза? При этом по ночам решение все равно остается без присмотра, никкого тебе *aaS, делай все ручками, БД ручками, миграции сам, бэкапы тоже сам... куда-то. На круг эта самоделка ни разу не надежнее условного ЯОблако, а стоимость владения у нее зашкаливает. При этом если за ЯОблако можно просто перестать платить, то куда деть в случае чего пару этих "серверных" совершенно не понятно.
По опыту компании, в которой работал.
В БЦ часто вырубают электричество (Москва) и регулярно какие-то профилактические работы были. Один раз был пожар. Невозможно получить достаточно кВт на свою серверную.
Всё было плохо также с кондеями - их блоки стояли внутри БЦ, на тех этажах. Когда мы накинули дополнительно несколько мощных - пошли перегревы с отключениями. Приходилось аварийно понижать мощность или отключать оборудование.
В БЦ всё плохо с интернетом. Чтобы иметь хороший доступ к серверам, нужен был гигабит. Расширить канал не удалось, в том числе и потому, что цена была очень высокой.
Гигабит так то мало вообще. Если хотя бы немного с файликами сервис работает. Меньше 10гбит даже говорить не о чем. И это на один сервис.
Компания обдумывала переезд в собственное здание? Или переезд к другому бизнес-центру?
Давайте уж сразу - постройку своего ДЦ!
зачем им был нужен Яндекс, если им нужен только диск и почта
Покажем на типичном примере. Вот предприятие штатным размером 100—150 человек. У предприятия есть собственное помещение, собственная локальная сеть. На предприятии нет человека, который умеет поднять почтовый сервер и открыть сотрудникам VPN-доступ к файловому серверу или RDP, потому что такой специалист потребует слишком большую зарплату. Сейчас там одноранговая сеть без домена, а для обмена файлами используют общую электронную почту на вебмейле.
Обычный комментатор Хабра спрашивает: но это же всё халтура, это ненадёжно, это опасно, как же так?
А реальность отвечает: зато это очень, очень, очень дёшево!
Цены яндекса не видел и не собираюсь им пользоваться, но у нас вот ни разу ничего не окупается. Полное дублирование даже в пределах одного здания, генератор, зипы, потом требуется обновление железа, опять всё в двойном размере на резервирование плюс зипы.
Какое нафиг бу железо в масштабах дц Яндекса.
Советы бывалых диванных аналитиков...
Вопрос не совето,в а быстрых решений.
Бизнес не будет терпеть долгих простоев.
К примеру, у меня клиенты сегодня утром не смогли отправить письма через Яндекс почту и уже в поиске обходного пути, так как встал бизнес.
Видимо вы далеки от живых бизнес потребителей.
И у Яндекса есть 1-2 дня чтобы восстановить работу.
Такова реальность - нужны быстрые решения. Аренда чужих мощностей, или закупка бу серверов.
Арифметика в сторону последнего, так как еще надо найти свободные места и стойки, где разместить новое оборудование.
Строительство датацентра минимум полгода из-за строгих требований к воздуху и пожарной безопасности.
С условиями, что ещё оформить землю, выделить электрические ресурсы - целая история согласований еще минимум полгода.
Другими словами куча сложных задач, которые просто так не решить, а аренда будет означать усиление конкурентов и передача им внутренних технологий.
Кто в здравом уме будет сливать подобную информацию своим конкурентам?
Так что путь аренды полностью закрыт.
Новое оборудование быстро не купишь.
Остается только бу оборудование доступное в больших объёмах и аренда стоек у конкурентов без допуска к обслуживанию чужих специалистов.
Потому ваши комментарии про диванные войска - лишь пост о вашем желании найти себе подобных людей, которые далеки от понимания происходящего.
А город подумал: "ученья идут" (с)
У пользователей есть конкретные потребности. Новое оборудование почти не лежит на складах. Обычно едет минимуму 2-3 месяца.
Чтобы перекрыть потребности вполне могут скупить часть бу серверов но в рынке.
Или взять свои списанные и не распроданные сервера для быстрого восстановления работы ресурса.
Поймите, при нехватке железа любое рабочее железо подойдёт, чтобы переждать долгое поступление нового оборудования.
Сисадмины всегда готовятся к прошлой войне.
Сисадмины? Может все же манагеры?
Не, те вообще редко готовятся. Если проблемы нет, то где-то там по минимуму может и дадут подготовиться. Если проблема уже появилась, то надо с опозданием спешно рвать жопу (главное со словами "ради клиентов", а не "переработки будут оплачены"). А если проблема прошла, то вроде как уже и не надо ничего делать. Может на волне все еще что-то запланируют, но не более.
По крайней мере такой у меня опыт наблюдения за принятием решений в крупных компаниях.
хочется поддержать коллег, тех, кто сейчас поднимает инфраструктуру. в отрасли сейчас все помогают друг другу, экстренно предоставляют мощности, серверы. Я работаю в дата-центре OXYGEN, у нас есть свободные мощности. Если нужна запасная или временная площадка для критичных сервисов или бэкапа, мы готовы приоритетно помочь: как в РФ, так и в Узбекистане / Казахстане
Вот вам и монополия во всей красе! По человечески, конечно, жаль людей, которые сейчас в Яндексе разбирают все, но саму компанию ни чуть не жалко. Годами выстраивать монополию в сфере такси, поиска и карт, чтобы потом, при возникновении проблем у одной компании, страдали все! И проблемы не только в компании Яндекс, одна она бы никогда не смогла вытеснять всех конкурентов с рынка, без помощи сверху они явно не обошлись, так что все закономерно - сверх прибыль от своего положения на рынке привела их в это положение.
А людям в Яндексе, я желаю терпения и поменьше волноваться.
Мы много лет регулярно проводим учения как работать с -1 датацентром, и это отлаженный сценарий
Well, about that.
Яндекс постоянно проводил учения по восстановлению сервисов и отключению дата-центров. Я очень не любил эту работу и был уверен, что такого никогда не произойдёт
Это замечательный сотрудник Яндекса пишет уже после минус-SAS в 2025 и минус-me-central-1 в 2026. Я в своё время очень удивлялся терпению людей, которые буквально на себе тащили и продолжают тащить эти учения и кучу всего остального невидимого. Очень большой контраст с такими вот сотрудниками.
[Warning!!] А что, Хабр, тоже замедлился? Это только у меня у одного, или у кого ещё?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Директор по стратегическому маркетингу «Яндекса»: в компании регулярно отрабатывали на учениях потерю одного дата‑центра