Комментарии 43
Оч познавательно
САП, согласно историческим данным, мог обработать в штатном режиме до 12 тысяч заказов за день. Новая WMS, по нашим оценкам, легко справится с 40–50 тысячами.
Не уловил, зачем индивидуальный ЦОД для такой нагрузки?
Ну не всё же сайтики на joomla в этом мире :-)
Зачем огромные ЦОД OZON'у и X5?
К сожалению, одна стойка не справится с нагрузкой в 100 кВт, ввиду того, что будет необходимо отвести достаточно большое количество тепла. К тому же одна стойка не выдержит заявленное количество оборудования по весу и объему.
Я о другом. Заявленная нагрузка, по идее, должна уместиться в куда более скромные железные ресурсы. Конкретно, я предполагаю, что хватило бы и одной стойки небольшой. 12тыс заказов в день это смех просто, если конечно все более менее написано. С учетом указанного стека конечно не удивлюсь, что там столько оверхеда, что и требуется целый ЦОД.
Это сделано с прицелом на перспективу, т.к. в будущем к дата-центру подключатся другие сервисы и отделы компании. Здесь будут работать службы распознавания лиц и видеоаналитики, храниться архивные видео и т.д.
Как скоро надо будет менять эту коллекцию аккумуляторов?
Заявленный производителем срок службы АКБ составляет 10 лет. Как оно будет на самом деле покажет эксплуатация, в любом случае есть гарантия от производителя. В данном проекте за АКБ следит специальная система мониторинга "iBattery". В систему диспетчеризации поступают параметры с каждого АКБ. Что позволяет точно определить проблемную батарею и поменять её.
А вообще Утконос ОНЛАЙН сразу начал пользоваться новеньким ЦОДом на полнуюЕсли уже сейчас пользуется на полную, то следует ли из этого, что адски тормозить сайт уже не перестанет никогда?
А инженерка та тут причем? Смотри на стек - Стек реализован с помощью Java/Kotlin, Spring Boot, Camunda .......
Это не может не тормозить:)
За то модно - молодежно
Это МОЖЕТ не тормозить, если грамотно это использовать. В прошлом году разбирал рабочий пример, человек запиливает на Spring Boot / Hibernate сервис, который умудряется карточку контрагента с десятком полей читать из БД по 30 секунд, просто потому что настроил ORM и вызовы её так, что при этом с карточкой контрагента извлекают все его сотни магазинов и тысячи сотрудников со всеми их параметрами. После модификации запрос выполняется за 0.5 сек.
Странный мини ЦОД
19 стоек и 300кВт, ну ок - минуснем тепло с коэффициентом в 3 и прочими ПСН - получим порядка 150кВт(3*35 = 105кВт, хотя вопрос какая там мощность указана тепловая или электрическая) на 19 стоек мене 10 кВт на стойку - сейчас Одно процессорник с NVME + GPU это от 700ват и выше те порядка 8-10 серверов на стойку - с такими мощностями Должен быть ЦОД или в 2-3 раза меньше или или раза в 3 мощнее......
еще вопрос балансировки тепловой нагрузки на ЦОД(особенно Блейды или Мульти GPU) да и фрикулинга - у нас так-то 9 месяцев Зима
Нет сейчас то понятно - в принципе если использовать старое железо и хранение то так и получится, но вот что они через 6-7 лет делать будут?
Отдельный вопрос Аккумуляторная станция - оно конечно весело придумано заложить батарей на час(!) удержания, но зачем? Запуск ДГУ нормативный 5-7 минут с выходом на полную мощность, это ГТУ нужно минут 30 раскручивать.... ИМХО емкость батареи сильно избыточна.....
по пожаротушению вопрос а те легкие перегородки которые отрисованы в проекте они газ-то Удержат? а Дымо удаление когда включится? и смогут ли люди подойти к Дверям ЦОДа что бы подтащить Мобильное дымо удаление?
Ни слова про регламенты, про обучение работам, про тестирование Системы пожаротушения. Газодымо-удаление и прочюю ЖИЗНЕНО важную инженерку....
Зачем нужен GPU для складского софта?
как не странно много для чего в основном Распознование Образов - Номера машин, вагонов, контейнеров, коробок, документов, лиц.....
Отдельно почти вся упреждающая оптимизация свешивается на модели и нейросети, а крутят их на GPU
Энергия это деньги......
про загрузку серверов у вас Два основных лимита надежность и память, третий лимит вычислительная мощность - сейчас уже не так критичен, т.к. или ты используешь CPU в Общих задачах и не грузиш его более 30-40% или только на обслуживание нагрузки на GPU/FPGA/ASIC или загрузка проца почти никогда не опускается ниже 70%....
насчет мощностей ну давайте прикинем проц загружен на 60-70% иначе не эффективно и проще погасить машину а нагрузку размазать по другим 70% от 250 ватт(да там не совсем линейно и тп) - это уже 175 ватт + 10 NVME по 12-15 ватт + 8 каналов памяти по 5-8 Ватт это уже 400ватт плюс КПД БП в 80% и вот уже на сервак вылазит минимум 480 ватт + GPU ватт на 200 уже 680-700Ватт если взять 42U стойку минус 4-6U на Свитчи, Патч-панели и мониторинг, то 18-19 серверов на стойку при 700Ваттах на сервер 12-14кВт на стойку МИНИМУМ сейчас надо закладывать, а лучше 20-25кВт... и это еще без учета нагрузки от сетевого оборудования, сетевых карт на 10/25/40/100G и вся кого прочего типа 6 вентиляторов по 8-12 Ватт каждый итп
при стройке заложить лишние пару линий питания и запас по трубам для охлаждения КУДА дешевле чем потом перестраивать всё.
RFID - дороже на порядок выйдет..... А если учесть что большинство товаров имеет ту или иную маркировку.....
А еще есть сотрудники, плановые и не плановые происшествия, контроль наполнения товарами, движения авто и ЖД транспорта по территории - не сколько сотен своих машин и не сколько тысяч чужих в месяц.... и у всех текучка с кадрами - распознанием образов это делать на много порядков дешевле и проще чем пинать людей и заставлять их менять свои привычные алгоритмы.
Про то что У вас двойной контроль СКУД(почитайте статьи от КРОКА), сильно лучше защита от Хищений, и проще расследования я вобще молчу. А еще есть КОВИД с его требованиями и проблемами - один зараженный может на пару недель радикально так осложнить работу участка, а то и предприятия....
Вот сразу видно человека который никогда не попадал в в конторы надолго и не планировал Срок жизни проекта на +5 лет - реальность такова что через 5 лет они захотят больше мощности в ЦОДе, а у него ROI порядка 10 лет МИНИМУМ и если не заложено что можно увеличить мощность - и вопрос будет приближаться к сумме затрат как на постройку нового ЦОДа особенно весело если вдруг компания или Холдинг активно расти начинают........ Вы инвесторам или Владельцу как будет объяснять что вы в еще почти новый ЦОД по мощности не влазите? И почему сумма затрат почти постройке равна, тк надо останавливать Работу, разбирать, дотягивать и тп
я же не говорю закладывать сразу всё просто предусмотреть адекватную возможность расширения Аккумуляторной станции, ИБП, Тепловых возможностей ЦОДа, произвести монтаж Внутренних тепловых и питающих коммуникаций когда это просто и легко и не потребует остановки всего - в сумме стоимости Работ при монтаже ЦОДа это будет +5-7% зато потом это будут почти 80% экономии.
вот на сколько я в курсе в МСК имея ГТУ и ГАЗ дешевле гонять ГТУ.....
Все правильно и подробно расписано! Спасибо за такой развернутый комментарий
В данном случае проектировать место под высоконагруженные стойки не требовалось. Как отвечали к комментарию выше, требование по мощности на стойку было прописано в ТЗ. Компания Утконос ОНЛАЙН прекрасно понимает, какое ИТ-оборудование будет размещено в данном ЦОД и сколько его будет. Также важен момент, какой резерв по мощности существует на объекте, и имеется ли возможность его увеличить. Мощности у города обычно есть, но бывает не там где нужно!
Если отвлечься от данного проекта. Да, все чаще появляются задачи, в которых ИТ-оборудование потребляет 10 и 15 кВт на стойку. Пути решения в таком случае разные, зависят от конкретной ситуации.
P.S. Согласно статистике одного из крупнейших провайдеров Colocation (не будем его называть, дабы не делать рекламу), в распоряжении которого несколько тысяч стоек по всей территории нашей необъятной страны, средняя мощность по всем ЦОД в их распоряжении составляет 4 кВт. Средний рост в год составляет 100вт. Материал можно поискать на просторах Хабр, в ветке IT-инфраструктура.
Что касается состава парка серверов. Компании, наподобие Утконос ОНЛАЙН, имеют определенную стратегию развития, и понимают какие ресурсы, в части ИТ-оборудования, и в каком объеме могут им понадобиться, и что компания может себе позволить в перспективе нескольких лет. Исходя из этого, формируются требования к ЦОД и отражаются в виде ТЗ, по которому мы уже проектируем и строим ЦОД.
Если ничего не изменилось в последние 5 лет, то с отводом более 15 кВт со стойки с обеспечением резервирования есть проблемы, так как это фактически предел для воздуха. Имхо, самое типичное решение это принять, что "о боже" юниты будут пустовать (на самом деле ничего страшного в этом нет). Альтернативный вариант - специфические системы охлаждения (водянки, маслице, иммерсионка) - но это для других масштабов.
Доброго времени суток, благодарим за неподдельный интерес!
Нагрузка на стойку в ЦОД составляет 5 кВт электрической мощности. Суммарно ИТ-мощность в ЦОД составляет 95 кВт, остальное потребляют EDGE узлы на территории 42 шт. и инженерная инфраструктура. Данная нагрузка удовлетворяет потребноcтям заказчика, именно такая мощность была прописана в ТЗ.
В статье мы написали, что изначально ставить ДЭС не было в планах. Его решено было поставить по ходу реализации проекта, так как второй ввод должен был обеспечить газогенератор. Возможно по этой причине изначально в ТЗ требовалось 30 минут автономной работы.
Прочности возводимых перегородок более чем достаточно, чтобы удержать давление в случае выпуска газа. Людям подходить с мобильным дымососом к ЦОД не нужно, на этот случай предусмотрена стационарная система дымоудаления с щитом управления и со всей необходимой системой воздуховодов.
Благодарим за идею, обязательно остараемся подготовить материал про прохождение комплексных испытаний и эксплуатации.
Рады за коллег по цеху. Красиво сделано. ЦОДы рулят. Молодцы.
А почему фрикулинг то не применили?
Этож какая экономия то
Чем свой ЦОД лучше Яндекс.Облако? Дешевле?
Добрый день!
1. "Единственное, с чем NetEco интегрировался не идеально — некоторые дополнительные системы, например пожаротушение и клапаны вентиляции". Какие конкретные проблемы были с этими системами? Какие вентиляционные клапана - противопожарные или регулировочные? Сейчас все они выпускаются с любыми приводами по уровню интеграции.
2.Раннее упомянули фрикулинг. Но есть еще более дешевый (даже практически бесплатный) вариант, который почему-то никогда не используется. Это наружный воздух при температурах на улице до плюс 16 градусов. Для зоны Москвы - это более 60% времени в течение года.
Михаил
Добрый день! Отвечаем сразу на вопросы по теме использования фрикулинга на данном конкретном проекте. Да, современные тенденции в отрасли все чаще заставляют нас смотреть в сторону систем со свободным охлаждением. Но далеко не всегда и не везде решение на фрикулинге будет: а) экономически целесообразно; б) возможно, ввиду конструктивных или технологических ограничений площадки. Не стоит забывать про капитальные затраты и окупаемость ЦОДа. Покупка чиллера с фрикулингом или с отдельной градирней несет в себе значительные капитальные затраты, также даную систему стоит дополнить операционными затратами: сложной системой автоматики, техническим обслуживанием и сервисом.
При проработке предложений по созданию ЦОД, совместно с заказчиками подготавливаем TCO модель обычно сроком на 10 лет. В конкретном случае результат модели показал, что применение системы фрикулинга экономически не целесообразно. Также конструктивные ограничения не позволяли организовать самостоятельную воздушную систему.
Это вы с жадными вентиляционщиками работаете.
Это сколько надо зарядить в теплообменники, чтоб экономика с потреблением кондиционеров не сошлась.
Добрый день! Спасибо за интерес к статье! Основной вклад - это стоимость чиллеров, а также их последующее сервисное обслуживание. Организовать прямой фрикулинг без дополнительных систем доохлаждения в нашем регионе не получится. В проектах ЦОДов, мощностью меньше 500 кВт, окупить капитальные затраты на сложные чиллерные системы с фрикулингом, за счет последующей экономии на потреблении электричества кондиционерами, весьма проблематично.
Складской Ватикан в Южном Бутово, или Как мы создали индивидуальный ЦОД для Утконос ОНЛАЙН