Все ипми висят в серой сети и снаружи так вот просто не доступны
Клиенты желают нажать одну кнопку и что бы появилась консоль, ничего к себе не ставя
У нас в эксплуатации около 70 разных вариантов матерей с разнообразными ипми разных видов, не везде так будет работать. А выкачать jnlp файл из веб-интерфейса получается почти всегда.
Для html5 доступа к vnc-образным консолям (например dell idrac или ovirt) мы используем guacamole с novnc, про это выложим позднее.
Iso монтируется с внутренней шары, образ с неё можно выбрать там в консоли. Соответственно, на шаре лежат основные популярные образа ОС и дрова. По запросу клиента мы оперативно добавляем туда желаемое. В планах автоматизировать эту историю
Думаю математика будет 4 современных ядра процессора на HD поток если без графического ядра. Машина на 20 ядер за тысячи 3 евро потянет 5 потоков, а простой и не совсем свежий i9-9900k за 600 евро со всем вместе и QSV потянет 14 потоков. Мы это рассмотрим в дальнейших публикациях.
старые Xeon не очень вытянут, там нет видеоядра где происходит вся магия и они тормозные отнсительно современных камней и много потребляют электричества, 2-3 потока и все.
машина с A4000 самая простая - 22000р, 12 потоков - 1800р на поток в месяц.
машина с A5000 самая простая - 31000р, 14 потоков - 2214р/поток
сервер на i9-9900K самый простой с QuickSync (QSV) - 5000-6000р, 11 потоков, 450р на поток. Сервера для такого надо собирать на матерях без удаленного управления, что мы умеем.
Вот новости то, они уже второй год не продлевают SPLA. Сейчас уже мало у кого осталось, только у тех кто им миллионы платил за аренду с виртуалками 1С и виндовым хостингом.
есть нюансы, в свете новых событий что бы сидя в РФ поставить сервера в Европе придется пройти KYC из ада и еще как-то это оплатить. Это и раньше было не слишком тривиально, а сейчас им будет проще с этим вообще не связываться.
1) трубка вставляется в теплосъемник, который подключен к системе охлаждения ЦОД.
2) вытащить сервер не сложно.
3) вентиляторы не обязательно отключать, они будут работать на минимальных оборотах.
4) мы обычно используем сервера на базе материнских плат Супермикро, если что-то ломается - чиним/меняем сами, потом отправляем испорченный компонент в гарантию.
Когда мы полтора года назад в феврале 2019 года выкатывали это предложение, никаких E-2288G в продаже не было и не было вообще ничего что бы было близко похоже на 30000 пунктов в Пассмарк за 150 евро в месяц. E2288G появились с матерями в продаже только осенью 2019 года, мы были первые кто получил в Нидерландах первые камни. Оказалось что биос на серверных матерях их не поддерживает толком, пришлось просить вендоров прислать что-то рабочее — это кстати оперативно исполнили.
Те сервера на i9 шли на игровых матерях с разгоном до 5ГГц на все ядра, свою аудиторию они на тот момент нашли быстро — в основном игровые сервера и ГПУ машины под транскодинг и нейросети в проде. Под 1С, битриксы и прочие виндовые дела тогда продукт не зашел — было много нюансов с сетевыми драйверами для Windows Server. Сейчас картинка на рынке другая, для высокой производительности на ядро есть E-2288G + Xeon W серии и для многопоточности — голды, райзены и конечно Эпики. i9 машины стали дешевле и тоже не простаивают, их любят клиенты для задач машинного обучения.
Большая серверная. Тема пожаротушения не раскрыта, вероятно есть гидрант. Я думаю с таким оборудованием его оперативное применение это лишь вопрос недолгого времени, с GPU картами и ASIC — один плохо обжатый разъем и приехали. А так, сервера с такой вентиляцией испортятся за пару сезонов из-за черной грязи внутри.
если кстати считать дальше, то можно очень четко понять сколько в себестоимость простых ЦОД добавляют батареи ИБП с сроком службы 3-5 лет и кондиционеры со сроком службы в 10 лет. Плюс, самое главное в РФ — цена денег в 20% годовых на вложенное.
58 без НДС это дофига без сертификата, можно значит НДС торгануть. кВт по 7 это нормально, ведь надо же что-то заработать
тут же не про маржинальность, а про все сопутствующее. Короче я вот про что, крупный ЦОД не будет бегать за одностоечными клиентами — ему не выгодно. Бывают исключения конечно, когда надо выбирать квоту по электричеству в формате «бери или плати» и берут всех с прицелом потом поднять цену, но чаще они работают от 5 стоек.
1) тарифы МЭС как правило те же или даже выше.
2) они хостеры, там будет ровно 4,5-5 — поверьте. Ориентироваться будут на автомат на вводе.
3) розничные цены на рынке в Москве за 5кВт стойку в 2017 году с НДС:
— говноцод без удобств — 35-45К
— небольшой ЦОД в арендованом помещении без излишеств — 50-60К
— приличный ЦОД средней руки в арендованом ОСЗ — 60-80К
— сертифицированный ЦОД Тиер3 в своем здании- 80-100К
считаем на калькуляторе, 5 кВт стойка.
электричество как обычно, возьмем 5р с НДС за кВт/ч — 5*24*30 *5= 18000р
затраты на кондиционирование 30% в самом эффективном ЦОД, 23400р
затрата на ИБП и прочие потери, +10% — 25700р
итого, грубо 30000р прямых расходов только на электричество.
Стойка и силовая обвязка в закупке стоят около 120К (хорошая стойка АРС + 2 ATS + 2 вертикальных PDU), предположим на год по 10000 в месяц.
т.е. уже мы имеем 40К в месяц прямых затрат, без амортизации здания и оборудования, без ФОТ и прочего. А стойка сдается тысяч за 60 с НДС.
попробую описать как я себе это вижу из 15 летнего опыта работы с самыми разными ЦОД.
1) в большом ЦОД высокого уровня всегда есть план размещения и техусловия. Их делают инженеры ЦОД, это занимает несколько дней. Подписать договор можно после согласования всех технических бумаг и коммерческих условий. Это примерно займет около месяца. В Европе и США — дольше. Может кто этого и не знает, но это до первого раза. Быстро бывает только в мелких лавочках, но это всегда в ущерб качеству — нельзя сделать мелкий ЦОД надежным за разумные деньги в пересчете на стойку.
2) Не все деньги одинаково полезны. Быстро за полчаса сделать можно конечно, но не в ЦОД где 2000-3000 стоек и план работы у электриков расписан плотненько на пару недель — по существующим клиентам.
3) Дело не в выходных, а в том что к выходным клиент оказался без согласованных бумаг и без разрешения на внос. Решать этот вопрос мимо регламента не позволяет большой сертификат и устав, на который нельзя класть. Если бы у клиента все бумаги были подготовлены и технические службы клиента делали это не в первый раз, результат был бы совсем другой. Они бы просто приехали с железом, разгрузились, описали его, подписали акты вноса и спокойно занялись бы монтажем. Но это требует аккуратной подготовки, без всяких эмоций — за пару недель стоит начинать.
4) если клиенту надо быстро попадать в ЦОД, он просто вносится в списки на охране на круглосуточный доступ — четко по процедуре. Показывает паспорт и проходит дальше с карточкой. Та же фигня и с железками, есть четкая процедура — она позволяет в дальнейшем избежать недопонимания по имуществу и позволяет ЦОДу вести бухучет надележащим образом. Ведь по закону каждая ерундовина на территории предприятия должна быть в бухгалтерии помечена — поставлена на баланс или быть учтена на за-балансовых счетах. Если ЦОД позволяет таскать железо туда-сюда без бумаг — они НЕ ведут бухгалтерию как положено, нарушают закон — это может привести к отказу в обслуживании у клиента. У монетки две стороны.
Я помню мне рассказывали поучительную историю — в ЦОД пришел присмотреться крупный иностранный клиент, а манагер что-то сказал охраннику и они пошли вовнутрь, не проверяя документы у потенциального клиента. После этого клиент немного походил, развернулся и ушел — насовсем. Как думаете почему? Правильно — если персонал кладет на регламент, то все остальное точно в таком же состоянии — не исключая инженерных систем и бухгалтерии.
5) Датапро ничего не потерял, доход с нагруженной стойки тысяч 5-10р от силы в месяц. Ресурс ограниченный, она уйдет более подготовленным и аккуратно планирующим заказчикам. А еще более ограниченный ресурс у менеджеров, работать с неформатным заказчиком. Пустое стойко-место есть не просит, костов не генерит как мы знаем.
Ага, только у нас на ходу ещё Х8 и масса других матерей похожих вендоров тоже с java.
HTML5 мы открываем через guacamole, скоро выложим статью.
Забудьте, это что бы в шелле что-то делать или в винде настройки сети поправить. Аккуратно, медленно и печально
Тут есть несколько моментов:
Все ипми висят в серой сети и снаружи так вот просто не доступны
Клиенты желают нажать одну кнопку и что бы появилась консоль, ничего к себе не ставя
У нас в эксплуатации около 70 разных вариантов матерей с разнообразными ипми разных видов, не везде так будет работать. А выкачать jnlp файл из веб-интерфейса получается почти всегда.
Для html5 доступа к vnc-образным консолям (например dell idrac или ovirt) мы используем guacamole с novnc, про это выложим позднее.
Iso монтируется с внутренней шары, образ с неё можно выбрать там в консоли. Соответственно, на шаре лежат основные популярные образа ОС и дрова. По запросу клиента мы оперативно добавляем туда желаемое. В планах автоматизировать эту историю
Это уже готово, будет статья про это в ближайшее время
Думаю математика будет 4 современных ядра процессора на HD поток если без графического ядра. Машина на 20 ядер за тысячи 3 евро потянет 5 потоков, а простой и не совсем свежий i9-9900k за 600 евро со всем вместе и QSV потянет 14 потоков. Мы это рассмотрим в дальнейших публикациях.
у scalable нет, а так вообще есть и много https://ark.intel.com/content/www/us/en/ark/search/featurefilter.html?productType=873&0_QuickSyncVideo=True&1_Filter-Family=595
старые Xeon не очень вытянут, там нет видеоядра где происходит вся магия и они тормозные отнсительно современных камней и много потребляют электричества, 2-3 потока и все.
На современных померять можно просто, по калькулятору на https://hostkey.ru/gpu-dedicated-servers/ :
машина с A4000 самая простая - 22000р, 12 потоков - 1800р на поток в месяц.
машина с A5000 самая простая - 31000р, 14 потоков - 2214р/поток
сервер на i9-9900K самый простой с QuickSync (QSV) - 5000-6000р, 11 потоков, 450р на поток. Сервера для такого надо собирать на матерях без удаленного управления, что мы умеем.
Вот новости то, они уже второй год не продлевают SPLA. Сейчас уже мало у кого осталось, только у тех кто им миллионы платил за аренду с виртуалками 1С и виндовым хостингом.
есть нюансы, в свете новых событий что бы сидя в РФ поставить сервера в Европе придется пройти KYC из ада и еще как-то это оплатить. Это и раньше было не слишком тривиально, а сейчас им будет проще с этим вообще не связываться.
там вполне можно оставить вентиляторы, если какой-то компонент слишком греется
Остальное почти не греется, в ЦОД через сервер всегда холодный воздух проходит из холодного корридора в горячий. Вентиляторы можно и не снимать
1) трубка вставляется в теплосъемник, который подключен к системе охлаждения ЦОД.
2) вытащить сервер не сложно.
3) вентиляторы не обязательно отключать, они будут работать на минимальных оборотах.
4) мы обычно используем сервера на базе материнских плат Супермикро, если что-то ломается - чиним/меняем сами, потом отправляем испорченный компонент в гарантию.
Я знаю что многие используют старшие i9/i10 для этих целей, так тоже можно и ffmpeg это поддерживает. Попробовать в планах есть.
Те сервера на i9 шли на игровых матерях с разгоном до 5ГГц на все ядра, свою аудиторию они на тот момент нашли быстро — в основном игровые сервера и ГПУ машины под транскодинг и нейросети в проде. Под 1С, битриксы и прочие виндовые дела тогда продукт не зашел — было много нюансов с сетевыми драйверами для Windows Server. Сейчас картинка на рынке другая, для высокой производительности на ядро есть E-2288G + Xeon W серии и для многопоточности — голды, райзены и конечно Эпики. i9 машины стали дешевле и тоже не простаивают, их любят клиенты для задач машинного обучения.
58 без НДС это дофига без сертификата, можно значит НДС торгануть. кВт по 7 это нормально, ведь надо же что-то заработать
2) они хостеры, там будет ровно 4,5-5 — поверьте. Ориентироваться будут на автомат на вводе.
3) розничные цены на рынке в Москве за 5кВт стойку в 2017 году с НДС:
— говноцод без удобств — 35-45К
— небольшой ЦОД в арендованом помещении без излишеств — 50-60К
— приличный ЦОД средней руки в арендованом ОСЗ — 60-80К
— сертифицированный ЦОД Тиер3 в своем здании- 80-100К
электричество как обычно, возьмем 5р с НДС за кВт/ч — 5*24*30 *5= 18000р
затраты на кондиционирование 30% в самом эффективном ЦОД, 23400р
затрата на ИБП и прочие потери, +10% — 25700р
итого, грубо 30000р прямых расходов только на электричество.
Стойка и силовая обвязка в закупке стоят около 120К (хорошая стойка АРС + 2 ATS + 2 вертикальных PDU), предположим на год по 10000 в месяц.
т.е. уже мы имеем 40К в месяц прямых затрат, без амортизации здания и оборудования, без ФОТ и прочего. А стойка сдается тысяч за 60 с НДС.
1) в большом ЦОД высокого уровня всегда есть план размещения и техусловия. Их делают инженеры ЦОД, это занимает несколько дней. Подписать договор можно после согласования всех технических бумаг и коммерческих условий. Это примерно займет около месяца. В Европе и США — дольше. Может кто этого и не знает, но это до первого раза. Быстро бывает только в мелких лавочках, но это всегда в ущерб качеству — нельзя сделать мелкий ЦОД надежным за разумные деньги в пересчете на стойку.
2) Не все деньги одинаково полезны. Быстро за полчаса сделать можно конечно, но не в ЦОД где 2000-3000 стоек и план работы у электриков расписан плотненько на пару недель — по существующим клиентам.
3) Дело не в выходных, а в том что к выходным клиент оказался без согласованных бумаг и без разрешения на внос. Решать этот вопрос мимо регламента не позволяет большой сертификат и устав, на который нельзя класть. Если бы у клиента все бумаги были подготовлены и технические службы клиента делали это не в первый раз, результат был бы совсем другой. Они бы просто приехали с железом, разгрузились, описали его, подписали акты вноса и спокойно занялись бы монтажем. Но это требует аккуратной подготовки, без всяких эмоций — за пару недель стоит начинать.
4) если клиенту надо быстро попадать в ЦОД, он просто вносится в списки на охране на круглосуточный доступ — четко по процедуре. Показывает паспорт и проходит дальше с карточкой. Та же фигня и с железками, есть четкая процедура — она позволяет в дальнейшем избежать недопонимания по имуществу и позволяет ЦОДу вести бухучет надележащим образом. Ведь по закону каждая ерундовина на территории предприятия должна быть в бухгалтерии помечена — поставлена на баланс или быть учтена на за-балансовых счетах. Если ЦОД позволяет таскать железо туда-сюда без бумаг — они НЕ ведут бухгалтерию как положено, нарушают закон — это может привести к отказу в обслуживании у клиента. У монетки две стороны.
Я помню мне рассказывали поучительную историю — в ЦОД пришел присмотреться крупный иностранный клиент, а манагер что-то сказал охраннику и они пошли вовнутрь, не проверяя документы у потенциального клиента. После этого клиент немного походил, развернулся и ушел — насовсем. Как думаете почему? Правильно — если персонал кладет на регламент, то все остальное точно в таком же состоянии — не исключая инженерных систем и бухгалтерии.
5) Датапро ничего не потерял, доход с нагруженной стойки тысяч 5-10р от силы в месяц. Ресурс ограниченный, она уйдет более подготовленным и аккуратно планирующим заказчикам. А еще более ограниченный ресурс у менеджеров, работать с неформатным заказчиком. Пустое стойко-место есть не просит, костов не генерит как мы знаем.