Мы ежегодно делаем исследование рынка на предмет стоимости размещения серверов в дата-центрах и стоимости аренды стоек. Результаты предыдущих исследований мы представили в статьях:
Ценообразование услуг размещения серверов в дата-центре отличное от конкурентов.
Телекоммуникационные шкафы под серверы искусственного интеллекта.
Тенденции и проблемы рынка
Аварийность снижается. UPTIME (надёжность) растёт. Клиенты стали меньше обращать внимание на наличие сертификации Tier III.
Разброс цен по рынку на услуги аренды серверных стоек доходит до трёх раз 50-150 тысяч рублей.
Растут потребляемые мощности, тарифы на электричество, зарплаты персонала.
Есть скрытые цены (наколки, хотя просится другое слово).
За последние 10 лет рынок дата-центров накопил опыт, и накопились вложения в инфраструктуру. Если в нулевые годы многие ЦОДы были буквально из говна и палок, то сейчас таковых становится всё меньше и меньше. Мы хорошо помним те времена 2005 года, когда мы арендовали открытые стойки на “девятке” (Бутлерова 7). Там не было ни фальш-полов, ни нормального охлаждения летом, ни нормальной поддержки (привет легендарный Паша Семенец и Толик Воронин).
В 2017 году сертификация по Tier III была существенным показателем качества.
И в то время не было различия в цене в три раза. Сертифицированные ЦОДы не были заполнены и цены там были выше максимум раза в 1.5-2 при том, что качество и надёжность были существенно выше, чем у несертифицированных дата-центров.
В прошлом году мы сделали попытку выпрямить рынок, сделав зависимость стоимости только от юнитов и мощности.
Вообще забавно наблюдать, как некоторые конкуренты копировали наши идеи, не стесняясь даже передирая вёрстку HTML-кода со страницы Colocation нашего сайта. Недавно мы были первые на рынке, кто ввёл размещение ½ юнита, потом оно просто у всех появилось. Допрозетку, доппорт и KVM за 300р продавать мы начали больше 10 лет назад. И тарифицировать мощность по ваттам, а не по 100 ватт. Но местами конкуренты зависают. Так случается, если копируешь других без понимания стратегии и отсутствия собственного креатива. Мы уже давно сделали все основные допы бесплатнами, а у некоторых они до сих пор по 300р.
На одном из выступлений Чичваркин сказал, что на любой рынок вход либо через чердак, либо через подвал. Так получилось, что мы изначально заходили через подвал с низкими ценами, предоставляя размещение в дешёвом дата-центре, потом волею судеб зашли через чердак, открыв предложения в самом крупном российском коммерческом дата-центре имеющим все три сертификата Tier III.
По закону философии количество переходит в качество. В наш собственный дата-центр мы постоянно инвестировали, так как стояли перед выбором — либо закупать дорогое оборудование, либо иметь головную боль. В результате повышалось качество, накапливался опыт, менялось и наше позиционирование на рынке.
Основные сегменты рынка
Можно выделить три основных сегмента:
Начальный — до 65 000р за стойку 47U и до 3000р за сервер 1U 500Вт 2 розетки и 100Мбит.
Средний — от 65 000р до 90 000р за стойку 47U и от 3000р до 4000р. за сервер 1U 500Вт 2 розетки и 100Мбит.
Премиум — от 90 000р за стойку 47U и от 4000р за сервер 1U 500Вт 2 розетки и 100Мбит.
При этом надо понимать, что в части розничных цен на размещение серверов деление весьма условно. Дата-центры имеющие все три сертификата Tier III сами розницей не занимаются. И на розничных ценах играет существенную роль фактор скрытых цен. Очень у многих нет всех цен на сайте. Например, указана цена за сервер до 1000Вт, а что будет после 1000Вт вы как в той рекламе “после узнаете”.
Начальный уровень, как правило, характеризуется отсутствием ДГУ. Или ДГУ без автоматического запуска, открытыми стойками или стойками из фольги или короткими стойками, которые не подойдут для Machine learning серверов, отсутствием АВР (автоматического ввода резерва), ИБП отсутствует или совсем не EATON.
Конечно, не всегда, например, у нас дата-центре Тушино цены начального уровня, но ДГУ с автоматическим запуском, а стойки закрытые и глубокие, и АВР есть и даже два ИБП EATON стоят, которые работают с резервом, что одну секцию батарей можно отключить для обслуживания.
Премиальный уровень характеризуется тем, что всё оборудование по высшему разряду, и оно присутствует. См. сравнение Tier II и Tier III. Наличие нескольких независимых подстанций. Резервирование ИБП по схеме 2N против N+1, резервирование ДГУ по схеме 2N+1 против N.
Средний уровень — это те, кто по каким-либо причинам не может пройти сертификацию и имеет неявные недостатки из-за формирования скрытых цен из-за недостатков в резервировании, непрозрачных цен и условий по связи, поддержки и электричеству.
Связь
Связь — как воздух, не почувствуешь пока не испортится. А радость от низкой цены, может длиться сильно короче, чем разочарование от низкого качества.
Про связь ни у кого на сайте почти ничего не сказано. Даже мы тут грешны. На рынке стоимость каналов связи колеблются в разы. Отличаются они видимостью, процентом потерь пакетов, резервированием. Мы проводили детальное исследование, когда выбирали точки обмена трафиком и аплинки — цену нужно приводить к параметрам качества. Гигабитный канал может быть дешевле, а вот трафика в него пролезает непропорционально меньше, чем в другой гигабитный канал.
Например, у нас каналы зарезервированы по схеме 2N + подключение к точке обмена трафиком MSK-IX. Просто канал без резервирования можно дать дешевле.
Поддержка — вне сегментации рынка
Оперативная качественная поддержка в зарубежных ЦОДах стоит диких денег. Если у вас там не куплен какой-нибудь платиновый пакет поддержки, то к вашему серверу могут и на следующие сутки подойти или до понедельника он подождёт. В России пока почему-то не тарифицируют поддержку, и условно все дата-центры можно разделить на те, у которых есть оперативная умная поддержка, и те, у которых её нет. Знаем некоторых конкурентов, которые перепродают услуги дата-центров, при том, что в самих этих дата-центрах у них нет собственной поддержки с круглосуточным присутствием.
Стоимость электричества
Это проблема скрытых цен. Есть те, кто просят от 1 рубля за Вт мощности для блоков питания до 1000Вт, а сверх 1000Вт уже 6000р за 1000Вт. И та и та цена фейковая и компенсируется за счёт стоимости базового тарифа. В нашем исследовании год назад мы показали формулы грубого линейного приближения средних цен по рынку стоимость размещения сервера:
в дата-центре Tier III = 3000 + 6р.*мощность блока питания;
в несертифицированном дата-центре = 2000 + 4р.мощность блока питания.
За счёт капитальных вложений в основные средства и лучшего резервирования стоимость в сертифицированных Tier III ЦОДах выше.
Исключить из формул стоимость аренды юнита не получается. Хотя было бы проще иметь зависимость только от одного параметра. Мы пробовали работать много лет без платы за мощность, но тенденции рынка взяли своё и усреднять клиентов с маломощным оборудованием с “печками” оказалось плохим решением, так как притягивало менее прибыльных для нас клиентов, и отталкивало более прибыльных.
В Москве тариф на электроэнергию порядка 6р за кВт в час. 6р. 720часов = 4320р. за кВт в месяц. Но это себестоимость одного киловатта. На деле же, чтобы оборудование потребляло один киловатт электроэнергии, дата-центру нужно затратить в общей сложности до 1.5кВт. 33% тратится на кондиционеры, которые работают с коэффициентом 1 к 3 — на 1 киловатт потребляемой мощности дают 3 киловатта холода. Ещё 10% тратится на ИБП. Ну и 7% грубо и для ровного счёта освещение, потери на проводах и прочие нужды.
Более или менее честная цена за киловатт в месяц начинается от 10 800р. И дальше уже вопрос кто как тарифицирует. В основном все часть цены включают в абонентскую плату, которая покрывает аренду стойки или юнита и какую-то уже включённую мощность. Но цену в 1 рубль за Вт мощности в конечном итоге нигде получить нельзя, иначе бы там уже все криптовалюту майнили.
По-честному считать электричество невозможно. Счётчик на каждый сервер не поставишь. Но даже если бы можно было тарифицировать по счётчику, то такой тариф бы не работал. В дата-центре надо платить не столько за потребление, сколько за возможность потребить. Когда клиент размещает в дата-центре серверы или арендует серверную стойку, то дата-центр должен зарезервировать под клиента мощности. Клиент может их не выбирать, на серверах может не быть нагрузки или стойка клиента не забита серверами полностью, но резерв на ИБП и ДГУ надо держать, а ИБП и ДГУ должны окупаться.
Электричество как и связь может быть разного качества. Например, многие дают вторую розетку за дополнительные деньги. А дьявол в деталях. Это может быть грязное питание без ИБП и ДГУ или же вовсе не резервный луч, а тот же, что отрубится вместе с основным. Разный уровень резервирования даёт разную стоимость.
Неявные отличия в самих серверных стойках
Как уже было сказано выше телекоммуникационные стойки бывают открытыми. Соответственно, бывают закрытыми, а закрытые запираются на ключ.
Ещё стойки бывают 42 юнита, а бывают 47-48 юнитов. Но и в тех, и в других стойках свободных юнитов может быть меньше из-за:
Первый или последний юнит плохо пригодны для полноценного использования, например, там кабели мешают.
Верхний юнит занят оборудованием провайдера: маршрутизатором, стоечным АВР или ИБП.
В стойке смонтированы 4 блока горизонтальных розеток по 8 портов, которые фактически съели у вас 4 юнита. Блоки розеток PDU (Power Distribution Unit) должны быть вертикального крепления.
Стойки бывают разной глубины. Да, мы тут должны сказать, что у нас для GPU-серверов для машинного обучения стойки глубиной 1200мм, а бывают короче. В менее глубокие стойки многие GPU-серверы просто не поместятся. Меньше пространства — меньше удобства. Глубокие стойки особенно важны для GPU-серверов.
Стоимость застройки дата-центра в расчёте на одну серверную стойку
Если разделить сумму сметы на застройку дата-центра на количество стоек, то получится порядка 1 000 000 рублей на стойку. В реальности, конечно, значение может быть как меньше, так и больше, и зависит от конкретного дата-центра и его оборудования.
Раз в сколько-то лет нужно обновлять часть инфраструктуры, например, аккумуляторы для ИБП со временем требуют полной замены. Объёмы данных постоянно растут, поэтому нужно обновлять и маршрутизаторы.
ДГУ, системы охлаждения требуют регулярного обслуживания.
В зависимости от конкретных затрат и сроков окупаемости получается стоимость ежемесячной аренды стойки.
Конечно, сметы застройки ЦОДа, конкретные расчёты окупаемости — закрытая информация. Но вы можете поинтересоваться и даже приехав на экскурсию посмотреть какое оборудование стоит в дата-центре и сравнить его стоимость для понимания коррелирует ли оно с ценой аренды стойки.
Выводы
Выбирайте дата-центр исходя из стоимости минуты простоя ваших сервисов соотнесённой с разницей стоимости аренды стоек.
Распределяйте резервное оборудование в разных дата-центрах.
Если размещаете оборудование в дата-центре, где нет трёх сертификатов Tier III, то не доверяйте словам про уровень Tier III, убедитесь в наличие и в резервируемости ИБП и ДГУ. Вы удивитесь, но на М9 (“девятке”, Бутлерова 7) стойки сдают без ИБП и ДГУ. Кондиционеры тоже проверьте, а то в жару можно даже с промышленными кондиционерами локальный перегрев получить.
Разбираться нужно не столько в цене предложенных вам услуг, сколько в том, что в эту цену включено и какого качества. Цена услуг для многих наёмных сотрудников имеет не первостепенную роль. Деньги платит их работодатель. Но вот проблемы с качеством услуг — уже головная боль сотрудника.
Всем 100% UPTIME, качественной связи, поддержки, стабильных 23 градусов по Цельсию в холодных коридорах в Новом году!
Дата-центр ITSOFT — размещение и аренда серверов и стоек в двух дата-центрах в Москве. За последние годы UPTIME 100%. Размещение GPU-ферм и ASIC-майнеров, аренда GPU-серверов, лицензии связи, SSL-сертификаты, администрирование серверов и поддержка сайтов.
