Немало споров приходилось мне видеть на тему соотношения цены и качества при аренде выделенных серверов. Приходилось в них и участвовать. В этом посте я попытаюсь разобраться, на чём могут экономить дата-центры, когда такая экономия идёт во благо, а когда во вред. Также я постараюсь не тыкать пальцами в конкретные коммерческие дата-центры (особенно в «плохой» части статьи), т.к. основная цель написания статьи — абстрагированный обзор механизмов снижения затрат. Статья ориентирована не на профессионалов, съевших собаку на обслуживании ЦОД, а скорее на людей, присматривающих себе ДЦ или просто любопытствующих.
Энергопотребление. Множество информации о снижениях операционных расходов дата-центра сводится именно к повышению энергоэффективности. Для её измерения даже введён специальный коэффициент PUE (Power Usage Effectiveness, эффективность использования питания), который определяется как соотношение общего потребления энергии дата-центром к потреблению исключительно серверами и сетевым оборудованием. А помимо них энергия идёт на освещение, охлаждение, теряется за счёт различных преобразований (об этом подробнее чуть ниже).
Вторым после самих серверов пожирателем электроэнергии является система охлаждения. Грамотное охлаждение может дать экономию до 20% на счетах за электричество. Одним из способов экономии может стать использование «бесплатного охлаждения»: холодный воздух, холодная вода и т. п. И даже такая мелочь, как заглушки в неиспользуемых слотах стойки, снижают бесполезный расход энергии, т. к. подающийся для охлаждения оборудования воздух охлаждает именно оборудование, а не проходы между ним.
Правильное размещение. Грамотный и тщательный выбор места для строительства ЦОД может обеспечить экономию сразу по нескольким параметрам.
1. Наличие или близость необходимой инфраструктуры (каналы, помещения, специалисты) позволит снизить начальные и операционные расходы.
2. Стоимость электроэнергии может варьироваться от страны к стране или даже в пределах страны. Например, по данным 2012 года в США стоимость 1 кВт электроэнергии изменялась от 0,062 до 0,25 долларов в зависимости от штата.
![](https://habrastorage.org/r/w1560/storage2/2d6/a7e/1d3/2d6a7e1d36c15ef193d1f82d633f74f4.png)
3. Некоторые места обладают обилием возобновляемых источников энергии либо особенностями климата, позволяющими использовать бесплатное охлаждение в течение большей части или всего года. Например, знаменитый инноватор Google при строительстве дата-центра Hamina в Финляндии использовал сразу два преимущества расположения. Во-первых, температура прибрежных вод на глубине около 10 метров круглый год всего на несколько градусов выше нуля. Во-вторых, помещение старой бумажной фабрики содержало уже готовые трубы для забора/возврата этой воды. Оставалось спроектировать теплообменники и систему возврата, которая бы не нарушала экосистему. Благодаря такой системе бесплатного охлаждения удалось достичь PUE, равного 1,1. Т.е. всего 10% энергии сверх потребления самим серверным оборудованием уходило на охлаждение, освещение и прочие сопутствующие нужды. На фотографии ниже — теплообменник в дата-центре Hamina.
![](https://habrastorage.org/r/w780q1/storage2/ee5/df1/0d1/ee5df10d13d7adfd460d54717f7fe9b8.jpg)
Использование уникальных технических решений. В основном, этот метод могут себе позволить гиганты индустрии. И пока что он используется только для индивидуальных решений, потому приводится исключительно для ознакомления. Обычный пользователь, ищущий обычный выделенный сервер, вряд ли сможет найти какое-либо предложение, позволяющее сэкономить именно за счёт подобных решений.
Пионером и тут стал Google. Будучи оптовым покупателем и имея возможность делать индивидуальные заказы на конфигурацию, он внёс некоторые коррективы. Расчёты показали, что экономнее подавать на материнскую плату только 12 вольт и уже внутренними средствами преобразовывать их в остальные необходимые напряжения. Для сравнения, в стандартном варианте используется подача 3,3, 5 и 12 вольт с блока питания. Кроме того, использование лишь одного входного напряжения дало возможность устанавливать прямо в операционную ноду небольшой аккумулятор-бесперебойник. Его ёмкости хватает для питания ноды в течение примерно 3 минут, что позволяет либо корректно завершить работу ноды, либо дождаться включения локального резервного генератора. А заодно позволяет избавиться от расходов и потерь, сопряжённых с использованием централизованного UPS. Если кто не знает или просто не задумывался об этом аспекте, централизованный бесперебойник порождает потери за счёт преобразования переменного тока в постоянный и обратно. Выглядит такой рационализированный сервер вот так:
![](https://habrastorage.org/r/w780q1/storage2/750/ed9/443/750ed944399ecd718a316a326af4b925.jpg)
Ещё один пример индивидуального решения, которое позволило сэкономить на стоимости оборудования, — сервис Backblaze, создавший свой сервис хранения на базе обычного пользовательского оборудования. В целом, это не метод. Но из-за специфики задач, он имеет право на жизнь. Они взяли обычную материнку с Core 2 процессором и 4 Гб оперативки, наставили дополнительных SATA модулей, ветвителей и заполнили пространство таким количеством обычных жёстких дисков максимально доступной на рынке ёмкости, которое удавалось вместить, подключить и охлаждать. Добавим сюда правильно организованный RAID, немного своих наработок, и получится сервис, способный решать поставленную задачу — вместить и хранить много информации, иногда предоставляя к ней доступ при необходимости. Об этом сервисе уже неоднократно писали на хабре, потому добавлю лишь, что стойка с такими самосборными серверами способна хранить около 750 Тб информации.
Специалисты HP разработали техническое решение, позволяющее существенно сэкономить на построении и управлении дата-центром без ущерба качеству. Их решение HP POD 240a (также известное как EcoPOD) позволяет построить дата-центр класса Tier 3 и, по заявлениям производителя, при создании и эксплуатации:
![](https://habrastorage.org/r/w1560/storage2/31f/185/efd/31f185efdf85eb1f012311d4c055170b.png)
Благодаря технологии адаптивного охлаждения удаётся достичь PUE в пределах от 1,05 до 1,30 в зависимости от температуры окружающего воздуха. При температурах от 14 до 28 С используется «бесплатное» охлаждение.
Некоторые способы экономии приводят к появлению услуг сомнительного качества. Но существуют задачи, для которых и такие услуги имеют право на жизнь. Чаще всего, к таким задачам относятся образовательные (поиграться-поэкспериментировать), тестовые (погонять потенциально кривой и не отлаженный код) и резервирование (сервер под бэкапы, вторичный DNS и т.п.). Итак, благодаря чемуможет хотеться жечь и убивать можно ещё сэкономить дата-центрам.
Железо. Если дата-центр уже далеко не первый год предоставляет услуги аренды выделенных серверов, у него вполне может завалятьсявозле мусорки некоторое количество античных серверов на базе какого-нибудь жгучего одноядерного Pentium 4 или AMD Athlon с 512 Мб оперативки и по счастливой случайности ещё не обсыпавшимся винтом на 80 Гб. Долго ли ещё всё это проживёт — не знает никто, потому иначе как для поиграться такие решения выбирать не стоит. Ещё один вариант — использования для серверных нужд дешёвого железа домашне-офисного уровня, которому будет тяжело справляться с нагрузками, производимыми сервером.
![](https://habrastorage.org/r/w780q1/storage2/69c/499/07f/69c49907f730e4333ba366bd660d608e.jpg)
Подключения. В одной статье американского авторства упоминалось, что одтного подключения на 10 Гбит/с достаточно для подключения более 1000 единиц оборудования к сети. Если какой-то народный делок прислушается к этому мнению, имеем шанс получить ситуацию, при которой сеть будет работать, мягко говоря, крайне медленно.
Набор услуг. Тут спектр фантазии весьма широк. Это может быть, например, смесь набора полезных возможностей с одной бесполезной: достаточно памяти и винтов, но процессор — тот же одноядерный Pentium. Или нормальные процессор и память, но всего один винчестер. И канал в 1 Мбит/с. Конечно же, можно и винт ещё один доставить, и RAID поднять, и канал до 100 Мбит/с расширить, но от дешевизны в итоге ничего не останется. Или неплохое железо, канал 100 Мбит/с без учёта трафика, но только на первые совсем немного Гб. А дальше ширину канала порежут до глубокой печали.
Поддержка. Это то, что отличает хороший сервис от плохого. В дешёвых вариантах у Вас может проступить седина, пока Вы дождётесь ответа на тикет, т.к. ответа можно ждать несколько дней. При этом высока вероятность получить ответ сухой и бесполезный. Если у Вас откажет железо, это ещё придётся доказывать. На советы по проблемам, не связанным с железом, можно даже не надеяться. А если у Вас 5 часов сервер был недоступен, через два дня Вам гордо заявят, что в данный момент проблем не наблюдается, и даже предложат что-нибудь проверить.
![](https://habrastorage.org/r/w780q1/storage2/1c6/9f4/ca0/1c69f4ca02f0bb76ad5d9a83c63dee21.jpg)
Инфраструктура. Не все дата-центры размещаются в специально оборудованных помещениях и обладают десятками подключений с суммарной шириной в сотни гигабит. Ничто не мешает некоторым компаниям разместить обычные десктопные системники на стеллажах в хорошо проветриваемомкоровнике просторном помещении и завести туда пару линков, не выдерживающих даже лёгкий DDoS.
![](https://habrastorage.org/r/w780q1/storage2/a0e/c79/a5d/a0ec79a5d4a4f3bf47602f2b4203d1fe.jpg)
Если в ДЦ есть веб-камера, позволяющая заглянуть внутрь гермозоны, обязательно воспользуйтесь такой возможностью. Увиденное иногда может спасти Вас от серьёзных проблем в будущем. Думаю, многие ещё помнят пожар в одном из ДЦ с тысячами пострадавших. Кстати, та ситуация научила меня ежедневно бэкапиться на сервер в какой-нибудь другой стране.
Каждый сам выбирает себе сервер по возможностям и потребностям. Гипотетически мы могли бы продавать конфигурации, начиная с AMD Athlon 64 3000+ / 512MB / 1x160GB. Но решили для себя, что будем заниматься только пригодными для использования серверами (подразумевая коммерческое «боевое» использование). А вам советуем, выбирая недорогой дата-центр, уточнить, благодаря чему им удаётся экономить. И желаем не ошибиться в выборе.
На чём можно и нужно экономить
Энергопотребление. Множество информации о снижениях операционных расходов дата-центра сводится именно к повышению энергоэффективности. Для её измерения даже введён специальный коэффициент PUE (Power Usage Effectiveness, эффективность использования питания), который определяется как соотношение общего потребления энергии дата-центром к потреблению исключительно серверами и сетевым оборудованием. А помимо них энергия идёт на освещение, охлаждение, теряется за счёт различных преобразований (об этом подробнее чуть ниже).
Вторым после самих серверов пожирателем электроэнергии является система охлаждения. Грамотное охлаждение может дать экономию до 20% на счетах за электричество. Одним из способов экономии может стать использование «бесплатного охлаждения»: холодный воздух, холодная вода и т. п. И даже такая мелочь, как заглушки в неиспользуемых слотах стойки, снижают бесполезный расход энергии, т. к. подающийся для охлаждения оборудования воздух охлаждает именно оборудование, а не проходы между ним.
Правильное размещение. Грамотный и тщательный выбор места для строительства ЦОД может обеспечить экономию сразу по нескольким параметрам.
1. Наличие или близость необходимой инфраструктуры (каналы, помещения, специалисты) позволит снизить начальные и операционные расходы.
2. Стоимость электроэнергии может варьироваться от страны к стране или даже в пределах страны. Например, по данным 2012 года в США стоимость 1 кВт электроэнергии изменялась от 0,062 до 0,25 долларов в зависимости от штата.
![](https://habrastorage.org/storage2/2d6/a7e/1d3/2d6a7e1d36c15ef193d1f82d633f74f4.png)
3. Некоторые места обладают обилием возобновляемых источников энергии либо особенностями климата, позволяющими использовать бесплатное охлаждение в течение большей части или всего года. Например, знаменитый инноватор Google при строительстве дата-центра Hamina в Финляндии использовал сразу два преимущества расположения. Во-первых, температура прибрежных вод на глубине около 10 метров круглый год всего на несколько градусов выше нуля. Во-вторых, помещение старой бумажной фабрики содержало уже готовые трубы для забора/возврата этой воды. Оставалось спроектировать теплообменники и систему возврата, которая бы не нарушала экосистему. Благодаря такой системе бесплатного охлаждения удалось достичь PUE, равного 1,1. Т.е. всего 10% энергии сверх потребления самим серверным оборудованием уходило на охлаждение, освещение и прочие сопутствующие нужды. На фотографии ниже — теплообменник в дата-центре Hamina.
![](https://habrastorage.org/storage2/ee5/df1/0d1/ee5df10d13d7adfd460d54717f7fe9b8.jpg)
Использование уникальных технических решений. В основном, этот метод могут себе позволить гиганты индустрии. И пока что он используется только для индивидуальных решений, потому приводится исключительно для ознакомления. Обычный пользователь, ищущий обычный выделенный сервер, вряд ли сможет найти какое-либо предложение, позволяющее сэкономить именно за счёт подобных решений.
Пионером и тут стал Google. Будучи оптовым покупателем и имея возможность делать индивидуальные заказы на конфигурацию, он внёс некоторые коррективы. Расчёты показали, что экономнее подавать на материнскую плату только 12 вольт и уже внутренними средствами преобразовывать их в остальные необходимые напряжения. Для сравнения, в стандартном варианте используется подача 3,3, 5 и 12 вольт с блока питания. Кроме того, использование лишь одного входного напряжения дало возможность устанавливать прямо в операционную ноду небольшой аккумулятор-бесперебойник. Его ёмкости хватает для питания ноды в течение примерно 3 минут, что позволяет либо корректно завершить работу ноды, либо дождаться включения локального резервного генератора. А заодно позволяет избавиться от расходов и потерь, сопряжённых с использованием централизованного UPS. Если кто не знает или просто не задумывался об этом аспекте, централизованный бесперебойник порождает потери за счёт преобразования переменного тока в постоянный и обратно. Выглядит такой рационализированный сервер вот так:
![](https://habrastorage.org/storage2/750/ed9/443/750ed944399ecd718a316a326af4b925.jpg)
Ещё один пример индивидуального решения, которое позволило сэкономить на стоимости оборудования, — сервис Backblaze, создавший свой сервис хранения на базе обычного пользовательского оборудования. В целом, это не метод. Но из-за специфики задач, он имеет право на жизнь. Они взяли обычную материнку с Core 2 процессором и 4 Гб оперативки, наставили дополнительных SATA модулей, ветвителей и заполнили пространство таким количеством обычных жёстких дисков максимально доступной на рынке ёмкости, которое удавалось вместить, подключить и охлаждать. Добавим сюда правильно организованный RAID, немного своих наработок, и получится сервис, способный решать поставленную задачу — вместить и хранить много информации, иногда предоставляя к ней доступ при необходимости. Об этом сервисе уже неоднократно писали на хабре, потому добавлю лишь, что стойка с такими самосборными серверами способна хранить около 750 Тб информации.
Специалисты HP разработали техническое решение, позволяющее существенно сэкономить на построении и управлении дата-центром без ущерба качеству. Их решение HP POD 240a (также известное как EcoPOD) позволяет построить дата-центр класса Tier 3 и, по заявлениям производителя, при создании и эксплуатации:
- сократить стоимость создания примерно в 4 раза;
- сократить сроки создания до 8 раз;
- разместить примерно в 10 раз больше оборудования, чем классический ДЦ аналогичной площади;
- сократить расходы на охлаждение до 25 раз.
![](https://habrastorage.org/storage2/31f/185/efd/31f185efdf85eb1f012311d4c055170b.png)
Благодаря технологии адаптивного охлаждения удаётся достичь PUE в пределах от 1,05 до 1,30 в зависимости от температуры окружающего воздуха. При температурах от 14 до 28 С используется «бесплатное» охлаждение.
На чём экономить не стоило бы...
Некоторые способы экономии приводят к появлению услуг сомнительного качества. Но существуют задачи, для которых и такие услуги имеют право на жизнь. Чаще всего, к таким задачам относятся образовательные (поиграться-поэкспериментировать), тестовые (погонять потенциально кривой и не отлаженный код) и резервирование (сервер под бэкапы, вторичный DNS и т.п.). Итак, благодаря чему
Железо. Если дата-центр уже далеко не первый год предоставляет услуги аренды выделенных серверов, у него вполне может заваляться
![](https://habrastorage.org/storage2/69c/499/07f/69c49907f730e4333ba366bd660d608e.jpg)
Подключения. В одной статье американского авторства упоминалось, что одтного подключения на 10 Гбит/с достаточно для подключения более 1000 единиц оборудования к сети. Если какой-то народный делок прислушается к этому мнению, имеем шанс получить ситуацию, при которой сеть будет работать, мягко говоря, крайне медленно.
Набор услуг. Тут спектр фантазии весьма широк. Это может быть, например, смесь набора полезных возможностей с одной бесполезной: достаточно памяти и винтов, но процессор — тот же одноядерный Pentium. Или нормальные процессор и память, но всего один винчестер. И канал в 1 Мбит/с. Конечно же, можно и винт ещё один доставить, и RAID поднять, и канал до 100 Мбит/с расширить, но от дешевизны в итоге ничего не останется. Или неплохое железо, канал 100 Мбит/с без учёта трафика, но только на первые совсем немного Гб. А дальше ширину канала порежут до глубокой печали.
Поддержка. Это то, что отличает хороший сервис от плохого. В дешёвых вариантах у Вас может проступить седина, пока Вы дождётесь ответа на тикет, т.к. ответа можно ждать несколько дней. При этом высока вероятность получить ответ сухой и бесполезный. Если у Вас откажет железо, это ещё придётся доказывать. На советы по проблемам, не связанным с железом, можно даже не надеяться. А если у Вас 5 часов сервер был недоступен, через два дня Вам гордо заявят, что в данный момент проблем не наблюдается, и даже предложат что-нибудь проверить.
![](https://habrastorage.org/storage2/1c6/9f4/ca0/1c69f4ca02f0bb76ad5d9a83c63dee21.jpg)
Инфраструктура. Не все дата-центры размещаются в специально оборудованных помещениях и обладают десятками подключений с суммарной шириной в сотни гигабит. Ничто не мешает некоторым компаниям разместить обычные десктопные системники на стеллажах в хорошо проветриваемом
![](https://habrastorage.org/storage2/a0e/c79/a5d/a0ec79a5d4a4f3bf47602f2b4203d1fe.jpg)
Если в ДЦ есть веб-камера, позволяющая заглянуть внутрь гермозоны, обязательно воспользуйтесь такой возможностью. Увиденное иногда может спасти Вас от серьёзных проблем в будущем. Думаю, многие ещё помнят пожар в одном из ДЦ с тысячами пострадавших. Кстати, та ситуация научила меня ежедневно бэкапиться на сервер в какой-нибудь другой стране.
И в заключение
Каждый сам выбирает себе сервер по возможностям и потребностям. Гипотетически мы могли бы продавать конфигурации, начиная с AMD Athlon 64 3000+ / 512MB / 1x160GB. Но решили для себя, что будем заниматься только пригодными для использования серверами (подразумевая коммерческое «боевое» использование). А вам советуем, выбирая недорогой дата-центр, уточнить, благодаря чему им удаётся экономить. И желаем не ошибиться в выборе.