Как стать автором
Обновить

Комментарии 156

«Вернулись к софтверному рейду» — вот и вывод из всей статьи.
На hetzner мне 2 раза при сетапе устанавливали годовалые диски. После вежливого обращения в саппорт — меняют без вопросов. От железного контроллера отказался после 5-минутного гуглежа.
Может надо нам немецкий подучить? На вежливом английском не помогло. Поделитесь, пожалуйста, Вашим секретом убеждения?

7200.11 вообще не сильно первой свежести винты
А новые может не ставят так как цены на них сильно выросли.
Мы им предложили потом доплатить. Там такой опции как новый диск с нуля просто нет.
Может это их ноу-хау такое?
Кривая отказов, в начале эксплуатации оборудовании такая же интенсивная как и на участке большого износа.
Может по этому, они против установки совсем новых дисков тогда, когда есть уже хорошо проверенные не новые?
Так это же 7200.11! купил похожий диск как-то. Полетел. оказалось, что, если его не перепрошить, то накроется. Только потом увидел кучу отрицательных отзывов.
Наверное они тоже их читают, а может даже и пишут.
Кажется аренда реального железа уже очень скоро должна стать историей. Приложения должны проектироваться с учетом облачных возможностей. И всем будет счастье ;-)
все так, но после беглого взгляда, например, на производительность облачного I/O откладываешь приход счастья до появления заоблачных финансовых возможностей, не говоря уж о затратах на проектирование облачных приложений
«Облачные возможности» — очередной buzzworld.
До хетцнеровского показателя цена/производительность облачным провайдерам как до Китая раком.
Если так нужно облако — при желании на хетцнере можно свое облако сделать, будет в несколько раз дешевле.
сколько вам будет стоить поднять резиновое хранилище, отказоустойчивую очередь сообщений, отказоустойчивое хранилище ключ-значение, оптимизировать свои мощности под текущую нагрузку?
Отказоустойчивое — такое же как Amazon Cloud, отказ которого положил столько сайтов?

Сколько будет стоить настроить DRBD + Failover IP?

Резиновое хранилище — сколько будет стоить настроить + нужное количество hetzner XS 29?
1. Если вы о том, что я думаю, то прилег канал к одному из ДЦ. Если вы не используете несколько ДЦ Амазона, то кто виноват?
2. Про цену — я имел также в виду и человеческий ресурс.
3. Как именно настроить? Вы представляете себе сложность создания хранилища на несколько сотен петабайт?
4. CDN вы тоже свой будете мастерить?

В тотале, проект должен быть очень крупным, чтобы имел смысл данные сервисы переизобретать.
1. Виноват провайдер «отказоустойчового сервиса», который не обеспечил отказоустойчивость.

2. КО?

3. Во-вторых, несколько сотен петабайт в любом случае дешевле держать НЕ в облаке.
Во-вторых, вы наверно не понимаете, что key-value хранилища прекрасно масштабируются, там все разносится на много серверов без особых проблем.

4. CDN — это вообще из другой оперы, при необходимости покупается отдельно у какого-нибудь Akamai.
1. Виноват клиент, который не учел риски, и, таки, не воспользовался предложенной отказоустойчивостью. Какой бы не был ДЦ — это Point Of Failure. Те сайты, которые лежали, просто не имели достаточного запаса прочности. Что вы будете делать, если ДЦ Hetzner будет недоступен?
2. — 3. Прекрасно, это когда в процессе ребалансинга (если такое вообще предусмотренно) на других уровнях абстракций случаются таймауты? Прекрасно, это когда бы конкурентно перетерли один и тот же ключ в недерминированное состояние?
4. Сколько вы таких отдельных контрагентов будете иметь? Вы точно считаете, что ваши объёмы будут интересны Akamai?

Облако для нас дейстительно позволило на самом деле сосредоточиться на решаемой прикладной задаче.
1. Вы понимаете, что слово «отказоустойчивость» здесь получается лишним? Потому что нам самим приходится об этим заботиться, как и в случае с выделенными серверами.

2-3. Это не такой rocket science, какой вы с помощью умных слов пытаетесь представить («другие уровни абстракции» у key-value хранилища, ага). Создаются тесты и выбирается подходящий nosql-сервер.
Хотя если есть дяденька-инвестор, которому пофиг сколько миллионов потратится, тогда конечно, лучше уж «сосредоточиться».

4. Во-первых, CDN вы приплели ни к селу, ни к городу. Это штука совсем из другой области.
Во-вторых, не нужно несколько контрагентов. Покупается CDN-сервис у одного провайдера — с кем договоритесь (их несколько есть, под разные нужды).
НЛО прилетело и опубликовало эту надпись здесь
В последнем предложении тег отрезался.
Резиновое хранилище — сколько будет стоить настроить nosql сервер на ваш выбор + нужное количество hetzner XS 29?
какой сервер, под какой характер нагрузки, транзакции есть или нет, средний размер файлов какой, требуется ли раздача сверхбольших файлов, что по поводу прав доступа, какой регламент на нештатные ситуации, сколько людей нужно держать 24/7 чтобы это чудо не падало слишком часто и на долго?
Эти вопросы вы сами себе задавайте, мне ваш проект неинтересен.
Настройка key-value хранилищ — не такое дорогое дело по сравнению с ценами на «облачные хранилища» (+ их цены на трафик).
Лично я давно пришел к выводу, что если речь идет о линуксе, то никаких аппаратных рейдов не надо, даже если они под рукой. mdadm работает очевиднее, быстрее и надежнее. После сбоя его можно без проблем собрать, если собрать возможно в принципе, все понятно и предсказуемо.
Минус только в отсутствии флешпамяти с батарейкой, но во первых в аппаратных это тоже не везде есть, во-вторых для 95% задач обеспечение целостности кэша не критично. UPS в данном случае решает большую часть нештатных ситуаций.

Что касается Hetzner, у меня только один вопрос, почему вы все еще там?
Исторически так сложилось. В 2008-м другие времена были. Надо собраться с силами и уйти. После вот этого инцидента решение принято. Вопрос времени и денег.

У Hetzner нет батарейки в рейде, так что считайте, что деньги ушли на ветер.
А есть примеры такого же соотношения мощность/стоимость?
зависит от потребностей. если у вас единичные сервера, то выбор небольшой, да и смысла выбирать особенно нет.
если речь о хотя бы стойке, то тут уже есть пространство для маневра и по типу размещения и по цене и по прочим условиям.
Мне нравится работать с ними. Арендую там не один сервер как юр.лицо. Очень хорошая ТП. п.с. не реклама
арендую xeon 3.2 16gb ddr3 ecc 3TB — 1000 uah — 120$
А вы где?
на текущем уровне развития мы предпочитаем colo, постепенно движемся в сторону своего DC.
Лично я давно пришел к выводу, что если речь идет о линуксе, то никаких аппаратных рейдов не надо

Ну конечно. И оверхеда mdadm не дает (особенно, на крупных массивах со сложной конфигурацией), и BBU в аппаратном рейде — это лишнее, и SAS-диски вы, поди, в SATA-контроллер лихо заталкиваете. По-моему, люди, уверенно заявляющие о ненужности аппаратных рейдов ничего сложнее RAID1 (в крайнем случае RAID10) из маленькой кучки SATA-дисков не видели.
> оверхеда mdadm не дает

на raid0, raid1, raid10 оверхед не ощущается. что-то расходуется, но очень мало.

на raid5, raid6 нагрузка в разумных пределах. на нынешних процессорах опять же практически не ощущается, хотя на топе уже заметна.

про sas диски я не понял к чему было сказано, вещи не связанные.

> По-моему, люди, уверенно заявляющие о ненужности аппаратных рейдов ничего сложнее RAID1
> (в крайнем случае RAID10) из маленькой кучки SATA-дисков не видели.

Это завышенное ЧСВ говорит, не более того.
про sas диски я не понял к чему было сказано, вещи не связанные.

Элементарно же. Выше написано, дескать, раз у вас линукс, вам пофигу мороз, mdadm в помощь и всё такое прочее. В случае с SAS-дисками что будут делать такие пациенты? В сата-контроллер их пихать?

Это завышенное ЧСВ говорит, не более того.

Завышенное ЧСВ говорит о ненужности железного RAID'a как класса? Вполне вероятно. Просто лично я считаю, что для решения каждой задачи есть определенный оптимально подходящий инструмент. Зеркало или десятку без особых требований собрать на тех же саташках — mdadm хватит за глаза. Но для той же шестерки, еще и, к примеру, с выносом дополнительного кэша на SSD, и повышенными требованиями к сохранности данных, железный контроллер — единственное верное решение.
Вчера воткнул новые SAS диски в SAS Hot-Swap на сервере.
Работает mdadm, железного raid нет.
ЧЯДНТ?
Далеко не в каждую серверную материну можно воткнуть SAS-диски. И если это получилось, значит соответствующий контроллер есть на плате. А то, что у вас оно в mdadm завернуто — это никто не запрещает же.
Для этих целей есть SAS backplane на hotswap.
RAID там нет в помине.
я и не говорил нигде, что использование SAS всегда подразумевает наличие аппаратного рейда. Вы внимательно читали? Там написано, что использование SAS на сата-контроллере, коими частенько комплектуются недорогие серверы (а в контексте поста разговор может только о таких и идти), как бы нонсенс.
Некорректное сравнение. Вы покупаете не в фирменном салоне машину, а в частном гараже. В этом случае все естественно и логично.
Хецнер это дешевый хостинг, с соответствующими нормами. Если вы хотите «чтобы муха не сидела» и «чтоб все чика-чика», надо покупать в соответствующем месте, и не требовать от бюджетных хостеров услуг как у «премиум».
НЛО прилетело и опубликовало эту надпись здесь
Точнее в лизинг.
НЛО прилетело и опубликовало эту надпись здесь
Автопроизводители тоже разные бывают. Вот немецкие раньше славились. И Hetzner тоже.

Даже если я покупаю Renault а не BWM, всё равно главное чтобы тормоза работали. Без подогрева седушек можно обойтись. Без тормозов — только для камикадзе.

Есть удобства, а есть надёжность. Первое — это примиум, второе — должно быть всегда. В хостинге в том числе.

Об этом и написалось в суппорт, то они на нас положили болт. Я понимаю, что диски подорожали, можно цены поднять, но планку опускать не надо ведь, согласитесь.
Вы хотели диск — вам дали диск. Вы захотели чтобы диск был обязательно новый.
Ну что они, пойдут ради вас искать специально новый диск? У них тысяча компов и несколько тысяч клиентов при нескольких десятках персонала. У них цены не такие, за которые за вами будет закреплен специальный сисадмин для услуг и капризов.
Хотите, чтобы у вас было «все по высшему разряду» — покупайте у соответствуюих хостеров. Потому что у Хетцнера цены не позволяют ему еще и «индивидуальный подход». Просто тупо нет на это денег, потому что цены низкие.
Не надо на это обижаться, вы же сами выбрали его из-за цены.
Вам шашечки или есть? Какая разница насколько старый диск. Работает и ладно. У меня диски на наработкой по несколько лет и что? Слетит — поменяю на новый, зачем raid тогда придумали? Они ж бесплатно сбойный диск меняют, даунтайма нет при этом, так что вы вообще ничего не теряете.

Другое дело, если бы вы купили в магазине диск вроде как новый, а вам старьё подсунули.
Статистика говорит, что между возрастом диска и его life expectancy — негативная корреляция.
А где эти фирменные салоны?
1und1.de — держу тут, серверное железо (а не бытовуха), настоящие аппаратные рейды, а не lsi, и прочие плюшки. да, в полтора раза дороже, чем hentzer. но не за возух.
Как только с ними работали? На сколько стабильно, как быстр техсупорт? И понимают они по английский (на русский надеется не приходится, как я понимаю)?
работаем уже лет пять где-то с ними. стабильно, всё автоматизировано, вплоть до замены жестких дисков роботом.
техсуппорт есть двух видов — managed сервера они рулят почти моментально, root сервера «всё ваше».
ночной саппорт может только несколько нажимов совершить, дневной грамотный, могут помочь разобраться с проблемой.
проблем с их стороны помню только одну, когда сервер ушел в ребут и не восстанавливался — диск в рейде один полетел. ночной был не в силах помочь, просто не имея прав. в 8 утра немецкого появился дневной суппорт, и проблему решили.
Спасибо за наводку, любопытный вариант который обязательно попробую.

Уточню еще пожалуй только два аспекта:
1) проекты которые там хостятся работают с западной или российской аудиторией (т.е. вопрос к скорости канала до них из России, вот hentzer-ом в этом плане я доволен);
2) общаются ли они на русском или английском? Или все (вплоть до панели) на немецком?
1) Западной. Есть и с русской — у хенцера вроде сеть ближе к РФ чем у 1&1, пинг до 1&1 из новосиба около 150ms, из москвы — 55ms

2) английский понимают и отвечают на английском, но вся панель — на немецком.
проблем впрочем мне не доставляет — хотя я немецкого не знаю.
Я так понимаю там надо из цен еще VAT вычитать? Вы берете там напрямую или через реселлеров?
к сожалению, именно .de оплачивать может только немецкий резидент, поэтому оплачиваю я через друга в германии.
Сравнение конечно некорректное, впрочем как и ваше.

Ошибка в том, что вы считатете диски критичным компонентом.

Диски — это расходный компонент. Выход диска из строя — обычное штатное событие.

Это все равно что бампер. Если вы берете в аренду автомобиль, то вполне нормально что бампер может быть восстановлен после ДТП.

Автор пишет как они восстанавливали данные из бекапов. Не из бекапов надо данные брать в этом случае, а со слейвов. И слейвы должны быть в любом нормально проекте.

Кстати, Raid1 решает проблему в большинтсве случаев, потому что одновременно два диска обычно не фейлят.
Если хетцнеру показываешь лог файл со сбоем диска — они меняют его без проблем. Причем там так все автоматизировано, вплоть до того, что время замены указываешь в UI.
Бить бампера слишком часто, — знаете, неудобства. Надо на СТО ехать, простой…

Чем дольше диски живут — тем лучше.

RAID c hot spare — немножко решает эту проблему, но до определённого уровня и за определённую цену.
Да, уже достаточно долго всплывают разные проблемы на hetzner — на нескольких vds в течении пары недель постоянно система переходила в read-only, естественно сайты падали, помогал reboot, потом вроде стало получше, но изредка случается снова. Недавно сервер вообще на день упал, с короткими моментами прояснения — проверили логи, конечно же снова виноват HDD, написали в саппорт — они предложили мигрировать на другой vHost.

А как все было радужно, hetzner хвалили постоянно — надежно, недорого, качественно, и вдруг такие массовые проблемы. Но все равно, надеюсь они одумаются и всерьез займутся делами — хостер то хороший.
Их отношение к релокейтам меня еще год назад поразило. Но собирая софтверный RAID1 я особо не парился.
У меня тоже были проблемы с Hetzner и их саппортом.
Сервер подвисал без объективных на то причин, хардвер тест ничего ужасного не выявил, саппорт посоветовал перейти на более дорогой тариф. Напомню, что апгрейд тарифа у хетцнера ничем не отличается от переезда на другой сервер. Ок, переехал, проблемы оставались, заплатил специалисту-оптимизатору, сайты стали работать почти в 5 раз шустрее, нагрузки на сервер были минимальными. Саппорт посоветовал еще раз проапгрейдить тариф, переехал, проблемы не исчезли. Так как дороже VPS тарифов у них не было, саппорт написал:

Hello,
I recently watched the recorded data from our monitor system. I found a high I/O
usage at the physical host on 22.07.2011. Perhaps this was the cause your server
hung. We are trying to prevent such situations in the future, but currently our
used kernel does not allow an I/O limitation on the physical host.

В итоге вернулся обратно на любимый линод — да он подороже, но его один раз включил и забыл. Кстати, линодовцы не скрывают на сколько виртуалок они делят один физический сервер, в отличии от других хостеров.
В топике же про дедики говорят, а не про VPS. Это совсем другое.
Добро пожаловать в клуб. Все похожим образом покрашилось у хецнера, в итоге собрали сервачок у лизвеба. Хецнер хорош для того, чтобы держать там проекты, которые из SVN разворачиваются за 5 минут и особо нечего терять. Ну или сервер майнкрафта держать для компании. Дешево и сердито.
Про альтернативы — скажите требования какие и важна ли страна. Приоритеты расставьте. Большой диск, дешевый/анлим трафик, мощный проц. Ну и верхнюю планку бюджета.
Страна нужна, — Западная Европа. Нужно много памяти, базы у нас большие. Диск можно и маленький, мы с 1.5 ТБ на Hetzner используем может 10%. Остальное — впустую вертится. Трафик важен: 10ТБ в месяц в пакете нас устраивает, плюс возможность докупить. Проц — всегда бонус, но не самое критичное. Бюджет, около 100 у.е. за машину в месяц. Суппорт 24 х 7, желательно с улыбкой, — а не «чё надо?».

Память штука дорогая. Ну вот cp.inferno.name/cart.php?gid=1 Можете посмотреть акционные сервера. С людьми работал, поддержка хорошая, проблем с серверами не было. С душой.
www.chociz.com/dedicated100.html — вот тут за 60 евро 8 ГБ памяти.
Вариант burst.net в англии, но они нестабильные. Зато дешевые.
> вот тут за 60 евро 8 ГБ памяти

При том, что на хетзнере за 50 евро 32 гигабайта. Мда, альтернативочка.
Арендую сервер у fornex.com (реселлер www.first-colo.net). Цены немного выше, но в целом очень неплохие. За год (почти) использование проблем не было.
Был проект на лизвебе. В какой-то момент все виртуалки на сервере пререстали отвечать. Написал в суппорт, через день ответили, что аккаунт заблокирован потому что abusing other users, потом ещё несколько дней я пытался выяснить что именно абьюзит других юзеров, так лизвеб ничего конкретного не сказал, свалил на хецнер :)
У нас сервак в Hetzner (EQ4). Больше 1,5 лет проработал нормально, потом начал расти Load Average, постепенно дорос нереальных значений.

Мои админы предположили что дело в диске (2 диска на софтверном рейде), понаблюдали за системой, но конкретных логов добыть не смогли. Нагрузка на оба диска была одинаковой, рейд в порядке. А без логов Hetzner диски не меняют.

В Hetzner предложили взять сервер на диагностику всего железа, но это значит минимум 10 часов всё в отключке, и с непонятным результатом. Нас такой вариант не устроил — решили взять новый сервер.

Взяли более свежий — EX4 (что бы не подсунули чего-то старого). Перенос правда затянулся, но на новом сервере все ок. И со старого нагрузка исчезла, скоро сдам его обратно в Hetzner. Предупрежу что бы проверили всё…

Из сейчас интереса посмотрел что выдает на обоих серверах по smartctl. На момент установки диски были абсолютно новые — так что это вам не повезло.
Ситуация один-в-один. Но есть подозрение, что виноваты мы сами. В моем случае проблемной была одна из баз данных.
НЛО прилетело и опубликовало эту надпись здесь
Да, у нас диски полетели на EQ6. Значит попробуем поменять как-то. Спасибо за идею.
У нас сервак в Hetzner (EQ4). Больше 1,5 лет проработал нормально, потом начал расти Load Average, постепенно дорос нереальных значений.

Нечто подобное и у нас, тоже EQ4. Хотя на жёсткие диски, несмотря даже не некоторое количество Reallocated_Sector_Ct в SMART у обоих, грешить хотелось бы в самую последнюю очередь.
Никакой RAID не используем принципиально. Удвоенный объём дискового пространства и своевременный бэкап (на соседний диск или вовсе на другой сервер) намного важнее и эффективнее на мой взгляд, чем сношаться с рейдами.
Есть предположение, что сетевой интерфейс в каких-то случаях спрыгивает в half-duplex, из-за чего возникают престранные тормоза с откликом. Проверить можно через ethtool (пакет ethtool в Debian) или mii-tool (пакет net-tools в Debian). Может ещё какую-то роль играет сочетание чипсета Intel X58 на материнских платах MSI, которые Hetzner повально использует в EQ4, и/или же поддержка ACPI в Linux ядре.
На новых конфигах с Sandy Bridge вроде бы всё в порядке.
Это еще ничего. Keyweb.de мне «менял» диск… на тот же самый.
по серийнику проверяли?
Сначала обнаружил, что ребилд застопорился аккурат на том же месте, что и раньше, потом посмотрел серийник, ага. :)
keyweb — вообще фееричный хостинг. Их панелька поражает своим отсутствием. Несчастный ресет зависшему серверу саппорт мог делать по полтора дня.
А чего стоит платный ресетап! (При отсутствии, разумеется, нормальных способов, таких как сетап из панельки или rescue dhcp boot).
НЛО прилетело и опубликовало эту надпись здесь
Господа. Чего вы от них хотите? В EQ были диски, которые уже год как не выпускаются в принципе. Запасы у них были, но не бесконечные. Берите EX сервера, там новые диски, запас которых упакованных еще есть.
Диски действительно пихают в тестилку и если она говорит, что все ок — то их пускают обратно. Тестилка нередко ошибается. Берите и отстреливайте диски через /proc, потом показывйте dmesg c выпавшим диском.
Ну как маленькие)

Мы на работе сейчас тоже мучаемся с тем, что старых неюзанных дисков нет — приходится. Ставить диски бОльших размеров.
Берите и отстреливайте диски через /proc, потом показывйте dmesg c выпавшим диском.
можно чуточку подробней для ламера?
echo 1 > /sys/block/sda/device/delete
И куда-нибудь в стартовые скрипты (только не в rc.local). Ну и можно придумать сообщение, которое будет «писаться» в dmesg и показать его им. А дальше —
ls /dev/sd*
uptime
cat /proc/mdstat
cat /proc/disks

Я так на днях 2 тормозящих диска в двух железках поменял на относительно шустрые. Главное, часто не пользуйтесь.
Чего-то какую-то пургу товарищ гонит про /proc.
Перед началом использования лучше всего прогнать extended тест через SMART:
smartctl --test=long /dev/sda (Executes extended disk self-test)
А затем посмотреть на изменение SMART аттрибутов: smartctl -a /dev/sda
Да и вообще стоит всегда и везде держать постоянно запущенный smartd из smartmontools для оперативного мониторинга состояния дисков.
На прошлой неделе заказали у них сервак EX5 поставили 2 старючих диска, более 12К часов каждый… На одном 5 Relocated на другом 75 было, сейчас 78… Сыпется по ходу. Вот думаем начать ругаться с ними.
Мсье. Вам самим сложно было посмотреть, что в EX5 тоже старые диски?
Вообще-то я ответил на вашу фразу:
>> Берите EX сервера, там новые диски, запас которых упакованных еще есть.
EX5 сервера — это EQ сервер, только памяти добросали. От того, что его обозвали EXом — приписывать его к новым моделям серверов нельзя.
работаем с hetzner лет уже с восемь, были проблемы и с дисками, но с саппортом как-то везло: всегда меняли (логи, конечно, мы им давали). Но сказать хочу, что 6-ти месячый hdd, имхо, лучше, чем новый. Диски сейчас — как расходный материал: в офис на сервак покупали не последнее железо — диски 2 раза меняли пока попались 2 нормальных экземпляра. Новый диск, пока не отработает месяца три под нагрузкой, нельзя считать надежным железом. Качество, увы, у всех производителей теперь упало ниже некуда, кажеться.
А производителей-то фактически всего два и осталось. :)
наш опыт с хетцнером показал, что нужно проверять память, с дисками все в порядке. в парке 16 машин, ех4 и ех5, еле вписываемся в объемы по трафику, на паре машин даже пришлось заказывать пакет на 15ТБ.
для баз поставили SSD, посмотрим, сколько проживут. конечно, все бэкапим.
за свою цену очень неплохо, всем довольны. осенью сменили 2 хостеров, проблемы бывают даже на стоечных Fujitsu и HP.
А что с памятью бывает? На предмет чего ее проверять? Недоливают?
недопроверяют: недавно было — на новом EX в первый же день начал падать софт без всякой причины, оказалось бракованная память
Да, бывает битая память. У нас на 3 машинах были зависания периодически. Вывели сервера из-под нагрузки, проверили — память с ошибками.
Один раз в сервере поменяли неисправную память тоже на такую же. После 5-часового теста силами хостера все заменили и извинились. Хотя, может, и материнка была с дефектом.
А что вы хотите за такую цену?
НЛО прилетело и опубликовало эту надпись здесь
Hetzner то знает нас. У все машины уже годами у них стоят. Хотелось бы больше внимания постоянным клиентам.
НЛО прилетело и опубликовало эту надпись здесь
У них сейчас около 160 тысяч действующих железок + виртуалки + достаточно популярный среди европейцев шаред-хостинг. Так что тут десятки тысяч клиентов, а то и 3-4 сотни.
Как я и выше писал, исторически сложилось. По началу, всё было в розовых тонах и нас вполне устраивало. Если у проекта денег хватает, — переходим на Амазона. Там геморрой с железом сам отпадает. Но за это надо дополнительно платить.

Удивило что Hetzner очень холодно отнёсся, даже безразлично. Если бы они отписали, знаете, новых дисков нет, или новые диски в нас по 300 евро – другое дело было бы.

Это вы ещё не сталкивались с посыпавшимися дисками на хранилищах Амазона. Мы нарывались пару раз — общение с суппортом решило проблему, но осадочек остался.
Новые диски не факт что лучше годовалых. По-моему гугл публиковал исследования на эту тему, бОльшая часть дисков ломаются в первые пол года — год эксплуатации. То есть диск проживший год, надёжнее нового. SMART для саташных дисков какой-то неадекватный, по сравнение со scsi. Reallocated_Sector_Ct не 100% показатель.
Ну и про hetzner тьфу-тьфу-тьфу, но у меня пока вообще никаких проблем с ними… всё работает, скорость реакции на заявки минут 10 максимум.
>Reallocated_Sector_Ct не 100% показатель.

даже если так, то рост его значения уже повод для паники принятия мер.
На одном из дисков Reallocated_Sector_Ct плавно вырос до 781 с мая прошлого года (было 0). Это повод для паники? Какое значение можно считать критическим?

Винт — ST3750528AS Barracuda 750 GB, Power_On_Hours 8092.
Моя практика показывает, больше 10 — пора менять
Тут вам повезло, чаще диски умирают гораздо более стремительно. Этот диск хотя бы быстрый self-test проходит? Хотя я бы такой уже давно заменил бы, во избежание.
Честно говоря, не знаю. Сейчас даже боюсь его шевелить. Думаю, выключу поскорее (там software raid 1) и попрошу заменить. Странно, что мониторинг SMART присылал пару раз предупреждение о превышении температурного лимита, а про это молчит.
Hetzner просит результаты self-test (простой вывод smartctl -A я им сразу отправил). Похоже, хотят сказать, что не заменят, пока винт не сдохнет совсем. Это безопасно для software raid 1?
Отправил отчет smartctl -a. Согласились поменять винт:

We would change the disk /dev/sdb as requested today at 15:00 CET. Downtime would be 15 minutes.
>Это безопасно для software raid 1?

self test? Конечно. У меня диски в софтрейде по крону тестятся
Удивительно, но факт:

5 Reallocated_Sector_Ct 0x0033 081 081 036 Pre-fail Always - 781

При этом, smartctl --test=long проходит без ошибок:

Num Test_Description Status Remaining LifeTime(hours) LBA_of_first_error
# 1 Extended offline Completed without error 00% 8111 -
ничего удивительного, просто у диска еще остались резервные сектора. Если начал сыпаться — рано или поздно они закончатся и придет пушной зверь
Допустим, я понимаю, что они не смогут вернуть диск по гарантии пока фирменная утилита не скажет BAD. Только по этой причине они продолжают пихать старые диски пока утилита говорит ОК и срок гарантии не вышел. Но сколько клиентов следит за Power_On_Hours? Я думаю единицы. Ничто не мешает таким клиентам устанавливать новые диски по запросу, а неприхотливым пользователям ставить старые. Так устроен любой НОРМАЛЬНЫЙ бизнес — удовлетворение запросов искушенных пользователей (когда затраты минимальны, в данном случае они диски все-равно изымали на проверку и не потеряли бы вообще ни секунды времени, если бы вместо тестирования просто зашли бы на склад) и поддержание на более-менее приемлимом уровне качества сервиса для неискушенных пользователей. Дотошный пользователь, он на то и дотошный, что залезет везде все проверит, а уж написать гневный пост на форум для него сущий пустяк.

Только слово нормальный к хетцнеру не очень подходит. Их пользователи не интересуют. У них вал новых подключений (исключительно из-за цен) и пока они могут себе позволить делать все что угодно. Только не понимают, что халява скоро закончится, а лояльных клиентов нет, да и клиенты почему-то разбегаются.

194 Temperature_Celsius 0x0022 048 053 000 Old_age Always — 48 (0 17 0 0)


Видать в хетцнере не в курсе, что дискам лучше всего живется, когда температура по SMART в пределах 38-44 градусов.
НЛО прилетело и опубликовало эту надпись здесь
Да я не спорю :) Сколько у хетцнера серверов — не известно, но говорят около 40 тыс. Пускай будет по два диска на сервер, итого 80 тыс. дисков. При уменьшении температуры хотя бы до 44 градусов AFR упадет на 1% (и это по данным 2007 года, а сейчас с увеличением плотности записи эти цифры должны быть выше), а это 800 дисков или в районе 80 тыс долларов в год, при расчете 100 долларов на диск (без учета того что они сдают их по гарантии, а сколько у них выходит из строя после 3 лет работы, когда AFR уже равняется 15%?). А удовлетворенность клиентов от уменьшения количества отказов вообще невозможно оценить :)
Угу, а если посчитать, сколько требуется энергии на полноценное кондиционирование помещений с 40 тысячами серверов, то окажется, что дешевле менять диски контейнерами ;)
Имхо, это уменьшение температуры на 4 градуса тоже может влететь в неплохую копеечку.
Я б вам вообще отказал в обслуживании с такими приколами, ей богу. Надеюсь, что хетцнер так и поступит и таки даст вам шанс найти «более адекватного» хостера с непременно новым и самым чотким железом. И чтоб за 39 евро диски только с последних поставок вам ставили, не иначе. Жаль, что вероятность того, что этот ваш пук в хабр дойдет до них, стремится примерно к нулю.
Post Mortem: habrahabr.ru/blogs/hosting/137004/#comment_4564377

Нет не отказали. Голос с Хабра дошёл. Диск дали, но немножко позно. Надо будет опять переставлять.

Мой vps у них уже 4 часа как 5 минут простаивает =(
Вы сломали мне мозг ))
Сапорт ответил, что плановые работы и через 5 минут всё заработает. Прошло уже почти 6 часов. Сейчас сапорт меня игнорирует =(
Reallocated_Sector_Ct по нулям на обоих дисках в EX4. Дискам 94 дня — ровно столько времени назад я арендовал новый EX4 взамен старого EQ4.
Тут верно выше говорили — в EQ4 старые диски, новых для них просто нет. Вообще.
5 Reallocated_Sector_Ct ... 0
9 Power_On_Hours ... 5056
Uptime: 206 days (4944 hours)


Повезло?
С хетцнером довольно давно…

Первая машина (фронтенд, EQ9):
5 Reallocated_Sector_Ct 0x0033 100 100 036 Pre-fail Always — 0
9 Power_On_Hours 0x0032 078 078 000 Old_age Always — 20117

Вторая машина (бэкенд, EQ9):
5 Reallocated_Sector_Ct 0x0033 100 100 036 Pre-fail Always — 6
9 Power_On_Hours 0x0032 080 080 000 Old_age Always — 17666

Третья машина (сервер бэкапов + кое что еще там вертится, X4):
5 Reallocated_Sector_Ct 0x0033 253 253 010 Pre-fail Always — 0
9 Power_On_Hours 0x0032 100 100 000 Old_age Always — 27407

Тьфу * 3, пока полет нормальный вроде…
1) EQ4
5 Reallocated_Sector_Ct 0x0033 100 100 010 Pre-fail Always - 0
9 Power_On_Hours 0x0032 097 097 000 Old_age Always - 17668

2) EQ4
5 Reallocated_Sector_Ct 0x0033 100 100 010 Pre-fail Always - 0
9 Power_On_Hours 0x0032 097 097 000 Old_age Always - 13810

3) EQ4
5 Reallocated_Sector_Ct 0x0033 100 100 010 Pre-fail Always - 0
9 Power_On_Hours 0x0032 095 095 000 Old_age Always - 22942
hetzner хороший дешевый и мощный ресурс для _начинающих_ проектов
как только стоимость ваших данных переваливает за $10.000, пора вкладывать в собственную инфраструктуру или работать с другими, выше уровнем, хостерами…
Сочувствую, сам бы, конечно, не хотел так попасть (да еще и не один раз).

В Германии в крупных компаниях вообще можно видеть, как при отработке какого-то срока железо списывают и распродают за бесценок. Мы так из какого-то банка покупали не очень молодые, но почти «нулевые» по отпечаткам принтеры, напр. Не факт, что и жесткие диски такие вот банки не распродают, после очистки, а хостинг их после этого не покупают. Для них — снижение затрат, для вас как для заказчиков — снижение аренды.

Другой вопрос, сколько сейчас стоит аренда нового сервер в действительно хорошем ДЦ, и с новыми же компонентами — сравнение цен дает приблизительное увеличение ваших рисков, связанных с «железом». При таких-то проектах вы, как компания, просто пропустили момент выбора более серьезного ДЦ (Вы сами пишете, что — «надо собраться и уйти»), а с текущим, как с любой не особо дорогой арендой, вы и не были застрахованы от получения не нового добра в эту самую аренду.

ТП вам попалась упертая, согласен, но их тоже можно понять — без веских (для них) оснований им вполне может не хотеться лишней возни. Основания — это логи, вывод диагностики, и прочее «фактическое» добро, ни никак не «беспочвенные» (с их, пусть и несколько циничной, но наработанной годами, точки зрения) опасения клиента.

По сути, имелось бы место для жалобы, если бы вам прямо обещали бы brand-new drives, а поставили не таковые. Но, судя по цитатам, ребята и не скрывают, что железо несколько, хм, поношенное.

Вывод — съезжать поскорее, Вы правы, и пусть их!
Я думаю, что ваши претензии к Hetzner необоснованы. Они ориентированы на вполне определенную, устраивающую их нишу на рынке — бюджетный и очень бюджетный хостинг. С соответствующим уровнем качества и надежности. Вам же потребовался другой уровень, более высокий, а его у них просто нет. Не выстроены процессы, не просчитана бизнес-модель, и т.д. Если даже какой-то невысокий начальник сделает для вас исключение, ему самому дадут по шапке, так как он создаст определенные риски, выше уже писали об этом.

Меня больше удивило, что Амазон оказался для вас дороже. Можно узнать об особенностях вашего проекта? Что там, очень большой трафик, или очень мощные процы нужны? Я полагал, что Амазон сейчас может конкурировать во всех нишах.
Есть у них более высокий уровень. И ECC память, и Enterprise, SAS-винты, и raid-контроллеры с BBU.
ru.hetzner.com/hosting/produktmatrix/rootserver-produktmatrix-ex/

Я смотрел что у Амазона по ценам для своего сайта. Тупо только трафик получается дороже Хетцнера.
A. большой трафик
Б. много памяти

На Амазоне, считали, получаеться в раза 3-5 дороже. Пока этот проект бюджетно не дотянулся на AWS.
Понятно, спасибо.
НЛО прилетело и опубликовало эту надпись здесь
Диск таки дали, но немножко позно и за 69 евро. Надо будет опять переставлять.

Post Mortem: habrahabr.ru/blogs/hosting/137004/#comment_4564377
Третий месяц как арендую?
sda: 9 Power_On_Hours 6781
sdb (вообще убийство): 9 Power_On_Hours 28844
да ладно вам, у нас вот что показывает:

7 Seek_Error_Rate 0x000f 082 060 030 Pre-fail Always — 178008516
9 Power_On_Hours 0x0032 082 082 000 Old_age Always — 16470
190 Airflow_Temperature_Cel 0x0022 048 034 045 Old_age Always In_the_past 52 (14 55 54 48)
194 Temperature_Celsius 0x0022 052 066 000 Old_age Always — 52 (0 22 0 0)

походу пора писать им :)
спасибо за статью и что поделились опытом — интересно почитать. как раз собирались серьезно «закупиться» у ребят, пока используем только из виртуалки
Приходите вы к Тойоте, покупаете машину, выбрали, посмотрели на тормоза. Тормоза уже старые, поношенные, могут дать сбой.


Сравнение немного не то. Более корректным было бы — берете вы напрокат Тойоту и требуете хозяина машины поменять тормоза, потому что им больше года, а он Вам возражает что ТО пройдено и тормоза будут заменены на следующем.

Попробуйте попросить регламент замены диска, при каких условиях он считается подлежащим замене.
Верно. Ведь при аренде никто не гарантирует, что вам дадут новую машину. Куда же будут девать машины (диски, контролеры) от старых клиентов, которые перестали пользоваться услугами?
Ну я б ТО не доверял. Особенно если мы при нём не присутсвовали. И особенно если на диски секторы уже поплыли.
НЛО прилетело и опубликовало эту надпись здесь
В OVH, у нас тоже полетел однажды рейд. 3 дня меняли — 3 дня простоя сервера и проекта. Никак мы не смогли тогда ускорить этот процесс, к сожалению.
НЛО прилетело и опубликовало эту надпись здесь
Я несколько лет пользуюсь OVH — вообще никаких проблем.
Один раз менял сервак на более производительный, так они предложили специальный тариф для меня с очень вкусными характеристиками при низкой стоимости.
Там и не только с дисками мухлюют.
Я всегда предупреждал и буду предупреждать своих знакомых чтобы не связывались с такого рода компаниями.
Скупой платит дважды.
Post Mortum

Через сутки и повторного напоминания начальник суппорта ответил, и удолетворил наше желание на новый диск. Правда за 69 евро. Но ответ был дружеский. Только позно немножко. Систему уже запустили. Диск в software RAID менять — downtime.

we are not unwillingness to cooperate and provide acceptable level of service, but
please understand that we can't guarantee to install only brand new hard discs for
each client with hard disk problems. How i explained you, we check all hard disc
with the factory tool and only if this check OK then we use the hard disc again.

In addition, we have currently on basic issues of Thailand difficulties to get the
required quantities of hard drives.

If you want so we can change your hard disk with a brand new hard disk for 69 €
per hard disk and i hope this could be helpful for you. Please confirm the cost
and let us know a date for the hard disk replacement if you accept the offer.

We look forward to hearing from you again.


Возможно давление с Хабра сказалось на разум Рене.

Спасибо всем за очень полезные советы.

Думаю прислушаемся к noonesshadow и achekalin, подсобираем денег и пойдём на апгрейд. Возможно в тучи.

Если кому оставаться на Hetzner, обратите внимание на EQ vs EX:
* ZloiZmei
* vgrayster
* inkvizitor68sl
* Fr0stb1te
* Lux_In_Tenebris

и SSD
* synergy
Во-первых, это не давление с Хабра, а их обычная практика — заменять железо без особой причины за доп. плату.
robot.your-server.de/product
Replace all the RAM modules without a concrete reason — - 39.00 €
Complete replacement of server without a concrete reason — - 69.00 €
Replace all other components without a concrete reason — - 39.00 €
temporary hard disk — - 69.00 €

Во-вторых, у них есть Enterprise Grade Hardware — не знаю, почему вы игнорируете этот факт.
Вместо того чтобы на Хабре плакаться, давно бы уже переехали на enterprise винты.

В-третьих, сгореть hardware RAID и диск полететь может у любого провайдера. RAID железо у них примерно такого же уровня, которое по умолчанию другие провайдеры втыкают.
У меня диски умирали и у Webnx, например.

В-четвертых, раз в 1-2 года лучше у них апгрейдить сервер. Я всегда перехожу на новые сервера когда Хетцнер запускает новую линейку. Это значит, что железо будет свежим.
Расписание запуска

01.06.2009: EQ
31.08.2010: X
01.07.2011: снижена с 150 до 50 € установочная плата за EQ(4|6)
04.10.2011: EX

Думаю, в ближайшие 10 месяцев ничего нового можно не ждать.
Весной обещали сервера с 32 гигабайтами памяти, наверное, на новых sandy bridge-e. Наши БД и редиски с нетерпением ждут обновления продуктовых линеек Хетцнера.
А это где-то официально писали или неофициальные подробности?
Нам тоже интересны были бы такие сервера.
Это мне писала в ноябре Александра (не помню фамилию), на вопрос о серверах с бОльшим количеством памяти.
> Всем кто хостится на Hetzner рекомендуем проверить диски smartctl -A /dev/sda

Арендую там три сервера. Пока, к счастью, каждый из них был укомплектован совершенно новыми (по данным смарта) дисками.
Сегодня вдруг получаю письмо:

Dear Sir or Madam We have noticed that you have been using other IPs from the same sub net in addition to the main IP mentioned in the above subject line. As this is not permitted, we regret to inform you that your server has been deactivated. Guidelines regarding further course of action may be found at http://wiki.hetzner.de/index.php/Leitfaden_bei_Serversperrung/en. Yours faithfully Your Hetzner Support Team 11:00:54.968582 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.58729: Flags [.], ack 1, win 11256, length 0 11:00:54.968588 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.58927: Flags [.], ack 4157888947, win 11256, length 0 11:00:54.968833 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.57148: Flags [.], ack 1, win 11256, length 0 11:00:54.970266 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.54385: Flags [.], ack 653992197, win 15544, length 0 11:00:54.970394 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.54385: Flags [F.], seq 0, ack 2, win 15544, length 0 11:00:54.971964 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.58861: Flags [.], ack 3359853730, win 11256, length 0 11:00:54.972676 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.51795: Flags [.], ack 2222051772, win 11256, length 0 11:00:54.973215 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.1284: Flags [.], ack 4267199281, win 15544, length 0 11:00:54.973230 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.58985: Flags [.], ack 784739514, win 11256, length 0 11:00:54.973365 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.1663: Flags [.], ack 3699587657, win 15544, length 0 11:00:54.973370 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.4141: Flags [.], ack 3836928272, win 15544, length 0 11:00:54.973409 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.58985: Flags [F.], seq 1885277726, ack 784739515, win 11256, length 0 11:00:54.973434 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.51795: Flags [F.], seq 0, ack 2, win 11256, length 0 11:00:54.973571 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.1664: Flags [.], ack 1421341322, win 15544, length 0 11:00:54.973576 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.4140: Flags [.], ack 540225817, win 15544, length 0 11:00:54.977082 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.2398: Flags [.], ack 1523104085, win 15544, length 0 11:00:54.977087 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.2391: Flags [.], ack 1, win 15544, length 0 11:00:54.977205 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.2404: Flags [.], ack 490106416, win 15544, length 0 11:00:54.977210 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.2392: Flags [.], ack 1, win 15544, length 0 11:00:54.977213 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.3163: Flags [.], ack 1, win 15544, length 0 11:00:54.977222 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.2395: Flags [.], ack 3697168283, win 15544, length 0 11:00:54.977555 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.51516: Flags [.], ack 1, win 15400, length 0 11:00:54.979312 c8:60:00:5e:c2:17 > 78:fe:3d:47:22:85, ethertype IPv4 (0x0800), length 60: 0.0.0.0.80 > 0.0.0.0.1325: Flags [F.], seq 4294967295, ack 1, win 15544, length 0

С тех пор сервер недоступен уже почти сутки. Доступ LARA ждали около 10 часов, результаты ничего не показали (может не там искали?).

Ждем активации сервера. Вот такие дела…
У нас сервер ЕХ10 в хетцнере, сегодня запустил смарт по обеим дискам:

Сервер у нас около месяца, т.е. диски перед нами работали всего около суток, это скорее всего было тестирование
Странно, в первый комментарий скриншоты не вставились…

На всякий случай ссылки на картинки:
rghost.ru/39206341/image.png и rghost.ru/39206326/image.png
НЛО прилетело и опубликовало эту надпись здесь
Странно, что кто-то по своему субьективному опыту написал статью о Хетцнере 7 лет назад, и она до сих пор в выдаче Яндекса на втором месте, как будто в ней есть что актуальное.
почему не актуально, сегодня у клиента два диска в рейде фейлами покрылись, сразу оба). Если использовать десктопное оборудование в серверах, так и будет, только конечно это касается не только их, такие беды и у других есть)
Теперь она еще и в блоке «Читают сейчас».
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории