Серверное администрирование *

Привет, Хабр! Данный пост написан исключительно с целью пролить свет на незаслуженно затерянную в дебрях Microsoft программку, а не для обзора всех ее возможностей. Здесь даже не будет ссылки на скачивание. Но обо всем по порядку.

Предисловие

Пост хабражителя emoxam навеял размышления об удобстве удаленного управления серверами. И в частности оными под управлением Windows Server. Для *nix систем использую старушку putty и идея мега-комбайна мне не по душе. Но это, конечно же, сугубо личное мнение. Скажу честно, раньше я был достаточно ленив и пользовался стандартным клиентом удаленного рабочего стола аля mstsc.exe. Но перейдя в другую компанию, с количеством серверов на порядок больше, бесконечные окна терминалов стали утомлять.

Доброго времени суток хабравчане! Всё началось с того, что работая удалённо в терминале понадобилось перезагрузить сервер. Толи день не задался, толи мысли были о чём-то другом и вместо команды:
sudo shutdown -r now
отправил его отдыхать после нелёгкого рабочего дня, командой:
sudo shutdown now Enter
И всё произошло машинально и так быстро, что даже сам не успел понять. Понимание стало приходить минут через 15-20, после безудержных попыток подключится удалённо к терминалу. И думаю даже не стоит говорить о том как далеко находился сервер, и добраться до него было практически невозможно. После долгих телефонных разговоров и объяснений куда кому пойти, и что где нажать, сервер всё же вернулся в рабочий ритм. После чего и появилась идея о включении сервера удалённо.

Я работаю системным администратором в одной аутсорсинговой компании. Так уж повелось, что в своей работе я использую, в основном, три программы. Radmin, Secure CRT, и Terminals. Но так было не всегда.
Изначально я использовал radmin и горя не знал, но, в какой то момент, мне надоело набирать пароли, сначала для подключения, а потом для логина.

Ранее не однократно приходилось настраивать FTP-сервер (делов то на несколько минут) и как то исторически сложилось, что безоговорочным кандидатом был ProFtpd. Поскольку в плане безопасности у этого товарища не так давно были проблемы, решил попробовать что-то другое, и не пожалел

Окромя багфиксов, изменений довольно много. Из наиболее интересных следует отметить:

• Обновление подсистемы ZFS и geom в сторону асинхронной работы и использования TRIM на SSD
• Расширен синтаксис ipfw, который теперь позволяет, в таблицах использовать имена интерфейсов, IPv6-адресов, номеров портов и ID jail-ов
• ng_netflow теперь умеет экспортировать NetFlow данные 9-й версии, при помощи хука export9, также возможен экспорт данных одновременно и в 5-й и в 9-й версиях NetFlow.
• Улучшена балансировка в планировщике sched_ule, который на системах с SMT (Symmetric MultiThreading) или HyperThreading (как он зовется на процессорах Intel), показывает увеличение быстродействия до 10-15%.

Устанавливать современную Linux систему нужно только один раз, как для единственного физического сервера, так и развертывания целой виртуальной фермы. Почему бы не потратить на это чуточку больше времени и сразу сделать все именно так как нужно, а не допиливать то что приехало из инсталлятора по его рельсам. К тому-же, количество софта которое ставится в «минимальном» режиме стандартного установщика, не соответствует действительно минимальному.
Кому-то ручная установка может показаться тратой времени, но каждый линуксоид обязан это сделать хотябы раз, чтоб лучше понимать как это работает. Eсли Вас не пугают слова fdisk, grub и chroot, читаем далее.

Житель Калифорнии и счастливый владелец оптоволоконного доступа в интернет по тарифу Verizon FiOS поставил личный рекорд по трафику: 77 терабайт за месяц. Для него это необычно много, ведь в среднем за последние месяцы получается не более 35 терабайт. Хотя FiOS считается тарифом без ограничения трафика (честный анлим), но парень всё-таки удостоился звонка от менеджеров компании Verizon.

«Я никогда не слышал, чтобы такое с кем-нибудь случалось. Но я наверное использовал больше трафика, чем любой абонент FiOS в Калифорнии, так что я не особенно удивлён», — рассказывает пользователь под ником houkouonchi на форуме DSLReports.com. Вот моя статистика по трафику в этом году:

Январь: 35 ТБ
Февраль: 32 ТБ
Март: 77 ТБ
Апрель: 28 ТБ
Май: 19 ТБ (на 21-е число)

Доброе время суток, хаброжители.
Хочу поделиться реализацией мониторинга виртуального сервера, который я поддерживаю.
Операционная система: CentOS 6.3 x64, однако описываемая ситуация подойдет и для других платформ, как *Win так и *nix.
Постановка задачи.
На сервере установлены сервисы: apache2, MySQL, postfix и реализована защита apache на базе mod_security.
Хозяина сервера не устраивает подключение по ssh консолью и чтение логов в текстовом редакторе, кроме того не было наглядности нагрузок на сервер, количества запросов, сложности запросов к серверу. Я предложил Zabbix сервер, но клиент сказал категорический «нет». Ну что-ж, на то он и клиент, чтобы быть всегда правым.
Необходимо максимально быстро отыскивать сложившуюся ситуацию, связанную с безопасностью сервера, и исходя из события принимать меры к устранению проблемы.

Сразу приведу скриншот того, что получилось:

Ну, вот наконец мы и добрались до последней главы в книге. Здесь будут рассмотрены некоторые практические примеры, ради соблюдения этики автор практически не называет никаких конкретных систем, кроме очень хорошо известных. Рассматривается состояние дел до внедрения систем унифицированного управления и после.

Мне поступила задача организовать отказоустойчивость веб-приложения из двух серверов. Веб-приложение включает в себя статические файлы и данные в СУБД MySQL.
Основное требование заказчика — веб-приложение должно быть всегда доступно и в случае сбоя в течении 5 минут сбой должен быть восстановлен.
2 сервера, территориально разнесенные в разных ЦОДах, должны удовлетворить данное требование.

Доброго дня всем читающим эти строки. Недавно довелось мне настраивать дисковую полку EMC VNX 5100, в качестве СХД под кластер. Как выяснилось, особо сложного в ней ничего нет, однако в процессе попадаются некоторые особенности, которые отвлекают на себя время и внимание. Если вы хотите использовать эту СХД, но не хотите тратить лишнего времени на хождение по граблям, прошу под кат.

VMware vSphere VAAI — кто он такой?

Немного теории про VAAI:

Это комплекс технологий компании VMware, разработанный в сотрудничестве с различными производителями СХД, предназначенный для передачи некоторых операций виртуальных машин по работе с дисками на сторону массива. В этом случае хост-сервер виртуализации при выполнении стандартных процедур в среде виртуализации при работе ВМ с дисковой подсистемой просто дает команду массиву сделать определенные действия, при этом сам хост не гонит через себя все те данные и команды, которые он раньше был вынужден прогонять. То есть, это — Hardware Offloading операций с СХД.
На этом с теорией заканчиваем.

Практика

Недавно в моем парке появился новый дисковый зверек HP P2000 G3 MSA DC.
Система виртуализации построена на решении от VMware. А как многим известно, а начиная с версии 4.1 платформа виртуализации стала поддерживать технологию VMware vSphere VAAI, или другими словами vStorage API for Array Integration.

В 2009 году, на ежегодной научной конференции SIGMETRICS, группа исследователей, работавших в Университете Торонто с данными, собранными и предоставленными для изучения компанией Google, опубликовала крайне интересный документ "DRAM Errors in the Wild: A Large-Scale Field Study" посвященный статистике отказов в серверной оперативной памяти (DRAM). Хотя подобные исследования и проводились ранее (например исследование 2007 года, наблюдавшее парк в 300 компьютеров), это было первое исследование, охватившее такой значительный парк серверов, исчисляемый тысячами единиц, на протяжении свыше двух лет, и давшее столь всеобъемлющие статистические сведения.

Отмечу также, что та же группа исследователей, во главе с аспирантом, а ныне профессором Университета Торонто, Бианкой Шрёдер (Bianca Shroeder) ранее, в 2007 году публиковала не менее интересное исследование, посвященное статистике отказов жестких дисков в датацентрах Google (краткую популярную выжимку из работы Failure Trends in a Large Disk Drive Population (pdf 242 KB), если вам скучно читать весь отчет, можно найти здесь: http://blog.aboutnetapp.ru/archives/tag/google). Кроме того, их перу принадлежит еще несколько работ, в частности об влиянии температуры и охлаждении, и о статистике отказов в оперативной памяти, вызываемой, предположительно, космическими лучами высоких энергий. Ссылки на публикации можно найти на домашней странице Шрёдер, на сервере университета.

Сегодня в 09:47 UTC CloudFlare фактически выпал из Интернета. Падение задело все сервисы CloudFlare, в том числе DNS и сервисы проксирования. Все, кто пытался открыть любой использующий сервисы CloudFlare сайт во время падения, получали ошибку DNS. Ping и traceroute до хостов CloudFlare также выдавали ошибку «No Route to Host».

Я обещал рассказывать о разного рода необычном оборудовании с точки зрения мониторинга, и в этой статье будет рассказано о удаленном контроле достаточно распространённого массива виртуальных дисков HP EVA. Чтобы «потренироваться на кошечках» возьмём Hewlett-Packard EVA4400 с контроллером HSV300 и двумя дисковыми полками, благо он стоит через стенку и есть возможность брать все скриншоты и данные с живой системы.

Данная статья — это обобщение информации, накопленной за время использования гипервизора Qemu-KVM. Я хочу поделиться теми знаниями опытом, которыми обладаю на данный момент. Надеюсь, что моя статья пойдет на пользу тем, кто только собирается использовать гипервизор Qemu-KVM или уже использует. И еще: статья не для новичков linux (элементарные вещи здесь рассматриваться не будут).

Про данную систему виртуализации в сети написано много. Но когда действительно начинаешь с ней работать — сталкиваешься с нехваткой информации и практических примеров применения. Итак приступим.

Входящая задача. Был выделен компьютер как тестовая станция – для проверки работоспособности резервных копий баз данных, устанавливаемого программного обеспечения, сборки msi пакетов и прочих весьма разнообразных задач. Конфигурация компьютера:

• процессор Atlon X2 245
• оперативная память 4 гигабайта
• жесткий диск 500 гигабайт
• материнская плата ASUS M4N68T-M LE.

ЦЕРН и Icinga

ЦЕРН — Европейский центр ядерных исследователей, а кроме того это еще и столкновения частиц с частотой 40 МГц и 11000 оборотов по коллайдеру в минуту. Большой адронный коллайдер ЦЕРН – самый большой и мощный ускоритель частиц в мире. Icinga — бесплатная система мониторинга масштаба предприятия с открытым исходным кодом. Со своей стороны Icinga помогает устойчивой работе оборудования БАК на трёх из четырех детекторных площадок. Это оборудование ищет различия между материей и антиматерией, а также дальнейшее подтверждение существования бозона Хиггса и проверяет модели современной физики, в том виде, как мы ее сегодня знаем.

Плагинов для систем мониторинга существует огромное количество. Можно посмотреть и найти нужное в каталогах exchange.nagios и monitoringexchange. При поисках нужного плагина проверять лучше в обоих репозиториях — несмотря на кажущуюся идентичность, их содержимое различается.

Другое дело, что качество и функционал плагинов, даже сходных между собой, сильно разнятся — есть быстро слепленные на коленке хаки, работающие в строго определенных условиях и решающих узкую задачу. После написания автор плагина не стал выбрасывать его в /dev/null, а решил поведать о нём миру. Другие плагины представляют собой добротно сделанные продукты, работающие с целыми семействами устройств и предоставляющих обширную информацию о целевых системах.

Вот о последних и хотелось бы поговорить, тем более, что за время работы с nagios/icinga обнаружилось, что русскоязычной информации по плагинам для систем мониторинга крайне мало.

Данная статья посвящена мониторингу серверов HP Proliant, и автор искренне надеется, что она поможет в работе тем, кто имеет оборудование HP, и хотел бы более полно отслеживать его параметры.

Приветствую.

Шифрованный веб-трафик вещь хорошая, но порой совершенно не ясно что пользователь там, внутри, делает. При заходе на любой https ресурс через squid, в логи записывается достаточно строк подобного вида:

1330231066.104 10 172.26.27.8 TCP_MISS/200 390 CONNECT mail.google.com:443 — HIER_DIRECT/173.194.32.54 —
1330241192.883 9 172.26.27.97 TCP_MISS/200 390 CONNECT mc.yandex.ru:443 — HIER_DIRECT/213.180.193.119 —

Видно, что в определённое время пользователи зашли на gmail и яндекс. В принципе вот и всё что мы видим из логов. Но не понятно выполнялся ли GET или POST запрос, не видно полных урлов, ни размеров файлов. Так же нет возможности проверить ssl трафик антивирусной программой либо какими content inspection программами.

В этой статье я хочу описать возможность squid'а «разламывать» ssl соединение и иметь хоть какой-то обзор происходящего в https трафике.

Любая сеть рано или поздно начинает гранить с другой сетью, раньше так было. Сейчас же, создавая корпоративную сеть какой либо организации, она вряд ли не будет соединяться с сетью Интернет. Поэтому первым и основным сервером, который будет организован является роутер.

Так как я не полюбил Linux, хотя скажу чесно начинал с него, я давно для себя в качестве серверной ОС выбрал FreeBSD. Но как настроить маршрутизация на freebsd в интернетах информации достаточно. А вот если Вам надо выпустить в интернет не только известные(доверенные) Вам устройства, но и новые, которые должны авторизоваться. К примеру это общественное место, кафе или отель.