Уровень сложности: начальный

Вводный обзор стандартных инструментов GNU/Linux должен помочь начинающим пользователям Linux контроллировать работу ОС. Используемые приложения, как правило, включены в поставку известных дистрибутивов. Полезным побочным эффектом я считаю возможность сориентировать молодых системных и сетевых администраторов в условиях [подозрения] компрометации.

Какое-то время назад я проводил анкетирование на тему зарплат разработчиков. Пришло время рассказать о полученных результатах.

Всего было заполнено около 1900 анкет разработчиками из более чем 300 городов, преимущественно из России и Украины.

В первую очередь хотелось бы поблагодарить всех добровольцев, которые не пожалели нескольких минут на заполнение анкеты и всех, кто поддержал инициативу на хабре.

Новая архитектура хранения данных в облаке Clodo разработана так, чтобы обеспечить клиентам максимальную скорость чтения и записи данных и увеличить надежность работы СХД. Ниже – краткое описание того, как и, главное, почему она так устроена.

Система хранения, безусловно, является одним из самых важных элементов облака. Она обязана быть независимой от вычислительных узлов. Кроме того, она должна быть быстрой и надежной. Наконец, она должна быть отказоустойчивой. Предыдущая версия нашей системы хранения, использовавшая файловую систему IBM GPFS, оказалась неоптимальным решением для использования в облаке с точки зрения скорости. Кроме того, GPFS была единой точкой отказа, неработоспособность которой могла в худшем случае привести к неработоспособности облака в целом. От этой порочной практики мы также ушли.

Базовым понятием новой СХД Clodo является «зона». Все облако мы разделили на «зоны», абсолютно независимые друг от друга. Зоны сравнительно невелики и содержат до 10 XEN-узлов (вычислительных серверов с ресурсами, которые используют виртуальные машины пользователей). Каждая зона имеет независимую от других систему хранения и передачи данных, свою систему кэширования.

Состав зоны

На схеме представлена архитектура одной зоны.

В начале апреля в Москве прошла очередная партнерская конференция компании Citrix, в которой принял участие Саймон Кросби – технический директор подразделения «Облачных вычислений и ЦОД». Саймон – очень харизматичный руководитель, с юмором описывающий свою должность, как «главный религиозный фанатик» по вопросам стратегического развития. Он также стоял у истоков XenServer, был техническим директором в компании XenSource, которая в 2007 году была приобретена Citrix Systems.

В специальном интервью для блога Citrix на Хабре Саймон рассказал о приверженности открытой модели разработки ПО и тесном сотрудничестве с Microsoft, о соперничестве с VMware и будущем облачных систем. Саймон — последовательный защитник «открытой» модели разработки ПО, но при этом во многом не согласный с идеями Ричарда Столлмэна. По мнению Кросби, open source — это скорее эффективный инструмент сотрудничества компаний и сообщества, одинаково заинтересованных в разработке эффективного продукта. Гипервизор XenServer и после перехода под крыло Citrix имеет открытый исходный код и, сам по себе, бесплатен. Участие сообщества в разработке позволяет выпускать новые версии Xen два раза в год, а бесплатность, по словам Саймона — это неплохой способ «позлить» главного конкурента Citrix в области виртуализации серверов.

Сегодня хочу поделиться с вами краткой инструкцией, как добавить диск в существующий RAID 5/6 не пересобирая массив (зачастую это просто нереально — забэкапить 4-10Тб данных) и не останавливая работу сервера на сутки-другие. Данная инструкция написана для линуксовых софтрейдов через mdadm, с аппаратными контроллерами/виндой разговор особый и зачастую очень короткий (никак и все).

Итак, приступим (система — Ubuntu 10.04, но работать должно практически везде).

Хочу поднять вопрос, который, как мне кажется, никто не рассматривал ранее системно. Вопрос звучит так:

как называть узлы и интерфейсы узлов в сети?

Для начала обрисую суть проблемы: когда у вас 2-3-5-10 серверов, то их названия, адреса и т.д. вы быстро запоминаете, и особой путаницы они не вызывают. Но если у вас несколько тысяч серверов (добавим к реальным ещё виртуальные), если у вашего маршрутизатора несколько сотен реальных или виртуальных (в виланах) интерфейсов, каждому из которых нужно дать имя (хотя бы для PTR/A записей в DNS), когда у вас есть интерфейсы для конфигурирования коммутаторов, принт-серверов, сетевых принтеров… В этих условиях нужно реально садиться и думать, как их называть. Лучше садиться думать до того, как начали называть, чем после.

Общаясь со многими Заказчиками, обратил внимание на то, что многие из них вроде хотят попробовать VDI на вкус, но боятся, что не проглотят – слишком сложно, говорят. Специально для тех, кто думает, что даже пилотное внедрение VDI – это слишком сложно, компания QUEST серьезно переработала установщик ПО vWorkspace с целью значительно упростить «вхождение» в увлекательный мир VDI. В этом посте я пройду вместе с вами, уважаемые коллеги, по всему пути, от самого начала, с установки первого сервера виртуализации, до показа Директору на его любимом iPad, что же это такое — загадочная «инфраструктура виртуальных рабочих столов».

Обзор практически всех *top утилит под linux (atop, iotop, htop, foobartop и т.д.).

top

Все мы знаем top — самую простую и самую распространённую утилиту из этого списка. Показывает примерно то же, что утилита vmstat, плюс рейтинг процессов по потреблению памяти или процессора. Совсем ничего не знает про загрузку сети или дисков. Позволяет минимальный набор операций с процессом: renice, kill (в смысле отправки сигнала, убийство — частный случай). По имени top суффикс "-top" получили и все остальные подобные утилиты в этом обзоре.

atop

Atop имеет два режима работы — сбор статистики и наблюдение за системой в реальном времени. В режиме сбора статистики atop запускается как демон и раз в N времени (обычно 10 мин) скидывает состояние в двоичный журнал. Потом по этому журналу atop'ом же (ключ -r и имя лог-файла) можно бегать вперёд-назад кнопками T и t, наблюдая показания atop'а с усреднением за 10 минут в любой интересный момент времени.

В отличие от top отлично знает про существование блочных устройств и сетевых интерфейса, способен показывать их загрузку в процентах (на 10G, правда, процентов не получается, но хотя бы показывается количество мегабит).

Незаменимое средство для поиска источников лагов на сервере, так как сохраняет не только статистику загрузки системы, но и показатели каждого процесса — то есть «долистав» до нужного момента времени можно увидеть, кто этот счастливый момент с LA > 30 создал. И что именно было причиной — IO программ, своп (нехватка памяти), процесор или что-то ещё. Помимо большего количества информации ещё способен двумя цветами подсказывать, какие параметры выходят за разумные пределы.

В топике блиц-обзор книг, которые будут полезны IT-специалистам, бизнесменам и тем, кто собирается открыть своё дело. Рядом с каждой — короткие пояснения, почему и зачем стоит прочесть.

Отобраны лучшие 10% из примерно 200 прочитанных книг о маркетинге, продажах и всем связанном — самые «пробивные» вещи, которые помогут вам не тратить время на всякий шлак, а сразу начать с главного.

В конце — суммация книг, которые хабровчане рекомендуют в комментариях помимо основного списка.

День добрый.

Люди, имеющие опыт поднятия виртуалок, на различных системах, подскажите:
Какую систему виртуализации (из opensource) поставить на сервер, с учетом, что гостевые системы преимущественно будут заниматься роутингом?

Задача

Когда диски были маленькие, а Интернет большой, владельцы частных FTP-серверов сталкивались со следующей проблемой:
На каждом жестком диске создавалась папочка Video или Soft, и получалось так, что добавив новый жесткий диск, приходилось делать на нем папочки Video2, Soft2, etc.
Задача поменять жесткий диск на диск большего объема приводила к тому, что данные нужно было куда-то переносить, все это происходило нетривиально и с большими downtime'ами.
Разработанная нами система в 2005 году позволила собрать надежный и быстрый массив в 3 терабайта, масштабируемый, расширяемый, в режиме онлайн, добавляя диски или целые сервера с дисками.
Цена всего решения составляла 110% от стоимости самих дисков, т.е. по-сути, бесплатной, с небольшим overhead.

Вот примерная схема устройства нашего хранилища: