Pull to refresh
2
Karma
0
Rating

Охота на грызунов под Linux

Configuring Linux **nix *
Sandbox
Существует масса средств мониторинга операционной системы, но особый смысл имеет задача отловить момент возникновения проблемы и поймать причину высокой нагрузки или источник проблем c производительностью. Я называю это охотой на «грызунов» ресурсов.

Для этого я сочинил для себя несложный скрипт ratcatcher.sh который вы сможете модифицировать под свои системы и задачи.

Принцип работы несложный — скрипт запускается с заданной периодичностью, проверяет уровень Load Average (вы можете использовать другие контрольные параметры) и в случае превышения заданной величины скрипт выполняет заданный набор диагностических команд с созданием отчета который высылается на указанный вами почтовый адрес.
Читать дальше →
Total votes 26: ↑14 and ↓12 +2
Views 17K
Comments 11

Использование smartctl для проверки RAID контроллеров Adaptec под Linux

ua-hosting.company corporate blog
Команду «smartctl -d ata -a /dev/sdb» можно использовать для проверки жесткого диска и текущего состояния его соединения с системой. Но как с помощью команд smartctl проверить SAS или SCSI диски, спрятанные за RAID контроллером Adaptec в системах под управлением Linux ОС? Для этого необходимо использовать последовательные синтаксисы проверки SAS или SATA. Как правило — это логические диски для каждого массива физических накопителей в операционной системы. Команду /dev/sgX возможно использовать в качестве перехода через контроллеры ввода/вывода, которые обеспечиваюь прямой доступ к каждому физическому диску, подключенному к RAID контроллеру Adaptec.



Читать дальше →
Total votes 20: ↑17 and ↓3 +14
Views 45K
Comments 15

Мониторим S.M.A.R.T. в Zabbix

System administration *
Tutorial
Для тех кто использует Zabbix, и хочет научится делать свои шаблоны и мониторить не стандартные системы (которых еще нет в Zabbix), а также,
кому нужен расширенный мониторинг S.M.A.R.T., и кого не устроили уже существующие шаблоны, прошу под кат.
Читать дальше →
Total votes 14: ↑12 and ↓2 +10
Views 34K
Comments 0

Искусство командной строки

Open source *


Вот уже как неделю английская версия the art of command line висит в секции trending на Github. Для себя я нашел этот материал невероятно полезным и решил помочь сообществу его переводом на русский язык. В переводе наверняка есть несколько недоработок, поэтому милости прошу слать пулл-реквесты мне сюда или автору оригинальной работы Joshua Levy вот сюда. (Если PR отправите мне, то я после того, как пересмотрю изменения отправлю их в мастер-бранч Джоша). Отдельное спасибо jtraub за помощь и исправление опечаток.

Enjoy!
Total votes 127: ↑122 and ↓5 +117
Views 243K
Comments 143

PentestBox — портативная сборка популярных security утилит

Information Security *


На сегодняшний день самыми популярными дистрибутивами для тестирования на проникновение являются *nix-like дистрибутивы: Kali Linux, BlackArch Linux, Pentoo, Whonix и многие другие. Они могут использоваться как в виртуальной среде, так и в качестве live системы или вообще быть установлены в виде десктопной ОС.

Windows пользователи до недавнего времени были обделены (виртуальные машины не берем во внимание) такими сборками, пока не появилась волшебная коробочка — PentestBox.
Читать дальше →
Total votes 31: ↑26 and ↓5 +21
Views 79K
Comments 16

Балансировка нагрузки: основные алгоритмы и методы

Selectel corporate blog
балансировка нагрузки

Вопрос о планировании нагрузки следует решать ещё на ранней стадии развития любого веб-проекта. «Падение» сервера (а оно всегда происходит неожиданно, в самый неподходящий момент) чревато весьма серьёзными последствиями — как моральными, так и материальными. Первоначально проблемы недостаточной производительности сервера в связи ростом нагрузок можно решать путем наращивания мощности сервера, или же оптимизацией используемых алгоритмов, программных кодов и так далее. Но рано или поздно наступает момент, когда и эти меры оказываются недостаточными.

Приходится прибегать к кластеризации: несколько серверов объединяются в кластер; нагрузка между ними распределяется при помощи комплекса специальных методов, называемых балансировкой. Помимо решения проблемы высоких нагрузок кластеризация помогает также обеспечить резервирование серверов друг на друга.
Эффективность кластеризации напрямую зависит от того, как распределяется (балансируется) нагрузка между элементами кластера.

Балансировка нагрузки может осуществляться при помощи как аппаратных, так и программных инструментов. Об основных методах и алгоритмах и балансировки мы бы хотели рассказать в этой статье.
Читать дальше →
Total votes 36: ↑31 and ↓5 +26
Views 127K
Comments 15

60 кадров в секунду: новые впечатления от старого видео

Working with video *
Sandbox
Здравствуйте, уважаемые читатели этой статьи.

Оговорюсь сразу, что на Хабре уже было упоминание того, о чем я буду вещать ниже, но было это вскользь и не слишком заметно. Поэтому, думаю, не будет хуже, если я все разжую и попытаюсь привлечь к этой теме больше людей. Потому что это действительно круто!

Сидя вечером в начале этой недели я случайно, сразу на нескольких сайтах столкнулся с интересной новостью, гласящей «Кэмерон снимет продолжения «Аватара» со скоростью 60 кадров в секунду».
Кэмерон человек далеко не глупый, оттого мне стало интересно, что он хочет извлечь из этих 60 кадров, ведь человеческий глаз различает лишь 24-25 кадров за секунду.
Читать дальше →
Total votes 119: ↑102 and ↓17 +85
Views 237K
Comments 270

Взаимодействие PHP и Erlang посредством RabbitMQ

Website development *PHP *Erlang/OTP *
Recovery mode
Sandbox

Вступление


Чем больше программируешь на php, тем чаще попадаются задачи, для решения которых нужен демон на сервере. Да, конечно существует phpDaemon, cron или костыли, которые при каждом n-ом запуске скрипта вызывают какой-то определенный набор операций. Но когда мы говорим о проектах с нагрузкой больше, чем на обычном сайте, мы начинаем расстраиваться.

В одном из проектов для решения такой задачи мы решили использовать связку php+RabbitMQ+erlang. На php уже был написан необходимый функционал, нам надо было лишь разнести вызовы по времени и на разные машинки. Конкретно задача звучала так: написать парсер пользователей с внешнего хранилища данных и, самое главное, поддерживать актуальность данных, а в случае их изменения, посылать уведомления.
Читать дальше →
Total votes 18: ↑13 and ↓5 +8
Views 11K
Comments 36

Объединение узлов Proxmox в кластер при помощи OpenVPN

Virtualization *
Sandbox
Использование среды виртуализации Proxmox, а именно контейнеров OpenVZ, для создания виртуального хостинга ни для кого не станет новостью. Сервер, арендованный на площадке Hetzner, достаточно долго успешно справлялся со своими обязанностями.

Но время шло, количество данных увеличивалось, клиенты множились, рос LA… Арендован новый сервер, установлен и настроен Proxmox, администратор рвется в бой настроить кластер, чтобы мигрировать нагруженные контейнеры на новый сервер. В google найдены залежи инструкций, да и на wiki самого проекта Proxmox есть необходимая информация.
Казалось бы, что может пойти не так?
Total votes 12: ↑12 and ↓0 +12
Views 31K
Comments 29

Просмотр архивных логов apache c помощью Logstash+Elastisearch+Kibanа

System administration **nix *Apache *
Recovery mode
Tutorial
Приветствую.

Нет так давно передо мной встала задача пробежаться по старым логам apache. Надо было сделать выборку по нескольким IP адресам, отыскать некоторые аномалии и попытки SQL-injection'ов. Логов было не так много, порядка миллиона строк и можно было спокойно всё сделать стандартным набором grap-awk-uniq-wc итд.

Поскольку я уже какое-то (больше года) время пользуюсь связкой Logstash-Elasticsearch-Kibana для анализа-просмотра всевозможных логов, то решил ей воспользоваться и в данной ситуации.

Краткое описание основных компонентов системы.

Logstash — бесплатная open-source программа на java для сбора и нормализации логов. Может принимать логи либо с локальных файлов, либо через tcp/udp порты. На момент написания статьи, разных входных (input) фильтров насчитывается 26. Есть даже входной модуль, для сбора сообщений из twitter'а или irc.

Elasticsearch — бесплатный open-source поисковый сервер основанный на Apache Lucene. Быстрый, легко настраиваемый и очень масштабируемый.

Kibana — веб-интерфейс написанный на ruby, для отображения данных из Elasticsearch. Простая настройка, но множество функций — поиск, графики, stream.

Читать дальше →
Total votes 15: ↑14 and ↓1 +13
Views 46K
Comments 25

Создание консоли управления MMC

System administration *
Tutorial
Вы видели кабину пилота? Всё под рукой, никаких лишних телодвижений. Для того, чтобы взлететь, пилот не идёт в другой конец самолёта включать двигатель.



Так и в ситуации с консолями MMC. Вы создаёте для себя «пульт управления» и при определённых ситуациях нажимаете на нужные «кнопки».
Публикация рассчитана на системных администраторов, желающих познакомиться с методом создания консолей управления Windows, путём использования mmc.exe.
Читать дальше →
Total votes 29: ↑23 and ↓6 +17
Views 190K
Comments 4

Автоматизируем и ускоряем процесс настройки облачных серверов с Ansible. Часть 1: Введение

Infobox corporate blog
Ansible – популярный инструмент для автоматизации настройки и развертывания ИТ-инфраструктуры.

Основные задачи, которые решает Ansible:
  • Управление конфигурациями. Максимально быстрая и правильная настройка серверов до описанной конфигурации.
  • Провижнинг. Управление процессом развертывания новых облачных серверов (например через API, с помощью Docker или LXC).
  • Развертывание. Инсталляция и обновление ваших приложений без простоя наилучшим образом.
  • Оркестрация. Координация компонентов вашей инфраструктуры для выполнения развертываний. Например проверка, что веб-сервер отключен от балансировщика нагрузки, до апгрейда ПО на сервере.
  • Мониторинг и уведомления.
  • Логгирование. Централизованный сбор логов.



По сравнению с другими популярными инструментами автоматизации ит-инфраструктуры, Ansible не требует установки клиентских приложений на обслуживаемые сервера, что может сократить время настройки перед развертыванием инфраструктуры. Для работы Ansible подключается к обслуживаемым серверам по SSH.
Читать дальше →
Total votes 30: ↑26 and ↓4 +22
Views 79K
Comments 32

Автоматизируем и ускоряем процесс настройки облачных серверов с Ansible. Часть 2: вывод, отладка, и повторное использование playbook

Infobox corporate blog
В предыдущей статье мы начали изучение Ansible, популярного инструмента для автоматизации настройки и развертывания ИТ-инфраструктуры. Ansible был успешно установлен в InfoboxCloud, описаны принципы работы, базовая настройка. В завершении статьи мы показали как быстро установить nginx на несколько серверов.
Ansible InfoboxCloud
В этой статье мы продолжим изучение Ansible: разберем вывод playbook, научимся отлаживать их и разделять для удобства повторного использования.
Читать дальше →
Total votes 15: ↑11 and ↓4 +7
Views 17K
Comments 9

Почему OpenVPN тормозит?

System administration *Network technologies *Server Administration *
Описанная проблема присуща только ветке OpenVPN 2.3, в 2.4 размеры буферов не меняются без требования пользователя.

Время от времени, мне встречаются темы на форумах, в которых люди соединяют несколько офисов с использованием OpenVPN и получают низкую скорость, сильно ниже скорости канала. У кого-то это может быть 20 Мбит/с при канале в 100 Мбит/с с обеих сторон, а кто-то еле получает и 400 Кбит/с на 2 Мбит/с ADSL/3G и высоким пингом. Зачастую, таким людям советуют увеличить MTU на VPN-интерфейсе до чрезвычайно больших значений, вроде 48000, или же поиграться с параметром mssfix. Частично это помогает, но скорость внутри VPN все еще очень далека от канальной. Иногда все сваливают на то, что OpenVPN — userspace-решение, и это его нормальная скорость, учитывая всякие шифрования и HMAC'и. Абсурд!

Немного истории

На дворе июль 2004 года. Типичная скорость домашнего интернета в развитых странах составляет 256 Кбит/с-1 Мбит/с, в менее развитых — 56 Кбит/с. Ядро Linux 2.6.7 вышло не так давно, а 2.6.8, в котором TCP Window Scale включен по умолчанию, выйдет только через месяц. Проект OpenVPN развивается уже 3 года как, к релизу готовится версия 2.0.
Один из разработчиков добавляет код, который устанавливает буфер приема и отправки сокета по умолчанию в 64 КБ, вероятно, чтобы хоть как-то унифицировать размер буфера между платформами и не зависеть от системных настроек.
Читать дальше →
Total votes 90: ↑89 and ↓1 +88
Views 169K
Comments 61

Модернизация окружения Active Directory

Dell Technologies corporate blog
Впервые Microsoft Active Directory (AD) была выпущена вместе с Windows 2000. В те времена ее основной задачей было предоставление централизованной авторизации и аутентификации пользователей ПК и серверов Windows, а также расширение возможностей службы каталогов для организаций, использующих приложения с поддержкой каталогов (например, Microsoft Exchange).

В наши дни многое изменилось в использовании и управлении AD, в том числе и рекомендации от Microsoft по улучшению организации работы, а также стиль корпоративного управления системой. Было создано множество нормативных требований, повлиявших на развитие AD. Чтобы идти в ногу со временем, организациям стоит пересмотреть свой подход к Active Directory и модернизировать ее. Это облегчит управление и повысит эффективность работы системы.

Давайте рассмотрим значение усовершенствования AD, а также области, на которых стоит сосредоточиться для создания отвечающей современным требованиям инфраструктуры.
Читать дальше →
Total votes 21: ↑16 and ↓5 +11
Views 33K
Comments 2

Новый GNS3 — шаг вперед или прыжок на месте?

Information Security *Network technologies *


GNS3 1.2


В начале 2000х ситуация с эмуляторами сетевого оборудования выглядела достаточно плачевно.
Но затем появился Dynamips и Dynagen (консольный фронтэнд к Dynamips), которые предоставляли возможность эмулировать некоторые маршрутизаторы Cisco IOS.
Впервые Dynamips был представлен общественности в далеком 2005м году.
Это была по сути разработка одного человека.
Проект понемногу развивался, но был заброшен в 2007м, последняя версия от первоначального автора была с номером 0.2.8-RC2.
Управление при этом было далеко от удобного: в текстовых конфигурационных файлах приходилось описывать всю топологию вручную.
А затем, в 2007м году, Джереми Гроссман (Jeremy Grossman) начал разработку GNS3, в качестве своего дипломного проекта во время учебы в университете.
Со временем GNS3 стал самым узнаваемым и популярным решением для эмуляции сетевого оборудования, в первую очередь для тех кто готовился к сдаче сертификационных экзаменов.
И вот сейчас, в 2014м году, выходит эволюционная (с точки зрения разработчиков) версия GNS3 1.0.

Но перед тем как приступить к тщательному изучению новой версии, ненадолго вернемся в прошлый год, в тот момент когда стартовала новая веха разработки GNS3.
Читать дальше →
Total votes 29: ↑29 and ↓0 +29
Views 67K
Comments 13

SSL-сертификаты: всем, каждому, и пусть никто не уйдёт обиженным

Information Security *Cryptography *
Sandbox
Как ранее сообщалось на GeekTimes, EFF при поддержке Mozilla, Cisco, Akamai, IdenTrust и исследователей из Мичиганского университета (University of Michigan) создали новый некоммерческий центр сертификации (Certificate Authority) Let's Encrypt [1]. Целью проекта является ускорение перехода всемирной паутины от HTTP к HTTPS.
Подробности, часть из которых уже была описана на GeekTimes
Total votes 110: ↑110 and ↓0 +110
Views 96K
Comments 81

Как мы внедряем Open source в госкомпаниях и крупной коммерции России

КРОК corporate blog Open source *


КРОК — одна из самых больших в России компаний по построению IT-инфраструктур. У нас в год 2000+ проектов, из которых 200 штук — с бюджетом больше миллиона. Долларов. Внутри этой огромной компании есть мой небольшой отдел, который занимается тем, что ставит open source для крупных заказчиков.

Нередко приходится сталкиваться с мнением, что open source — это кривые поделки гаражных программистов. Мы работаем только с нормальным рабочим ПО; помогаем подобрать оптимальные варианты решений для инфраструктуры и обеспечиваем поддержку там, где производитель по очевидным причинам сделать этого не может. Это — не самая простая работа, в основном, связанная с мифами и легендами про открытое ПО.

Но к чёрту детали, давайте покажу, что и как можно поставить на рабочие места, сервера, в облако, для СУБД, VDI и серверов приложений. И про галстук.
Читать дальше →
Total votes 85: ↑75 and ↓10 +65
Views 82K
Comments 40

Установка, настройка и использование сканера уязвимостей сервера rkhunter

FirstVDS corporate blog Information Security *
Tutorial
На хабре не раз было упомянуто приложение под названием rkhunter. Хотелось бы остановиться на нем по подробней.

Rkhunter — это сканер различных видов локальных (потенциальных) уязвимостей (бэкдоров, эксплоитов и руткитов) со своей регулярно обновляемой базой.
Он написан на bash и perl, поэтому будет работать под любой серверной ОС на базе unix без каких-либо проблем.



Читать дальше →
Total votes 29: ↑21 and ↓8 +13
Views 65K
Comments 15

100 приемов по управлению временем, вниманием и энергией

GTD *
Translation
Примечание переводчика: Перевод первой статьи из блога «A Year of Productivity» был благосклонно встречен хабра-сообществом, и меня попросили перевести еще несколько статей из этого блога. Приведенная ниже статья — самая большая и самая близкая к практике, её перевод затянулся у меня на несколько месяцев. Как и прошлый раз рекомендую читать комфортными порциями, записывая (или копируя куда-нибудь) советы, которые хочется попробовать применить на практике.

«Хаки» времени


Ближе к концу года изучения продуктивности, я осознал, что каждая статья, которую я написал, может быть отнесена к одной из трех категорий: как лучше управлять временем, энергией или вниманием.

Управление временем – хороший источник вашей продуктивности, но все три ингредиента абсолютно важны, если вы хотите быть более продуктивными на ежедневной основе. Именно поэтому в статье вы найдете набор приемов из всех трех областей.

Для начала вот несколько моих любимых приемов по тому как:
-  получить больше времени;
-  тратить время на правильные вещи.
Читать дальше →
Total votes 71: ↑55 and ↓16 +39
Views 147K
Comments 53
1

Information

Rating
Does not participate
Location
Россия
Registered
Activity