Системное администрирование *

Стояла задача: в цикле, из скрипта на php5 зайти по ssh на Mikrotik, сгенерировать скрипт с текущим конфигом, забрать скрипт на некое локальное хранилище. И так для ~500 роутеров. Так как в провайдерских кругах микротик весьма нередкий зверь — думаю кому-то ещё может пригодиться.

Так как глубоких познаний в тонкостях реализации ssh2 на микротике, в пхп, да и вообще — не имею, а сроки сильно ограничены, встретившиеся проблемы решал подручными средствами и инструментами, особо не заботясь об «элегантности».

В процессе обнаружилось следущее:

О чем речь

Доброго времени суток, %username%.

Сегодня я хотел бы рассказать как легко и ненавязчиво создать свой rpm-репозиторий, а так же заполнить его оптимизированными под ваш любимый дистрибутив пакетами. И так, для этого нам надо: дистрибутив любимый одна штука(в моём случае это VZшка с Centos 5.5), rpm-build, mock, createrepo. Все пакеты можно обнаружить в стандартных репозиториях centos.

Всем привет!
Давеча возникла необходимость упрятать некоторый сервис в DMZ. Сервис этот крутится в W2K3, и мне не хотелось чтобы машина с OS Windows смотрела в интернет и в локальную сеть ни чем незащищенная(«виндовые» фаерволы просто идут лесом).
Помянуя успешный опыт работы с Asus WL 520GU и DD-WRT, решил пойти по проторенной дороге, но в качестве прошивки для роутера выбрал OpenWRT.
Схему работы связки можно увидеть на рисунке.

Итак, от слов перейдем к делу.

Посудите сами, как же это здорово — платить меньше, а получать больше. Фантастика? Вовсе нет. Весь истеричный вой вокруг системы гос. торгов РФ, сайта госзакупок и золотой пилы поднимают либо те, у кого их собственная пилка маловата и к сочному нефтяному или министрескому пирогу никак не получилось присосаться, либо те, кто вообще не способен работать на конкурсной основе. Ребята, 94-ФЗ, — это же настоящее золото! Целый, можно даже сказать, Клондайк. Ведь тендер, это не просто определенный ритуал. Основная ценность в том, что он силой принуждения заставляет шевелиться всех без исключения участников процесса: заказчик по закону обязан ежегодно оценивать рынок в поисках лучшего, а продавцы вправе оспаривать его выбор и предлагать свои варианты. И бухгалтерия не ноет. Точнее ноет, но это уже никого совершенно не волнует.

Взять, к примеру, наш ВУЗ, старейший и крупнейший в регионе. В 2006 году мы, если память не подводит, платили за интернет по 3 рубля за мегабайт со скоростью в районе одного мегабита, а сейчас отдаем 25 000 р. в месяц за 20 полноценных Мбит/с. Здорово, правда? Да не то слово! Получилось бы такое без ежегодных конкурсов на услуги? Не уверен: вряд ли бухгалтерия дала бы постоянно перезаключать договора, найдя тысячу причин, покрывающих собственную лень. Да и провайдеры регулярно пытаются надавить или же изменить условия в свою пользу.… Но тут, как чертик из табакерки, на свет появляется 94-ФЗ и действует кое на кого получше иных таблеток отрезвина или микстуры от жадности.

Есть программа iperf, которая позволяет проверять скорость интерфейсов (у меня на тестах из 10G интерфейса она выжимала 9.37 Гбит/с).

Пакет (в дебиане и убунте) так и называется — iperf.

Применение очень простое: на одном сервере запускаете iperf -s X.X.X.X (свой собственный адрес сервера, на котором слушать). Можно запустить просто iperf -s, тогда слушать будет на всех интерфейсах.

На клиентской части пишем iperf -c X.X.X.X (адрес сервера из предыдущего этапа). Клиент подключается, работает 10 с и показывает скорость работы канала.

Пример: сервер имеет адрес 192.0.2.1, клиент 192.0.2.200. На сервере запускаем iperf -s 192.0.2.1 на клиенте iperf -c 192.0.2.1.

Для того, чтобы сделать много байтов (привет хостерам с соотношениями) нужно просто указать опцию -t (время в секундах). Многие гигабайты трафика в нужном направлении вам обеспечены. С учётом текущих тарифов для дома — можно даже с домашней машины, за 3-4 часика можно выправить любое соотношение с минимальной нагрузкой как на сервер, так и на клиента.

iptables — интерфейс к файрволу Linux (netfilter). При большом количестве правил iptables нагрузка может быть достаточно высокой и создавать проблемы. В этой заметке я постараюсь описать, что влияет на производительность iptables и как ее повысить.

Написано по следам публикации Большие потоки трафика и управление прерываниями в Linux

В нашей городской сети более 30 тысяч абонентов. Суммарный объем внешних каналов — более 3 гигабит. А советы, данные в упомянутой статье, мы проходили еще несколько лет назад. Таким образом, я хочу шире раскрыть тему и поделиться с читателями своими наработками в рамках затрагиваемого вопроса.

В заметке описываются нюансы настройки/тюнинга маршрутизатора и NAT-сервера под управлением Linux, а также приведены некоторые уточнения по поводу распределения прерываний.

В этой статье я опишу что из себя представляет технология доступа в Интернет IPoE, которой на самом деле не существует. А также расскажу про схему Client-VLAN и про опцию 82 DHCP (DHCP Option 82), которые стали неотъемлемой частью этой несуществующей технологии. Все это, конечно же, с технической точки зрения и с примерами конфигов.

Мне очень понравился топик про распределение нагрузки от прерываний сетевого адаптера по процессорам, поэтому я решил описать как это делается в Windows.

Disclaimer: судя по некоторым комментариям в предыдущих постах, мне стоит повторить то, с чего я начал первый пост: я не даю (и не могу давать) общеприменимых рецептов. Особенно это касается производительности, где мельчайшая неучтенная деталь может катастрофически повлиять на результат. Вернее рекомендацию то я даю: ТЕСТИРОВАНИЕ И АНАЛИЗ. Смысл моей писанины в том, чтобы дать людям как можно больше информации для анализа, ведь, чем больше понимаешь в том, как что либо работает, тем легче находить пути устранения боттлнеков.

Итак, масштабируемость пропускной способности сети. Потребуется Windows Server 2003 SP2+. Сетевая карта, поддерживающая Receive Side Scaling (можно с достаточной долей уверенности сказать, что подойдет любая серверная сетевая карта, выпущенная в последние 5 лет или любая вообще 1Gb+ NIC, хотя частенько можно увидеть RSS и на 100Mb). Устанавливаем Windows Server и драйвера на карту…

OpenDPI — библиотека для классификации трафика на основе технологии глубокого анализа пакетов (DPI — Deep Packet Inspection). Проект IPP2P более не поддерживается, и, в качестве замены, предлагает использовать именно OpenDPI. В отличие от IPP2P, основной целью которого является определение именно p2p трафика, OpenDPI поддерживает широкий набор различных протоколов. OpenDPI изначально спроектирован для очень низкого уровня ложных положительных срабатываний. В отличие от L7-filter не требует наложения патчей на iptables и ядро; работает в виде модуля ядра и библиотеки xtables. Также определения протоколов представляют собой не список регэкспов, а модули на C, что повышает быстродействие. Недавно для этой библиотеки была реализована поддержка iptables.
А теперь давайте попробуем использовать OpenDPI на практике.

Допустим у вас куча офисов, в каждом из которых стоит ESET NOD32 и есть OpenVPN для связи. При этом в каждом офисе будет один компьютер, на котором будет установлена лицензия и который будет закачивать обновления, остальные антивирусы будут закачивать обновления с него. После установки лицензии становится доступным обновление по HTTP (в нашем случае указываем в настройках порт 8081).

Суть метода заключается в скачивании файла update.ver антивируса NOD32
через встроенный HTTP-сервер для раздачи обновлений. Реализация написана
на php+gd. В случае возникновения ошибки выводится расшифровка ошибки.

В любом случае ознакомьтесь что такое ESET Remote Administrator (ERA) — иногда все-таки лучше использовать готовые решения (правда за деньги).

В этой заметке я опишу методы увеличения производительности линуксового маршрутизатора. Для меня эта тема стала актуальна, когда проходящий сетевой трафик через один линуксовый маршрутизатор стал достаточно высоким (>150 Мбит/с, > 50 Kpps). Маршрутизатор помимо роутинга еще занимается шейпированием и выступает в качестве файрволла.

В этой статье я опишу принципиальные различия Apache и Nginx, архитектуру фронтэнд-бэкэнд, установку Apache в качестве бэкэнда и Nginx в качестве фронтэнда. А также опишу технологию, позволяющую ускорить работу веб-сервера: gzip_static+yuicompressor.

Недавно встала задача в NT4-домен на основе SAMBA включать 7-ки.
Причем нужно было перенести существующую базу пользователей и компьютеров.

На хабре тема не освещена, тем не менее добрые люди уже выложили в интернет собственный опыт обновления. Самба у нас тоже с openldap-бэкендом. В общем подтверждаю — всё работает на ура, обновление прошло без проблем.

Я внесу свои 5 копеек.
Итак, для CentOS 5 rpm-ки можно скачать здесь:
ftp.sernet.de/pub/samba/3.5/centos/5/i386 (я использовал 3.5.6)
Нужно помимо файлика Win7-Samba3DomainMember.reg также установить хотфикс, чтобы не показывались никакие ошибки. Ссылка здесь.

Мне понадобились вот эти пакеты:
samba3-client-3.5.6-43.el5
libwbclient0-3.5.6-43.el5
samba3-3.5.6-43.el5
samba3-winbind-3.5.6-43.el5 (только если нужен winbind)

Дополнительно (чтобы поддерживались в системе smb:// адреса):
libsmbclient0-3.5.6-43.el5

Напоминаю, что для включения в домен нужна версия Windows 7 Professional, Ultimate или Enterprise.
Если вы уже установили Win7 и настроили учетную запись, то весьма кстати может оказаться программа User Profile Wizard. Она поможет текущий сеанс смапить под пользователя домена. Протестировал- работает.

В своей предыдущей статье я вкратце коснулся темы создания High Availability решения на основе демона heartbeat. Однако, как выяснилось, что-то сложнее чем 2-х узловой кластер на нем делать не так уж удобно. Изучение проблемы вывело меня на след проекта Pacemaker. Его-то мы сейчас в кратце и рассмотрим.

Интернет пришел и в наш город!

Интернет провайдеры в Воронеже последние 2 года развиваются и плодятся с огромной скоростью, в связи с чем приходится менять и апгрейдить и своё клиентское интернет-оборудование. Долгое время у меня в качестве доступа к сети использовался ADSL2+ модем и недорогой Wi-Fi роутер, но мой провайдер решил начать параллельно с доступом по телефонной линии предоставлять возможность подключения и по Ethernet или как его называет Домолинк — Fttx. Вместе с этим также стала доступна бесплатная услуга Открытое ТВ, представляющая из себя ничто иное как IPTV по протоколу UDP. Всё это и подтолкнуло меня на замену простенького Level ONE WBR-3408 на что-то более функциональное. К моему удивлению оказалось, что функциональность не всегда идёт рука об руку с высокой ценой. О том, как и почему я выбрал именно Dlink dir-615 можно узнать под катом.

Исходные данные:

• Asterisk 1.6.2 — из родного репозитория Ubuntu
• Ubuntu 10.04.1 LTS — контейнер в минимальной установке (x64bit)
• Хостовая система для OpenVZ — Debian GNU/Linux 5.0 (Lenny) 2.6.26-2-openvz-amd64 — ядро из родного репозитория.

Устанавливаем и настраиваем OpenVZ хост. Особенности настройки OpenVZ-хоста тут рассматриваться не будут.
Считаем, что у нас он корректно настроен, включая NAT для гостевых машин и проброс необходимых для сервера портов.

Просмотрев большинство тематических постов на хабре был безмерно удивлён тому факту, что крайне скудно освещена тема использования ОС Unix/Linux на службе интернет провайдеров (Internet service provider). Данной статьёй я частично попытаюсь восполнить данный пробел.

Сегодня утром, а судя по форумам и вчера вечером ощутили действие нового апдейта Антивируса Касперского.

Сегодня утром (вернее все еще вчера скончались) начали умирать сервера. 100% загрузка процессора и утекающая память

Каждые 3 минуты, происходит событие:

Произошло необработанное исключение.
Процесс: kavfswp.exe [4508].
Адрес: 0x04E2A571.
Код исключения: 0xc0000005.

Падают все сервера с KAVFSEE 6.0.2.555 на борту.

Сервера с ОЗУ менее 2гб упали сразу. Остальные крепились до последнего.

Так скажем СПАСИБО Касперскому за наши тяжкие трудовые будни.

Сисадмины делятся на тех, кто не делает бэкапы и тех кто уже делает. народная мудрость

Сегодня у небезызвестного форума sysadmins.su (форум настоящих профессионалов) случилось горе. Полетел RAID массив и большая часть данных была утеряна. По прикидкам, ребята откатили форум аж на 2 месяца.

И печально и смешно.

UPD: Кстати, кто зарегистрирован там, могут почитать соответствующую тему об этом.