Серверное администрирование *

Сейчас о мониторинге не пишет только мёртвый тот, у кого его нет. У нас в Тензоре мониторинг есть – это наша собственная система сбора метрик (хотя это далеко не единственное её назначение), тесно интегрированная с Zabbix.

Если вам интересно, как устроен мониторинг 5K серверов в нашей компании, с какими проблемами нам приходилось сталкиваться на пути к 1.5M метрик, 65K значений в секунду и текущему решению и как мы вообще докатились до жизни такой, добро пожаловать под кат.

Добрый день %username%! Все знают что Федеральный Закон РФ № 152 диктует нам что мы должны использовать сертифицированные средства для защиты ПДн. Была задача обеспечить безопасность канала по ФЗ-152 для удаленного подключения клиентов. Для этого было использовано сервер VPN с КриптоПро IPsec и сертификаты ГОСТ.

Инструкция внутри.

Привет, Хаброжители! Наконец-то у нас вышла книга Дженнифер Дэвис и Кэтрин Дэниелс — Философия DevOps.

IT-принцип «agile» стал мантрой цифровой эпохи. С ростом проектов, переходом от монолитных приложений к системе микросервисов, увеличением и накоплением продуктов возникают вопросы, которые требуют совершенно иного подхода. Теперь наибольший интерес вызывает находящаяся на стыке разработки и операционного управления методология DevOps.

DevOps — это не просто набор техник, это философия. Разработчики, зацикленные на пользователях, должны уделять внимание поддержке и ее запросам. Сисадмины должны сообщать о проблемах продукта и вносить свой вклад в улучшение процесса работы. Но налаживание связей внутри компании — это лишь первый шаг. Чтобы продукт стал простым и удобным, придется вложить время и ресурсы в его доработку. Конфигурация через центральную службу, внедрение простым копированием, отсутствие внешних зависимостей, обдуманные метрики вместо мусора в логах — вот лишь часть задач, которые придется решать на этом пути.

Несмотря на то, что Kubernetes представляет мир, в котором SSH не так нужен в повседневном использовании для деплоя и управления приложениями, по-прежнему бывают случаи, когда SSH полезен для сбора статистики, отладки и исправления конфигураций. Пусть через несколько лет SSH и запуск разовых отладочных сессий может уже не понадобиться, описанные ниже инструменты могут пригодиться сейчас для быстрого SSH-подключения к машинам из кластера Kubernetes.


Kubernetes хранит базу данных нод кластера, просмотреть которую можно командой kubectl get nodes. Это мощный фундамент для автоматизации и интеграции с существующими инструментами. Одним из таких инструментов является SSH-утилита Fabric, известная ещё как fabfile.py.

На этой неделе мы снова порадуем вас приятной новостью – выпущена 3CX V15.5 Beta! Это значит, что финальная версия 3CX V15.5 уже совсем не за горами. Мы получили много хороших отзывов об альфа-версии 15.5, особенно о новом веб клиенте. В бете мы сосредоточились на улучшениях и исправлениях, которые потребовались альфа-версии.

Что нового в 3CX V15.5 Beta?

• Новый веб клиент 3CX
• Интегрированный в систему отельный модуль. Документация к модулю находится в процессе подготовки.
• Новое расширение Click-to-Call для браузера Chrome
• Автоматическое переключение факс-сервера между протоколами G.711 и T.38 в зависимости от протокола передающей стороны
• Формирование отчетов в формате PDF в Linux версии 3CX
• В Информационной панели колл-центра добавлено Среднее время разговора. Информационная панель теперь находится в новом веб клиенте.
• Новый User Agent CSTA и модуль CSTA для управления телефонами Yealink, Snom, Htek и клиентами 3CX
• Пользовательский плейлист для MOH (музыки на удержании)
• Поддержка PUSH уведомлений Firebase Cloud Messaging. Для включения поддержки обновите мобильный клиент 3CX.

Как установить 3CX V15.5 Beta?

Важно отметить, что невозможно перейти с альфа-версии 3CX на бету. Необходимо деинсталлировать альфа-версию сервера и клиентов 3CX, и установить новую бету.

Если у вас уже установлена 3CX V15, бета версия доступна и в стабильном релизе, в разделе Обновления.

Если ваши пользователи перенаправляют почту на Gmail, то они вероятно перенаправляют и спам. Gmail не волнует, что почта была перенаправлена. Их системы видят, что ваш сервер присылает спам, и заносят его в чёрный список.

Проблемы с чёрным списком Gmail? Вы пришли по адресу.

Используя описанный ниже процесс, мы успешно разрешили почти все случаи включения в чёрный список Gmail, с которыми сталкивались.

Джефф Этвуд, возможно, самый читаемый программист-блоггер, опубликовал пост против использования памяти ECC. Как я понимаю, его доводы такие:

1. В Google не использовали ECC, когда собирали свои серверы в 1999 году.
2. Большинство ошибок ОЗУ — это ошибки систематические, а не случайные.
3. Ошибки ОЗУ возникают редко, потому что аппаратное обеспечение улучшилось.
4. Если бы память ECC имела на самом деле важное значение, то она использовались бы везде, а не только в серверах. Плата за такого рода опциональный материал явно слишком сомнительна.

Давайте рассмотрим эти аргументы один за другим:

Конкурентная борьба с крупными поставщиками облачных HPC-решений, такими, как AWS, Azure и т.д., для игроков поменьше – серьезный вызов. Гиганты отрасли уже сформировали общественное мнение в свою пользу. Но недавно специализирующаяся на HPC компания Penguin Computing повторила бенчмаркетинговое исследование своих старших собратьев и утверждает, что результаты показали, что их публичное облако Penguin on Demand (POD) входит в число лидеров по стоимости и производительности. Естественно, тот факт, что тесты проводил сам поставщик услуги, настораживает. Однако компания заявляет, что тесты в точности воспроизводят те, что были освещены в вышеупомянутом исследовании, и что они готовы предоставить третьим лицам возможность бесплатно самостоятельно повторить их.

Маркетинговый прием? Само собой. Исследование The Penguin стало ответом на статью «Сравнительное исследование вендоров облачных вычислений с высокой производительностью Linpack» за авторством Exabyte.io и размещенной на arXiv.org пару месяцев назад. Но Penguin не просто пытается привлечь внимание пользователей и вклиниться между гигантами Microsoft, Google, AWS, IBM/SoftLayer и Rackspace, чьи предложения были отражены в статье. Penguin также демонстрирует все возрастающее конкурентное рвение среди многих провайдеров, предлагающих облачные услуги HPC.

Сегодня мы подготовили для вас тематическую подборку материалов по теме vCloud и начала работы с IaaS (арендованной облачной инфраструктурой). Всех заинтересовавшихся приглашаем под кат.

Относительно недавно наша компания организовала программу стажировки для молодых специалистов по направлениям:

1. Основы сетевых технологий (Cisco).
2. Серверное администрирование (Windows, Linux).
3. Технологии виртуализации и систем хранения данных (VMware, Microsoft Hyper-V).
4. Современные средства защиты информации (UTM, NGFW, Sandbox и т.д.).
5. Этичный хакинг (CEH) и Pentest.
6. Обработка машинных данных (Log management — Splunk, MaxPatrol SIEM)

Если взять сетевое направление, то в ходе практики, почти у всех начинающих сетевых инженеров или студентов данного направления возникает вопрос: “Что нужно знать сетевому инженеру? На чем сосредоточить силы?”. Я всегда начинал советовать какие-то темы и направления, затем понял, что было бы неплохо составить некий чек-лист, для молодых инженеров, чтобы у них был ясный вектор развития. Кроме того я попытаюсь дать ссылки на ресурсы, где эти навыки можно получить. Естественно универсального списка нет и все что я могу предложить это свое представление о необходимых навыках любого сетевого инженера. Данный список составлялся на основе личного опыта и отражает то, с чем чаще всего приходится сталкиваться в работе. Уверен, что у большинства есть свое мнение на счет обязательных навыков и скорее всего оно не совпадает с моим. Если вас заинтересовала данная тема, то добро пожаловать под кат…

В 4-м тематическом дайджесте мы решили собрать лучшие материалы по теме, которые выходили в нашем тематическом блоге на сайте и на Хабре.

Другие выпуски дайджеста:

• Технологии DPI и оборудование СОРМ
• Дайджест материалов по теме Deep Packet Inspection
• Анализ трафика, сравнение платформ и производителей DPI-систем

В апреле в Москве прошел Uptime Day — первая встреча сообщества uptime.community — сообщества людей, которые занимаются мониторингом, круглосуточной поддержкой и администрированием сложных проектов. ITSumma — идейный вдохновитель и один из организаторов этого сообщества. На встрече специалисты из компаний Booking, Badoo, Parallels, ITSumma и Bitrix24 рассказали, как у них устроены мониторинг и поддержка.

Мы выкладываем слайды, тезисы, видео с выступлений и расскажем немного о самом сообществе.

В первой части статьи «Ускоряем восстановление бэкапов в Postgres» я рассказал о предпринятых шагах по уменьшению времени восстановления в локальном окружении. Мы начали с простого: pg_dump-пили (а есть ли такое слово?), паковали gzip-ом, распаковывали и направляли вывод в psql < file.sql. На восстановление уходило около 30 минут. В итоге мы остановились на настраиваемом (custom) формате Postgres и применили аргумент -j, добившись уменьшения времени до 16 минут.

В этой статье я описал, как нам удалось уменьшить размер файла резервной копии, что дополнительно ускорило процедуру восстановления.

Артем Каличкин (ЦФТ)

Меня зовут Артем Каличкин, я работаю в компании «Центр Финансовых Технологий», которая занимает лидирующие позиции по производству и разработке программного обеспечения для банковского и финансового сектора. Я занимаю должность директора по сопровождению эксплуатации.

Возможно ли использование практик и подходов DevOps, CD в корпоративной среде? Какие особенности? SPARC + Unix (Solaris)? Вертикальное масштабирование и как следствие — разная конфигурация в бою и на стейдже. Об этом и поговорим.

Энергопотребление компьютера с ОС Linux и сервисом Docker без всякой нагрузки (без загрузки контейнера)

Виртуализация даёт множество преимуществ — особенно для изоляции процессов и контроля за ресурсами. Развёртывание программ стало как никогда простым благодаря образам полной и сконфигурированной системы. Работа гипервизора для виртуальных машин означала одновременную работу двух ядер операционной системы. Поэтому появились легковесная альтернатива виртуальным машинам — контейнеры, которые сейчас быстро вытесняют виртуальные машины как наиболее оптимальный способ виртуализации.

Поскольку в контейнерах не работают одновременно два ядра операционной системы, как в виртуальных машинах, то казалось бы, что энергопотребление у них должно быть такое же, как при работе обычной операционной системы. Но это не так. Cравнительное тестирование Linux и Docker показало, что энергопотребление контейнеров Docker чуть выше.

Работа с событиями в Flussonic для мониторинга

Пользователи часто обращаются с вопросом: как сделать так, что бы Flussonic прислал письмо при падении потока.

Включив зануду можно пробубнить о том, что непонятно что такое падение и и т.п.  Вопросов масса, потому что битрейт потока ненулевой, кадры идут, а там будет белый шум или черный экран. Поток вроде как работает, а по сути нет. Но рассмотрим решение оригинальной задачи с помощью новой системы событий.

Одним из способов улучшения производительности и уменьшения латентности в системах хранения данных (СХД) является использование алгоритмов, анализирующих входящих трафик.

С одной стороны, кажется, что запросы к СХД сильно зависят от пользователя и, соответственно, мало предсказуемы, но на деле это не так.

Утро практически любого человека одинаково: мы просыпаемся, одеваемся, умываемся, завтракаем, едем на работу. Рабочий день же, в зависимости от профессии, у всех разный. Также и загрузка СХД изо дня в день одинакова, а вот рабочий день зависит от того, где используется СХД и какая у неё типичная нагрузка (workload).

Для того, чтобы нагляднее представить наши идеи, мы воспользовались образами персонажей из детских рассказов о Николая Носова. В данной статье основными действующими лицами выступят Незнайка (случайное чтение) и Знайка (последовательное чтение).

В этой статье мы рассмотрим весьма полезную технологию – пользовательские шаблоны IP телефонов 3CX. Шаблоны автонастройки 3CX позволяют автоматически единообразно настроить большой парк IP телефонов в организации. Однако 3CX поставляется с готовыми шаблонами, настроенными разработчиками 3CX таким образом, чтобы они подходили большинству потребителей. Если у вашей организации есть какие-либо особые требования к конфигурации IP телефонов, например, собственная “раскладка” программируемых кнопок под дисплеем телефона, конфигурация мелодий вызова, специфические параметры SIP и т.п. – модифицируйте стоковый шаблон под ваши нужды. Как это сделать, описано ниже.

Начало работы

Прежде всего, сделайте копию стокового шаблона 3CX. И уже с копией продолжайте работу.

Мои ощущения от процесса работы

Недавно я решил заняться ускорением восстановления нашей базы данных в dev-окружении. Как и во многих других проектах, база вначале была небольшой, но со временем значительно выросла. Когда мы начинали, ее размер было всего несколько мегабайт. Теперь упакованная база занимает почти 2 ГБ (несжатая — 30 ГБ ). Мы восстанавливаем dev-окружение в среднем раз в неделю. Старый способ проведения операции перестал нас устраивать, а вовремя подвернувшаяся в Slack-канале картинка “DB restore foos?” побудила меня к действию.

Ниже описано, как я ускорял операцию восстановления базы данных.

Помимо того, что Splunk может собирать логи практически из любых источников и строить аналитические отчеты, дашборды, алерты на основе встроенного языка поисковых запросов SPL, о котором мы писали в предыдущих статьях, Splunk еще имеет очень большую базу бесплатных аддонов и приложений.

Сегодня мы рассмотрим одно из самых популярных, с точки зрения пользователей, приложений — Splunk Machine Learning Toolkit.