Как стать автором
Обновить
47.54

Серверное администрирование *

Установка, настройка, обслуживание

Сначала показывать
Порог рейтинга
Уровень сложности

Телепортируем процесс на другой компьютер! 

Время на прочтение12 мин
Количество просмотров14K
Однажды коллега поделился размышлениями об API для распределённых вычислительных кластеров, а я в шутку ответил: «Очевидно, что идеальным API был бы простой вызов telefork(), чтобы твой процесс очнулся на каждой машине кластера, возвращая значение ID инстанса». Но в итоге эта идея овладела мной. Я не мог понять, почему она такая глупая и простая, намного проще, чем любой API для удалённой работы, и почему компьютерные системы, кажется, не способны на такое. Я также вроде бы понимал, как это можно реализовать, и у меня уже было хорошее название, что является самой трудной частью любого проекта. Поэтому я приступил к работе.

За первые выходные сделал базовый прототип, а второй уикенд принёс демку, которая могла телефоркнуть процесс на гигантскую виртуальную машину в облаке, прогнать рендеринг трассировки путей на множестве ядер, а затем телефоркнуть процесс обратно. Всё это завёрнуто в простой API.

На видео показано, что рендеринг на 64-ядерной VM в облаке завершается за 8 секунд (плюс 6 секунд на телефорк туда и обратно). Тот же рендеринг локально в контейнере на моём ноутбуке занимает 40 секунд:

Всего голосов 53: ↑53 и ↓0+53
Комментарии12

Автоматическая настройка и оптимизация сервера MySQL для повышения производительности

Время на прочтение4 мин
Количество просмотров11K
Всем привет.

Хочу обсудить с сообществом наш проект, с помощью которого можно за 1 минуту создать конфигурационный файл MySQL, оптимизированный под производительность (тюнинг MySQL). Таким образом можно достаточно быстро создавать конфигурационный файл для первичной оптимизации производительности MySQL.
Читать дальше →
Всего голосов 4: ↑4 и ↓0+4
Комментарии50

Управление нагрузкой на PostgreSQL, когда одного сервера уже мало. Андрей Сальников

Время на прочтение26 мин
Количество просмотров25K

Предлагаю ознакомиться с расшифровкой доклада начала 2019 года Андрея Сальникова "Управление нагрузкой на PostgreSQL, когда одного сервера уже мало"


Основные тезисы:
1) Стандартные практики распределения нагрузки в PostgreSQL. Сначала мы обсудим причины возникновения высокой нагрузки на базу данных. Следующим этапом рассмотрим те методы распределения нагрузки.
2) Будут рассмотрены вопросы того, как устроена репликация в PostgreSQL, какие есть различия между синхронными и асинхронными репликами, как правильно настраивать реплики.


Всего голосов 18: ↑18 и ↓0+18
Комментарии4

Windows Server или Linux-дистрибутивы? Выбираем серверную ОС

Время на прочтение6 мин
Количество просмотров82K


Операционные системы — это краеугольный камень современной индустрии. С одной стороны они потребляют ценные ресурсы сервера, которые можно было бы пустить на что-нибудь более полезное. С другой — операционная система выступает оркестратором для приложений сервера и позволяет сделать из однозадачного вычислительного комплекса многозадачную платформу, а также облегчает взаимодействие всех заинтересованных сторон с оборудованием. Сейчас основной мейнстрим серверных ОС — это Windows Server + несколько Linux-дистрибутивов различной направленности. Каждая из этих операционных систем имеет свои плюсы, минусы и ниши применения. Сегодня мы кратко поговорим о тех системах, которые поставляются вместе с нашими серверами.
Читать дальше →
Всего голосов 71: ↑41 и ↓30+11
Комментарии151

Истории

Лицензия iLO Advanced. Для чего она нужна именно сейчас?

Время на прочтение4 мин
Количество просмотров22K


В статье рассмотрел наиболее важные, на мой взгляд, преимущества лицензии iLO Advanced для процессора управления HPE Proliant Light-Out. И, самое главное, написал инструкцию, как получить временную лицензию со сроком действия до 1 января 2021 года.


Читать дальше →
Всего голосов 6: ↑6 и ↓0+6
Комментарии9

Минута саморекламы: Вечерняя школа Слёрма по Kubernetes

Время на прочтение2 мин
Количество просмотров2.4K

Вечерняя школа Слёрма дает введение в Kubernetes с нуля для тех, кто хорошо знает Linux.
У нас бесплатные лекции и платная практика.


На этой неделе разбирали основы Kubernetes.


Лекция №1: Введение в Kubernetes, Pod, Replicaset



Лекция №2: Deployment, Probes, Resources



В конце лекции студенты получили домашнее задание:


  • Запустить Pod, Replicaset, Deployment
  • Посмотреть что происходит на уровне Docker
  • Добавить в Deployment Startup Probe
  • Узнать как управлять ресурсами Huge Page
  • Почитать про QoS
  • Ознакомится с документацией

Это задание мы разбирали на платной практике.



(По неизвестной причине встраивание не работает)

Всего голосов 17: ↑13 и ↓4+9
Комментарии0

Как построить ракетный ускоритель для скриптов PowerCLI 

Время на прочтение9 мин
Количество просмотров2.5K
Рано или поздно любой системный администратор VMware доходит до автоматизации рутинных задач. Начинается все с командной строки, потом идет PowerShell или VMware PowerCLI.

Допустим, вы освоили PowerShell чуть дальше запуска ISE и использования стандартных командлетов из модулей, которые работают за счет «какой-то магии». Когда вы начнете считать виртуальные машины сотнями, то обнаружите, что скрипты, которые выручали на малых масштабах, работают заметно медленнее на больших. 

В этой ситуации выручат 2 инструмента:

  • PowerShell Runspaces – подход, который позволяет распараллелить выполнение процессов в отдельных потоках; 
  • Get-View – базовая функция PowerCLI, аналог Get-WMIObject в Windows. Этот командлет не тянет за собой сопутствующие сущности объекты, а получает информацию в виде простого объекта с простыми типами данных. Во многих случаях выходит быстрее.

Дальше кратко расскажу про каждый инструмент и покажу примеры использования. Разберем конкретные скрипты и посмотрим, когда лучше работает один, когда второй. Поехали!


Читать дальше →
Всего голосов 14: ↑14 и ↓0+14
Комментарии0
Карантин заставил IT-отрасль перейти на удаленку. Оказалось, что инфраструктура многих компаний к такому не готова — удаленный доступ дается на скорую руку, а VPN-серверы конфигурируют за пару дней. А еще дистанционная работа обостряет человеческий фактор, из-за которого продуманная безопасность инфраструктуры может дать течь в самых ожидаемых местах. Вместе со Skolkovo Cybersecurity Challenge мы собрали несколько ошибок IT-компаний, на которых можно научиться соблюдать цифровую гигиену.
Читать дальше →
Всего голосов 18: ↑17 и ↓1+16
Комментарии5

WAL-G: новые возможности и расширение сообщества. Георгий Рылов

Время на прочтение10 мин
Количество просмотров2.8K

Предлагаю ознакомиться с расшифровкой доклада начала 2020 года Георгия Рылова "WAL-G: новые возможности и расширение сообщества"


У меинтейнеров open-source возникает множество проблем по мере их роста. Как писать все больше требуемых фич, чинить все больше issues'ов и успевать смотреть все больше pull request'ов? На примере WAL-G(backup-tool for PostgreSQL) расскажу про то, как мы решали эти проблемы, запустив курс по Open-source разработке в университете, чего мы добились и куда будем двигаться дальше.


Читать дальше →
Всего голосов 12: ↑12 и ↓0+12
Комментарии0

Odyssey: архитектура, настройка, мониторинг. Андрей Бородин (2020)

Время на прочтение20 мин
Количество просмотров15K

Предлагаю ознакомиться с расшифровкой доклада начала 2020 года Андрея Бородина "Odyssey: архитектура, настройка, мониторинг"


Совсем недавно мы выпустили версию 1.0 нашего пулера соединений Odyssey. Он призван решить проблемы управления соединениям высоконагруженных инсталляций PostgreSQL. В этом докладе я хотел бы рассказать об архитектуре и эксплуатации Одиссея. Также будут затронуты проблемы, которые были решены в достаточно длинном переходе между 1.0rc и 1.0.


Читать дальше →
Всего голосов 14: ↑14 и ↓0+14
Комментарии1

Zabbix 5.0, или Что нового нас ждет с шаблоном Template Server by IPMI

Время на прочтение4 мин
Количество просмотров14K


Нужно поставить оборудование на мониторинг, а в любимой системе Zabbix нет готового шаблона под этот тип оборудования. Знакомая ситуация? Каждый выкручивается из нее по-своему. Один администратор ищет решение на просторах интернета. Второй — разрабатывает свое. А некоторые махнут на эту задачу рукой. Сейчас команда Zabbix с каждым новым релизом расширяет набор предустановленных в системе шаблонов. Например, в готовящейся к выходу версии 5.0 появится новый универсальный шаблон для мониторинга серверов через IPMI — Template Server by IPMI. Коллеги попросили помочь в отладке его работы на оборудовании различных производителей. Для нас это еще уникальная возможность устроить тест-драйв новому функционалу. Делимся результатами.
Читать дальше →
Всего голосов 21: ↑20 и ↓1+19
Комментарии9

Промышленный подход к тюнингу PostgreSQL: эксперименты над базами данных". Николай Самохвалов

Время на прочтение18 мин
Количество просмотров7.3K

Предлагаю ознакомиться с расшифровкой доклада Николая Самохвалова "Промышленный подход к тюнингу PostgreSQL: эксперименты над базами данных"


Shared_buffers = 25% – это много или мало? Или в самый раз? Как понять, подходит ли эта – довольно устаревшая – рекомендация в вашем конкретном случае?


Пришло время подойти к вопросу подбора параметров postgresql.conf "по-взрослому". Не с помощью слепых "автотюнеров" или устаревших советов из статей и блогов, а на основе:


  1. строго выверенных экспериментов на БД, производимых автоматизированно, в больших количествах и в условиях, максимально приближенных к "боевым",
  2. глубокого понимания особенностей работы СУБД и ОС.

Используя Nancy CLI (https://gitlab.com/postgres.ai/nancy), мы рассмотрим конкретный пример – пресловутые shared_buffers – в разных ситуациях, в разных проектах и попробуем разобраться, как же подобрать оптимальную настройку для нашей инфраструктуры, БД и нагрузки.


Всего голосов 18: ↑17 и ↓1+16
Комментарии0

Banana Pi R64 Лучший роутер для OpenWrt, или нет?

Время на прочтение6 мин
Количество просмотров29K
image

Здравствуйте меня зовут Дмитрий и сегодня я сделаю обзор на одноплатный компьютер Banana Pi R64. Мы узнаем как установить на него OpenWrt а также как собрать самому прошивку под этот компьютер.
Читать дальше →
Всего голосов 26: ↑23 и ↓3+20
Комментарии94

Ближайшие события

Как устроена Вечерняя школа по Kubernetes

Время на прочтение2 мин
Количество просмотров4K
Слёрм запустил Вечернюю школу по Kubernetes: цикл бесплатных лекций и платных практических занятий для тех, кто изучает k8s с нуля.

Занятия ведут Марсель Ибраев, инженер Southbridge, CKA, и Сергей Бондарев, инженер Southbridge, СКА, один из разработчиков kubespray с правами на принятие pull request.

Выкладываю записи первой недели для тех, кто перед регистрацией хочет понять, как у нас все устроено.

На первой неделе разбирали Docker. Перед нами стояла конкретная задача: дать основы Docker, достаточные для последующей работы с k8s. Поэтому под него выделили одну неделю, и многое осталось за кадром.

Запись первого дня:

Всего голосов 17: ↑14 и ↓3+11
Комментарии0

6 ключевых вопросов при переводе бизнеса в облако

Время на прочтение6 мин
Количество просмотров4.2K


Из-за вынужденных каникул даже крупным компаниям с развитой IT-инфраструктурой сложно организовать удаленную работу персонала, а у малого бизнеса попросту не хватает ресурсов для развертывания необходимых сервисов. Другая проблема связана с информационной безопасностью: открывать доступ во внутреннюю сеть с домашних компьютеров сотрудников рискованно без применения специализированных продуктов корпоративного класса. Аренда виртуальных серверов не требует капитальных затрат и позволяет вынести временные решения за пределы защищенного периметра. В небольшой статье мы рассмотрим несколько типовых сценариев использования VDS в условиях самоизоляции. Сразу стоит отметить, что статья ознакомительная и ориентирована больше на тех, кто только вникает в тему.
Читать дальше →
Всего голосов 34: ↑33 и ↓1+32
Комментарии1

Сравнение производительности HTTP/3 и HTTP/2

Время на прочтение5 мин
Количество просмотров21K


Мы в Cloudflare объявили о поддержке HTTP/3 в сентябре прошлого года, когда отмечали девятый день рождения. Наша задача всегда состояла в улучшении интернета. Сотрудничество в области стандартов — важная часть процесса, и нам повезло участвовать в разработке HTTP/3.

Хотя HTTP/3 ещё на стадии черновика, мы заметили большой интерес к новому протоколу со стороны наших пользователей (инфраструктура Cloudflare обслуживает более 10% сайтов интернета — прим. пер.). К настоящему моменту поддержку HTTP/3 активировали более 113 000 зон, и если у вас экспериментальный браузер, то теперь вы можете получить доступ к этим зонам по новому протоколу! Здорово, что его включили так много людей: работа по HTTP/3 большого количества реальных веб-сайтов означает, что можно тестировать больше разнообразных свойств со стороны браузеров.
Читать дальше →
Всего голосов 18: ↑17 и ↓1+16
Комментарии8

Что такое Azure Stack HCI и как это работает

Время на прочтение10 мин
Количество просмотров6.1K
Привет, Хабр! Сегодня мы хотим рассказать о том, что представляет из себя платформа Azure Stack HCI. В том числе, что это вообще такое, из какого железа собрано, какой софт содержит, как работает, и вот это вот все. Присоединяйтесь!



Это гостевая публикация от ребят из «АльтаСтор». «АльтаСтор» — это системный интегратор, специализирующийся на построении решений для надежного хранения данных. Благодаря накопленной экспертизе в построении кластеров отказоустойчивости и HCI, для каждого клиента подбирается индивидуальное решение, наилучшим образом подходящее для его задач.
Читать дальше →
Всего голосов 8: ↑7 и ↓1+6
Комментарии0

Как наладить безопасный доступ к серверам в режиме удалённой работы

Время на прочтение2 мин
Количество просмотров9.3K


Тут на Хабре уже десятки статей, повествующих, как люди переживали переход на удалёнку, как переживали первые дни удалёнки, потом – как прошла первая неделя, и всё такое прочее. Иногда между описанием эмоций проскакивали какие-то дельные советы. Мы как люди с 12-летним опытом удалённого администрирования серверов решили рассказать про инструмент, без которого удалёнка превращается в довольно опасное для вашего бизнеса мероприятие. Почему? — Потому что народ думает о чём угодно (в первую очередь, конечно, о проклятых бесплатных 40 минутах в «зуме»), но не о безопасности. Точнее, разумеется, вы задумывались об этом вопросе — но поспорим, что он не был первым в очереди?

И встречный вопрос: интересно, к чему привели ваши думы? Ведь ваши коллеги, рассевшись по уютным квартирам и домам, ходят с незащищённого оборудования по незащищённым каналам и буквально трогают всем этим серверы компании…

Мы хотим поделиться с вами open-source версией инструмента, используемого в нашей компании в роли бастионного сервера. Называется он «Сервер аутентификации DevOpsProdigy Isolate».
Читать дальше →
Всего голосов 15: ↑12 и ↓3+9
Комментарии3

Более безопасное подключение к SSH с помощью DNSSEC

Время на прочтение6 мин
Количество просмотров16K

Все, кто использует SSH знают, что при первом подключении к серверу, появляется сообщение с подтверждением отпечатка ключа. Дальше ключ сохраняется на стороне клиента, и больше это сообщение не показывается до момента пока сохраненный ключ не изменится. Но в чем практический смысл этой процедуры?

В реальной жизни почти никто не проверяет отпечаток SSH-ключа сервера не особенно задумываясь о возможности MiTM-атаках. С появлением DNS-записи SSHFP отпечаток ключа сервера можно хранить в DNS и проверять его подлинность с помощью DNSSEC. При этом не нужно даже подтверждать ключ при первом подключении. В статье разберем, как настроить запись SSHFP для своего SSH-сервера.
Читать дальше →
Всего голосов 39: ↑39 и ↓0+39
Комментарии43

Как привести в порядок перегруженный сервер?

Время на прочтение11 мин
Количество просмотров19K
Материал, перевод которого мы сегодня публикуем, посвящён поиску узких мест в производительности серверов, исправлению проблем, улучшению производительности систем и предотвращению падения производительности. Здесь, на пути к решению проблем перегруженного сервера, предлагается сделать следующие 4 шага:

  1. Оценка ситуации: определение узкого места производительности сервера.
  2. Стабилизация сервера: применение срочных мер по улучшению ситуации.
  3. Улучшение системы: расширение и оптимизация возможностей системы.
  4. Мониторинг сервера: использование автоматизированных средств, позволяющих предотвращать возникновение проблем.


Читать дальше →
Всего голосов 32: ↑27 и ↓5+22
Комментарии1