Как стать автором
Обновить
8
0
Сергей @wnt_brian

Пользователь

Отправить сообщение

Собираем демо-кластер Minio, потому что можем

Время на прочтение4 мин
Количество просмотров15K

Я понятия не имею будет это кому-то полезно или нет, но это и не важно. Раз посты про установку Apache и php по прежнему имеют успех - то пусть будет и этот.
Выбор гипервизора, ОС и тд я не буду рассматривать никак, это не имеет значения.
Почему не докер? Потому.

Читать далее
Всего голосов 9: ↑4 и ↓50
Комментарии17

Приточная вентиляция совмещенная с канальным кондиционером (часть 1 — электрическая)

Время на прочтение11 мин
Количество просмотров81K

схема_малая


Хочу поделиться опытом проектирования, монтажа и эксплуатации своей системы приточной вентиляции совмещенной с канальным кондиционером. Система
собиралась в 2012-2013 годах и с тех пор находится в постоянной эксплуатации.


Статью разделил на две части:


  • в первой части описана классическая схема приточная вентиляции с использованием электрического канального подогревателя
  • во второй части рассказано про неоднозначный опыт переработки системы под водяной калорифер с питанием от общедомовой системы отопления
Читать дальше →
Всего голосов 44: ↑43 и ↓1+58
Комментарии229

LUA в nginx: слегка интеллектуальный firewall

Время на прочтение6 мин
Количество просмотров31K

Данный пост является продолжением применения lua в nginx.

Там обсуждалось кеширование в памяти, а тут lua будет использоваться для фильтрации входящих запросов в качестве этакого фаервола на nginx-балансере. Нечто подобное было у 2GIS. У нас свой велосипед :) В котором разделяем динамику и статику, стараемся учесть NAT и белый список. И, конечно же, всегда можно навернуть еще специфичной логики, что не выйдет при использовании готовых модулей.
Данная схема сейчас спокойно и ненапряжно (практически не сказывается на использовании cpu) обрабатывает порядка 1200 запросов/сек. На предельные величины не тестировалось. Пожалуй, к счастью :)
Читать дальше →
Всего голосов 50: ↑50 и ↓0+50
Комментарии16

Nginx на стероидах — расширяем функционал с помощью LUA

Время на прочтение9 мин
Количество просмотров54K
Для обеспечения работы всех наших внешних продуктов мы используем популярный nginx. Это быстро и это надежно. Проблем с ним почти нет. Наши продукты также постоянно развиваются, появляются новые сервисы, добавляется новый функционал, расширяется старый. Аудитория и нагрузка только растет. Сейчас мы хотим рассказать о том, как мы ускорили разработку, неплохо увеличили производительность и упростили добавление в наши сервисы этого нового функционала, при этом сохранив доступность и отказоустойчивость затронутых приложений. Речь пойдет о концепции “nginx as web application”.
А именно, о сторонних модулях (в основном LUA), позволяющих делать совершенно магические вещи быстро и надежно.
image
Читать дальше →
Всего голосов 72: ↑69 и ↓3+66
Комментарии40

Как мы Elasticsearch в порядок приводили: разделение данных, очистка, бэкапы

Время на прочтение8 мин
Количество просмотров31K
Эта статья — практическая история о том, как мы столкнулись с проблемой разделения логов, хранимых в Elasticsearch, из-за которой пришлось поменять подход к бэкапам и управлению индексами.



Всё началось вскоре после того, как было поднято production-окружение. У нас был «боевой» кластер Kubernetes, все логи из которого собирал fluentd и направлял их напрямую в индексы logstash-yyy.mm.dd
Читать дальше →
Всего голосов 35: ↑34 и ↓1+45
Комментарии17

Введение в Hashicorp Consul’s Kubernetes Авторизацию

Время на прочтение13 мин
Количество просмотров11K

Все верно, после релиза Hashicorp Consul 1.5.0 в начале мая 2019 года в Consul можно делать авторизацию приложений и служб, запущенных в Kubernetes, нативно.


В этом руководстве мы шаг за шагом создадим POC (Проверка концепции (Proof of concept, PoC — доказательство [осуществимости] концепции — прим. перев.), продемонстрировав эту новую функцию. От вас ожидаются базовые знания о Kubernetes и Hashicorp’s Consul. И хотя вы можете использовать любую облачную платформу или локальную среду, в этом руководстве мы будем использовать Google’s Cloud Platform.

Читать дальше →
Всего голосов 13: ↑13 и ↓0+13
Комментарии0

Отказоустойчивый кластер Master-Slave на PostgreSQL

Время на прочтение9 мин
Количество просмотров123K
Приветствую, хаброжители!
В этой статье я хочу поделиться опытом развертывания кластера Master-slave на СУБД PostgreSQL. Отказоустойчивость достигается с помощью возможностей pgpool-II (failover, online recovery).
pgpool — это прекрасное средство для масштабирования и распределения нагрузки между серверами и, думаю, немногие знают о возможностях автоматического создания failover на ведомом сервере при отказе ведущего и как добавить новые мощности в уже работающий кластер без отключения всего кластера.
Читать дальше →
Всего голосов 47: ↑47 и ↓0+47
Комментарии18

Квалифицированная электронная подпись под macOS

Время на прочтение10 мин
Количество просмотров125K

FYI. Статья написана в далеком 2019 году, делайте поправку на изменения.


Каждый предприниматель и руководитель ООО пользуется электронной подписью. Помимо КЭП для ЕГАИС и облачных КЭП для сдачи отчетности, выдаваемых банками и бухгалтерскими сервисами, особый интерес представляют универсальные УКЭП на защищенных токенах. Такие сертификаты позволяют только логиниться на гос.порталы и подписывать любые документы, делая их юридически значимыми.


Благодаря сертификату КЭП на USB-токене можно удаленно заключить договор с контрагентом или дистанционным сотрудником, направить документы в суд; зарегистрировать онлайн-кассу, урегулировать задолженность по налогам и подать декларацию в личном кабинете на nalog.ru; узнать о задолженностях и предстоящих проверках на Госуслугах.


Представленный ниже мануал поможет работать с КЭП под macOS – без изучения форумов КриптоПро и установки виртуальной машины с Windows.

Читать дальше →
Всего голосов 26: ↑24 и ↓2+22
Комментарии82

Беспростойная миграция RabbitMQ в Kubernetes

Время на прочтение5 мин
Количество просмотров12K


RabbitMQ – написанный на языке Erlang брокер сообщений, позволяющий организовать отказоустойчивый кластер с полной репликацией данных на несколько узлов, где каждый узел может обслуживать запросы на чтение и запись. Имея в production-эксплуатации множество кластеров Kubernetes, мы поддерживаем большое количество инсталляций RabbitMQ и столкнулись с необходимостью миграции данных из одного кластера в другой без простоя.
Читать дальше →
Всего голосов 37: ↑34 и ↓3+31
Комментарии4

Масштабирование приложения в Kubernetes на основе метрик из Prometheus

Время на прочтение5 мин
Количество просмотров11K


Распространённая ситуация: у вас есть несколько приложений, у одного из них пиковая нагрузка приходится на дневное время, а в другие часы к нему никто не обращается (либо обращаются, но редко); при этом другим приложениям мощности кластера могут пригодиться и в ночное время. В качестве примера таких приложений можно привести веб-сервисы, какие-нибудь обработчики данных.

Как обычно, ресурсов кластера на всех не хватает. Приходится что-то придумывать для оптимизации использования ресурсов, и Kubernetes отлично для этого подходит. В нём есть Horizontal Pod Autoscaler, который позволяет масштабировать приложения на основе метрик.



Метрики обычно поставляются метрик-сервером. Дальше я расскажу о замене метрик-сервера Prometheus’ом (потому что Prometheus реализует в себе данные, которые отдаются метрик-сервером и мы избавляемся от одного лишнего звена) и о том, как на основе метрик из Prometheus масштабировать свои приложения в Kubernetes.
Читать дальше →
Всего голосов 38: ↑35 и ↓3+32
Комментарии8

Профилирование и трейсинг с perf

Время на прочтение1 мин
Количество просмотров28K
Учимся дебажить с perf — целых 18 страниц про основные подкоманды, фичи и устройство инструмента. Джулия рекомендует; “Я даже использовала его несколько раз для профилирования Ruby программ!”

Уровень сложности — для суперпродвинутого администратора.

Когда нужно отыскать причину сбоя, не имея доступа к исходным кодам. Все логи уже просмотрены, все debug и verbose-ключи включены, а причина проблем так и не обнаружена — используйте perf. Потребуется навык кодинга на языках типа Си.


Читать дальше →
Всего голосов 38: ↑34 и ↓4+30
Комментарии13

«Latency numbers» на iPhone

Время на прочтение10 мин
Количество просмотров12K
Latency Numbers Every Programmer Should Know — таблица «задержек, которые должен знать каждый программист». Там собраны средние значения времени для выполнения базовых операций компьютера в 2012-м году. Для этой таблицы есть несколько альтернативных представлений и вот одно из них.


Ссылка на источник схемы

Но какая польза мобильным разработчикам от этой информации в 2019? Кажется, что никакой, но Дмитрий Куркин (SClown) из команды Яндекс.Навигатора задумался: «А как бы таблица выглядела для современного iPhone?». Что из этого получилось, в переработанной текстовой версии доклада Дмитрия на AppsConf.


Для чего это нужно?


Почему же программисты должны знать эти числа? И актуальны ли они для мобильных разработчиков? Можно выделить две основные задачи, которые можно решать при помощи этих чисел.
Всего голосов 45: ↑43 и ↓2+41
Комментарии8

Кластер PostgreSQL высокой надежности на базе Patroni, Haproxy, Keepalived

Время на прочтение25 мин
Количество просмотров130K
Привет, Хабр! Встала передо мной недавно задача: настроить максимально надежный кластер серверов PostgreSQL версии 9.6.

По задумке, хотелось получить кластер, который переживает выпадение любого сервера, или даже нескольких серверов, и умеет автоматически вводить в строй сервера после аварий.

Планируя кластер я проштудировал много статей, как из основной документации к PostgreSQL, так и различных howto, в том числе с Хабра, и пробовал настроить стандартный кластер с RepMgr, эксперементировал с pgpool.

В целом оно заработало, но у меня периодически всплывали проблемы с переключениями, требовалось ручное вмешательство для восстановления после аварий, и т.д. В общем я решил поискать еще варианты.

В итоге где-то (уже не вспомню точно где) нашел ссылку на прекрасный проект Zalando Patroni, и все заверте…
Читать дальше →
Всего голосов 34: ↑34 и ↓0+34
Комментарии70

Новый MTProto-прокси сервер от Telegram

Время на прочтение5 мин
Количество просмотров161K
Прокси-сервер является посредником между клиентом и сервером. Для обхода ограничений прокси-сервер должен быть установлен там, где нет ограничений доступа к требуемой информации, при этом не должно быть таковых ограничений и между клиентом и прокси-сервером.

image

Обновлённая поддержка прокси-серверов в клиентах Telegram


  • Новый MTProto-прокси. Работает с родным для Telegram протоколом MTProto
  • Открытый исходный код сервера на GitHub
  • Docker-образ на DockerHub
  • В мобильных клиентах появилась возможность добавлять несколько прокси-серверов каждого типа. Пользователь может выбрать наиболее подходящий
Читать дальше →
Всего голосов 106: ↑98 и ↓8+90
Комментарии261

Kubernetes-HA. Разворачиваем отказоустойчивый кластер Kubernetes c 5 мастерами

Время на прочтение17 мин
Количество просмотров57K

В данный момент инсталяция по данному мануалу работать не будет. Из за больших изменений API Kubemaster, в данный момент я готовлю новый цикл статей где будут рабочие версии мануалов
Первая из статей habr.com/ru/post/462473


Здравствуйте!

В данной публикации я хотел бы рассказать о кластере Kubernetes с высокой доступностью (HA).

image

Оглавление:

  1. Вступление
  2. Список используемого софта
  3. Список и назначение хостов
  4. Принцип работы и развертывания
  5. Подготовка ОС к развертыванию. Установка docker, kubeadm, kubelet и kubectl
  6. Подготовка конфигурационного скрипта
  7. Создание etcd кластера
  8. Инициализация мастера с помощью kubeadm
  9. Настройка CIDR
  10. Инициализация остальных мастернод
  11. Настройка keepalived и виртуального IP
  12. Добавление рабочих нод в кластер
  13. Установка ingress-nginx
  14. Дополнительно

Читать дальше →
Всего голосов 15: ↑14 и ↓1+13
Комментарии19

Linux-дистрибутив from scratch для сборки Docker-образов — наш опыт с dappdeps

Время на прочтение11 мин
Количество просмотров18K

Сборка образов для Docker на основе базового образа, как правило, предполагает вызов команд в окружении этого базового образа. Например — вызов команды apt-get, которая есть в базовом образе, для установки новых пакетов.

Часто возникает необходимость доустановить в базовую систему некоторый набор утилит, с помощью которых происходит установка или сборка некоторых файлов, которые требуются в итоговом образе. Например, чтобы собрать Go-приложение, надо установить компилятор Go, положить все исходные коды приложения в базовом образе, скомпилировать требуемую программу. Однако в итоговом образе требуется лишь скомпилированная программа без всего набора утилит, который использовался для компиляции этой программы.

Проблема известная: одним из путей её решения может быть сборка вспомогательного образа и перенос файлов из вспомогательного образа в результирующий. Для этого появились Docker multi-stage builds или образы-артефакты в dapp (Обновлено 13 августа 2019 г.: в настоящее время проект dapp переименован в werf, его код переписан на Go, а документация значительно улучшена). И данный подход идеально решает проблему подобную переносу результатов компиляции исходных кодов в итоговый образ. Однако он не решает все возможные проблемы…
Читать дальше →
Всего голосов 25: ↑25 и ↓0+25
Комментарии4

Наш опыт с Kubernetes в небольших проектах (обзор и видео доклада)

Время на прочтение6 мин
Количество просмотров53K
Дмитрий Столяров (Флант) с докладом про Kubernetes на RootConf, РИТ++ 2017

6 июня на конференции RootConf 2017, проходившей в рамках фестиваля «Российские интернет-технологии» (РИТ++ 2017), в секции «Непрерывное развертывание и деплой» прозвучал доклад «Наш опыт с Kubernetes в небольших проектах». В нём рассказывалось об устройстве, принципах работы и основных возможностях Kubernetes, а также о нашей практике использования этой системы в небольших проектах.

По традиции мы рады представить видео с докладом (около часа, гораздо информативнее статьи) и основную выжимку в текстовом виде.
Всего голосов 32: ↑32 и ↓0+32
Комментарии28

Лекции Технотрека. Администрирование Linux

Время на прочтение4 мин
Количество просмотров140K


Представляем вашему вниманию очередную порцию лекций Технотрека. В рамках курса будут рассмотрены основы системного администрирования интернет-сервисов, обеспечения их отказоустойчивости, производительности и безопасности, а также особенности устройства ОС Linux, наиболее широко применяемой в подобных проектах. В качестве примера будут использоваться дистрибутивы семейства RHEL 7 (CentOS 7), веб-сервер nginx, СУБД MySQL, системы резервного копирования bacula, системы мониторинга Zabbix, системы виртуализации oVirt, балансировщика нагрузки на базе ipvs+keepalived. Курс ведёт Сергей Клочков, системный администратор в компании Variti.

Всего голосов 61: ↑60 и ↓1+59
Комментарии9

Зачем нашим генам нас убивать? Эволюционное объяснение

Время на прочтение12 мин
Количество просмотров63K
В посте про старение и менопаузу как генетические механизмы популяционного контроля я упомянул, что рассматриваю старение как одну из разновидностей процесса запрограммированного феноптоза (убийства особи). В обсуждении ожидаемо всплыл лосось, причем всплыл брюхом кверху — беднягу резко убивает выброс гормонов почти сразу после нереста. Для меня лосось является символом заложенной в нас программы самоубийства, но ничего экстраординарного в нём нет — примеров активного, резкого феноптоза в природе полно.

Самые простые и известные всем такие примеры — это одноцветные (или монокарпические) растения: пшеница или кукуруза, например. Или цветы. Причем среди них есть и многолетние виды, и если некоторым из них вовремя удалить цветки, то эти растения не умрут, а продолжат жить и даже, возможно, зацветут опять. В то же время некоторые деревья живут тысячелетиями. Это отлично демонстрирует, что есть особи с активным феноптозом, а есть особи без него. Что означает, что биологическим системам стареть вовсе не обязательно.

Кстати, активное самоубийство есть и у одноклеточных — дрожжей, например. Так, старые дрожжи уходят в апоптоз, когда ресурсов начинает не хватать, а популяция превышает определенный предел. А если наступают “голодные времена”, то уйти в апоптоз может и до 95% популяции, превратившись в корм для оставшихся 5%, которые трансформируются в споры и пытаются дождаться лучших времен, чтобы возродить колонию.

Среди животных тоже хватает примеров запрограммированной смерти — у рыб, насекомых, млекопитающих. Вот тут хороший, хотя и неполный обзор таких видов:
Читать дальше →
Всего голосов 69: ↑64 и ↓5+59
Комментарии282

XoruX — бесплатный мониторинг виртуальной инфраструктуры, систем хранения и передачи данных

Время на прочтение3 мин
Количество просмотров19K
=+
По роду моей деятельности при проведении аудита я часто сталкиваюсь с различными системами мониторинга у наших заказчиков. Помимо хорошо известных Zabbix, Nagios, Cacti и прочих иногда встречаются весьма интересные экземпляры. Сегодня я хотел бы рассказать об одном из таких случаев — бесплатной системе мониторинга виртуальной инфраструктуры от компании XoruX. Упоминания об этой компании и ее продуктах на хабре найдено не было, поэтому я решил исправить эту ситуацию. Заинтересовавшихся прошу под кат.
Читать дальше →
Всего голосов 14: ↑14 и ↓0+14
Комментарии3

Информация

В рейтинге
Не участвует
Дата рождения
Зарегистрирован
Активность

Специализация

Специалист
Lead
DevOps
Kubernetes