Pull to refresh
26
Karma
0
Rating
Александр @rolltin

User

Запускаем Keycloak в HA режиме на Kubernetes

Southbridge corporate blog System administration *Server Administration *DevOps *Kubernetes *
Translation


TL;DR: будет описание Keycloak, системы контроля доступа с открытым исходным кодом, разбор внутреннего устройства, детали настройки.

Читать дальше →
Total votes 14: ↑11 and ↓3 +8
Views 12K
Comments 2

Аутентификация и чтение секретов в HashiCorp's Vault через GitLab CI

Nixys corporate blog Information Security *IT Infrastructure *Git *DevOps *
Tutorial
Translation

Доброго времени суток, читатель!


22 апреля в GitLab выпустили релиз 12.10 и сообщили о том, что теперь CI-процесс может авторизовываться в Hashicorp's Vault через JSON Web Token (JWT), и для авторизации нет необходимости хранить токен для доступа к нужным policy в переменных окружения (или где-либо ещё).



Данная фича показалась нам полезной, поэтому предлагаем перевод соотвествующего туториала из официальной документации GitLab:

Читать дальше →
Total votes 20: ↑19 and ↓1 +18
Views 13K
Comments 19

Go и кэши CPU

VK corporate blog Programming *Algorithms *Go *CPU
Translation

Источник: unsplash.com

По словам Джеки Стюарта, трехкратного чемпиона мира по гонкам Формулы-1, понимание автомобиля помогло ему стать лучшим пилотом: «Гонщику не обязательно быть инженером, но нужен интерес к механике».

Мартин Томпсон (создатель LMAX Disruptor) применил эту концепцию к программированию. Если в двух словах, то понимание базового оборудования улучшит ваши навыки, когда речь заходит о разработке алгоритмов, структур данных и так далее.

Команда Mail.ru Cloud Solutions перевела статью, автор которой углубился в устройство процессора и рассмотрел, как понимание некоторых концепций CPU помогает принимать оптимальные решения.
Читать дальше →
Total votes 72: ↑69 and ↓3 +66
Views 19K
Comments 17

Почему в Docker не работает Strace

ITSumma corporate blog Configuring Linux *System administration *Virtualization *
Translation
Когда я редактировала страницу о возможностях контейнеров для журнала «How Containers Work», мне потребовалось объяснить, почему в Docker не работает strace. Вот что случалось при запуске strace в Docker-контейнере на моем ноутбуке:

$ docker run  -it ubuntu:18.04 /bin/bash
$ # ... install strace ...
root@e27f594da870:/# strace ls
strace: ptrace(PTRACE_TRACEME, ...): Operation not permitted

strace работает через системный вызов ptrace, поэтому без разрешения для ptrace ничего не заработает! Но это легко исправить, и на моем ноутбуке я все сделала вот так:

docker run --cap-add=SYS_PTRACE  -it ubuntu:18.04 /bin/bash

Но мне было интересно не решить проблему, а разобраться, почему эта ситуация вообще возникает. Так почему же strace не работает, а --cap-add=SYS_PTRACE все исправляет?
Читать дальше →
Total votes 46: ↑45 and ↓1 +44
Views 10K
Comments 4

Преимущества интерфейсов в GO

Programming *Designing and refactoring *Go *
Sandbox

Преимущества интерфейсов в GO


В языке GO интерфейсы отличаются от других популярных языков программирования, таких как Java, C++, PHP. Они имеют некоторые преимущества с точки зрения дизайна. В этой статье я постараюсь объяснить почему.
Я расскажу о преимуществах, приведу примеры и рассмотрю некоторые вопросы, которые могут возникнуть при использовании интерфейсов.

Читать дальше →
Total votes 24: ↑9 and ↓15 -6
Views 6K
Comments 18

Как сбросить вес, не занимаясь спортом? Личный опыт

Popular science Lifehacks for geeks Health
Tutorial
Привет, Хабр!

По моим наблюдениям, всех людей можно разделить на три категории: счастливчиков с нормальным телосложением, худых, кто не знает как бы поправиться, и полных, кто не знает как бы похудеть. Мне угораздило попасть в третью категорию, и всю взрослую жизнь мой вес колебался в районе 95кг при росте 1.74м, что соответствует BMI=31.4 или ожирению. И хотя в принципе, это ничуть не мешало, но все же лишний вес накладывает определенные ограничения, как в перспективе состояния здоровья, так и в плане личной жизни. Наконец, в один прекрасный день я решил что «пора», и занялся этим вопросом более серьезно.



Думаю, среди IT-шников, работающих в офисе, немало людей с похожими проблемами, и надеюсь, мой опыт будет им полезен.
Total votes 148: ↑135 and ↓13 +122
Views 163K
Comments 586

Почему американская молодёжь притворяется, что любит работать

IT career Business Models *Offices of IT companies
Translation

Я наблюдал за тем, как величайшие умы моего поколения работали по 18 часов в день, и хвалились этим в Instagram с тегом #hustle. Когда перформативный трудоголизм успел стать образом жизни?




Ни разу в начале своей рабочей недели – ни в очереди за утренним кофе; ни в толпе людей, едущих на работу в метро; ни в начале сортировки бездонной папки «входящие» – я не останавливался затем, чтобы посмотреть в небо и прошептать: #СлаваБогуПонедельник (СБП).

Судя по всему, этим я предаю своё поколение. Я узнал об этом во время серии моих недавних визитов в коворкинги сети WeWork в Нью-Йорке, где диванные подушки призывают занятых посетителей: «Делайте то, что вы любите». Неоновые знаки требуют «Суетиться побыстрее», а настенные надписи прославляют доктрину СБП. Даже у огурцов в кулерах WeWork есть своя программа. «Не останавливайтесь, когда устали», — недавно вырезал кто-то на плоти плавающих овощей. «Останавливайтесь, когда закончили». Метафоры, относящиеся к употреблению Kool-Aid, редко бывают настолько буквальными [в американской культуре фразеологизм «пить Kool-Aid» означает верить в опасную идею, обещающую большое вознаграждение, и связан с массовым самоубийством в Джонстауне / прим. перев.].
Total votes 73: ↑63 and ↓10 +53
Views 54K
Comments 311

SSLH: Прячем SSH/HTTPS/OpenVPN/Telegram за единым портом 443

Information Security *Open source *
Tutorial
image

SSH/HTTPS/OpenVPN/Telegram и всё на одном порту?! Что?!
— Да!
  • Хотите скрыть наличее у вас некоторых сервисов?
  • В публичной wi-fi сети блокируется всё кроме 443 (https) порта?
  • Настроили Telegram Proxy/OpenVPN и не хотите его «светить» ?
  • SSH подключение к своему серверу из стран с цензурой?

На все эти вопросы ответ один — Мультиплексирование SSL/TLS соединений, или SSLH.

В посте мы рассмотрим как в 1 команду спрятать кучу сервисов за 1 портом.
Читать дальше →
Total votes 83: ↑79 and ↓4 +75
Views 104K
Comments 100

Настройка Jail в FreeBSD 11.1

System administration **nix *Server Administration *Backup *

Введение


На написание данной публикации меня подтолкнул тот факт, что в сети интернет крайне мало информации по администрированию Jail в FreBSD. Можно конечно найти отличные публикации на эту тему, но они, в основном, по большей части были написаны много лет назад, и не затрагивают новые возможности Jail и самой операционной системы FreeBSD.
Публикацию разделю на две части. В первой части пойдёт речь о подготовке и настройке FreeBSD, а во второй части пойдёт речь непосредственно о создании Jail.
Читать дальше →
Total votes 12: ↑11 and ↓1 +10
Views 25K
Comments 19

Краткий курс машинного обучения или как создать нейронную сеть для решения скоринг задачи

Python *Programming *Algorithms *Machine learning *Artificial Intelligence
Tutorial
image

Мы часто слышим такие словесные конструкции, как «машинное обучение», «нейронные сети». Эти выражения уже плотно вошли в общественное сознание и чаще всего ассоциируются с распознаванием образов и речи, с генерацией человекоподобного текста. На самом деле алгоритмы машинного обучения могут решать множество различных типов задач, в том числе помогать малому бизнесу, интернет-изданию, да чему угодно. В этой статье я расскажу как создать нейросеть, которая способна решить реальную бизнес-задачу по созданию скоринговой модели. Мы рассмотрим все этапы: от подготовки данных до создания модели и оценки ее качества.

Если тебе интересно машинное обучение, то приглашаю в «Мишин Лернинг» — мой субъективный телеграм-канал об искусстве глубокого обучения, нейронных сетях и новостях из мира искусственного интеллекта.

Вопросы, которые разобраны в статье:

• Как собрать и подготовить данные для построения модели?
• Что такое нейронная сеть и как она устроена?
• Как написать свою нейронную сеть с нуля?
• Как правильно обучить нейронную сеть на имеющихся данных?
• Как интерпретировать модель и ее результаты?
• Как корректно оценить качество модели?
Поехали!
Total votes 51: ↑42 and ↓9 +33
Views 180K
Comments 43

Изолируем демоны с systemd или «вам не нужен Docker для этого!»

Information Security *
В последнее время я вижу, как довольно большое количество людей применяет контейнерную виртуализацию только для того, чтобы запереть потенциально небезопасное приложение внутри контейнера. Как правило, используют для этого Docker из-за его распространенности, и не знают ничего лучше. Действительно, многие демоны первоначально запускаются от имени root, а далее либо понижают свои привилегии, либо master-процесс порождает обрабатывающие процессы с пониженными привилегиями. А есть и такие, которые работают исключительно от root. Если в демоне обнаружат уязвимость, которая позволяет получить доступ с максимальными привилегиями, будет не очень приятно обнаружить злоумышленников, уже успевших скачать все данные и оставить вирусов.
Контейнеризация, предоставляемая Docker и другим подобным ПО, действительно спасает от этой проблемы, но также и привносит новые: необходимо создавать контейнер для каждого демона, заботиться о сохранности измененных файлов, обновлять базовый образ, да и сами контейнеры часто основаны на разных ОС, которые необходимо хранить на диске, хотя они вам, в общем-то, и не особо нужны. Что делать, если вам не нужны контейнеры как таковые, в Docker Hub приложение собрано не так, как нужно вам, да и версия устарела, SELinux и AppArmor кажутся вам слишком сложными, а вам бы хотелось запускать его в вашем окружении, но используя такую же изоляцию, которую использует Docker?

Capabilities

В чем отличие обычного пользователя от root? Почему root может управлять сетью, загружать модули ядра, монтировать файловые системы, убивать процессы любых пользователей, а обычный пользователь лишен таких возможностей? Все дело в capabilities — средстве для управления привилегиями. Все эти привилегии даются пользователю с UID 0 (т.е. root) по умолчанию, а у обычного пользователя нет ни одного из них. Привилегии можно как дать, так и отобрать. Так, например, привычная команда ping требует создания RAW-сокета, что невозможно сделать от имени обычного пользователя. Исторически, на ping ставили SUID-флаг, который просто запускал программу от имени суперпользователя, но сейчас все современные дистрибутивы выставляют CAP_NET_RAW capability, которая позволяет запускать ping из-под любого аккаунта.
Получить список установленных capabilities файла можно командой getcap из состава libcap.
% getcap $(which ping)
/usr/bin/ping = cap_net_raw+ep

Флаг p здесь означает permitted, т.е. у приложения есть возможность использовать заданную capability, e значит effective — приложение будет ее использовать, и есть еще флаг iinheritable, что дает возможность сохранять список capabilities при вызове функции execve().
Capabilities можно задать как на уровне ФС, так и просто у отдельного потока программы. Получить capability, которая не была доступна с момента запуска, нельзя, т.е. привилегии можно только понижать, но не повышать.
Также существуют биты безопасности (Secure Bits), их три: KEEP_CAPS позволяет сохранить capability при вызове setuid, NO_SETUID_FIXUP отключает перенастройку capability при вызове setuid, и NOROOT запрещает выдачу дополнительных привилегий при запуске suid-программ.
Читать дальше →
Total votes 72: ↑70 and ↓2 +68
Views 47K
Comments 34

Быстрый пул для php+websocket без прослойки nodejs на основе lua+nginx

High performance *PHP *Lua *
Recovery mode
nginx + lua

Кратко: nginx не умеет пулить websockets, а php работает per request. Нужна прослойка которая будет держать открытыми вебсокеты и при поступлении данных соединяться с php (через тот же fastcgi) и отправлять обратно ответ.

update: Здесь не идётся про решения на php, так как по сравнению даже с nodejs, они гораздо медленнее.

Тема, как оказалось, не нова, исходники тянуться аж из 2014, но, тем не менее, информации о трюке, про который здесь пойдёт речь, крайне мало. Можете погуглить "websockets php". Усугубляется тема ещё тем, что найденные примеры реализации (два, точнее) не работают, включая тот, что в документации :)
Читать дальше →
Total votes 14: ↑13 and ↓1 +12
Views 14K
Comments 30

Оптимизация веб-серверов для повышения пропускной способности и уменьшения задержки

Badoo corporate blog Configuring Linux *System administration *Server optimization *Server Administration *
Translation


Привет! Меня зовут Макс Матюхин, я работаю в SRV-команде Badoo. Мы в Badoo не только активно пишем посты в свой блог, но и внимательно читаем блоги наших коллег из других компаний. Недавно ребята из Dropbox опубликовали шикарный пост о различных способах оптимизации серверных приложений: начиная с железа и заканчивая уровнем приложения. Его автор – Алексей Иванов – дал огромное количество советов и ссылок на дополнительные источники информации. К сожалению, у Dropbox нет блога на Хабре, поэтому я решил перевести этот пост для наших читателей.

Читать дальше →
Total votes 78: ↑78 and ↓0 +78
Views 41K
Comments 7

Диагностика неисправностей блока питания с помощью мультиметра

Computer hardware
Sandbox
Недавно понадобилось произвести диагностику питания, для того чтобы понять по какой причине не запускается машина. К сожалению, в интернете оказалось мало годных статей на эту тему, поэтому пришлось самому лезть в даташиты.
Эта статья является выжимкой из моих изысканий и надеюсь поможет кому-нибудь, когда им придется заниматься тем же самым.

Дисклеймер номер раз: Данная статья относится только к обычным блокам питания стандарта ATX, она не относится к проприетарным стандартам блоков (например как у старыx рабочиx станциях DELL или SUN), использующим другую распиновку ATX-коннектора. Внимательно сверьтесь со схемой и убедитесь в том, что ваш блок питания является стандартным прежде чем проводить диагностику, во избежании причинения вреда вашему компьютеру.

Дисклеймер номер два: Вы должны понимать что вы делаете и соблюдать технику безопасности, в том числе электростатической (в т.ч. работать в антистатическом браслете). Автор не несет ответственности за порчу оборудования или вред здоровью вследствие несоблюдения или незнания техники безопасности и принципов работы устройства.


Перейдем к теории:

Стандарт ATX имеет 2 версии — 1.X и 2.X, имеющие 20 и 24-пиновые коннекторы соответственною, вторая версия имеет 24-x 4 дополнительных пина, удлиняя тем самым стандартный коннектор на 2 секции таким образом:
image

Прежде чем мы начнем, расскажу про “правила большого пальца” по отношению к неисправностям:
1) Проблемную материнскую плату легче заменить чем починить, это крайне сложная и многослойная схема, в которой разве что можно заменить пару конденсаторов, а обычно это проблемы не решает.
2) Если вы не уверены в том что вы делаете, то не делайте этого.

Читать дальше →
Total votes 135: ↑130 and ↓5 +125
Views 326K
Comments 58

Определяем Phantom-ных ботов

JavaScript *
Recovery mode
» Перевод статьи Detecting PhantomJS Based Visitors | Неплохое обсуждение статьи на Hacker News

Статья старая, помидорами не кидайтесь — лучше делитесь опытом в комментариях.

В наши дни во многих инцидентах по безопасности используется автоматизация (со стороны злоумышленников). Web-scraping, повторное использование паролей, click-fraud — все это совершается злоумышленниками в попытках (зачастую успешных) замаскироваться под обычного пользователя, то есть по сути выглядеть для сервера как броузер обычного пользователя. Как владелец сайта, вы наверно хотите быть уверены в том что обслуживаете людей а не бездушные железки, а как поставщик сервиса вы наверно хотите еще и доступ дать к своему контенту через api, а не через тяжелый и глючный web-интерфейс.
Читать дальше →
Total votes 48: ↑42 and ↓6 +36
Views 18K
Comments 35

Дивный новый мир Xiaomi

Gearbest.com corporate blog Gadgets
В интервью о своей компании основатель китайского монстра Xiaomi Лэй Цзюнь сравнивает её с бамбуковым лесом: пока гигантские деревья корпораций ломаются и уже не могут быстро вырасти обратно, Xiaomi растёт быстро и в разных направлениях — точно, как это делает гибкий бамбук. Xiaomi возвышали и хоронили, о них писал Forbes, его сравнивают с Apple. Но чем дальше в этот самый бамбуковый лес, тем очевиднее становится, что это не Apple China, не копия Samsung… Да и вообще как можно производителя детских термометров, пилок для пяток и светильников с динозавриками сравнивать с производителями смартфонов! Мы не бредим — просто у Xiaomi свой путь, свой дзен. Мы решили немного порассуждать о том, почему так вышло и найти-таки секрет китайского экономического чуда в отдельно взятой корпорации. Всем Mi зайка и сплошное Mi-Mi-Mi!


Официальный маскот Xiaomi — техно-коммунист с корпоративным пропуском компании на поясе
Читать дальше →
Total votes 34: ↑27 and ↓7 +20
Views 40K
Comments 93

LUA в nginx: слегка интеллектуальный firewall

Lua *

Данный пост является продолжением применения lua в nginx.

Там обсуждалось кеширование в памяти, а тут lua будет использоваться для фильтрации входящих запросов в качестве этакого фаервола на nginx-балансере. Нечто подобное было у 2GIS. У нас свой велосипед :) В котором разделяем динамику и статику, стараемся учесть NAT и белый список. И, конечно же, всегда можно навернуть еще специфичной логики, что не выйдет при использовании готовых модулей.
Данная схема сейчас спокойно и ненапряжно (практически не сказывается на использовании cpu) обрабатывает порядка 1200 запросов/сек. На предельные величины не тестировалось. Пожалуй, к счастью :)
Читать дальше →
Total votes 50: ↑50 and ↓0 +50
Views 29K
Comments 16

Тюнинг сетевого стека Linux для ленивых

Configuring Linux **nix *Server optimization *Network technologies *Server Administration *
Tutorial

Сетевой стек Linux по умолчанию замечательно работает на десктопах. На серверах с нагрузкой чуть выше средней уже приходится разбираться как всё нужно правильно настраивать. На моей текущей работе этим приходится заниматься едва ли не в промышленных масштабах, так что без автоматизации никуда – объяснять каждому коллеге что и как устроено долго, а заставлять людей читать ≈300 страниц английского текста, перемешанного с кодом на C… Можно и нужно, но результаты будут не через час и не через день. Поэтому я попробовал накидать набор утилит для тюнинга сетевого стека и руководство по их использованию, не уходящее в специфические детали определённых задач, которое при этом остаётся достаточно компактным для того, чтобы его можно было прочитать меньше чем за час и вынести из него хоть какую-то пользу.

Читать дальше →
Total votes 94: ↑94 and ↓0 +94
Views 83K
Comments 45

MikroTik — 6in4 или IPv6 без поддержки провайдера

Network technologies *IPv6 *
Захотелось мне воспользоваться технологией IPv6 по некоторым причинам, но мой провайдер не предоставляет данную услугу. Гугл подсказал о 6in4 механизме, позволяющему передавать IPv6 пакеты через IPv4 сеть моего провайдера, который поддерживается моим роутером MikroTik RouterBoard 951g-2hnd.

image

Читать дальше →
Total votes 23: ↑20 and ↓3 +17
Views 83K
Comments 35

Information

Rating
Does not participate
Registered
Activity