Обновить
3

Пользователь

Отправить сообщение

Двадцать бабушек – уже рубль. Как GraalVM Native Image позволяет экономить джавистам и девопсам деньги на облако

Время чтения14 мин
Охват и читатели7.8K

Первая статья в нашем блоге. Я постарался написать хороший текст на основе докладов из Failover Bar и прошлого митапа Альфы, и человеческими словами объяснить, зачем нужен GraalVM.

Мы поговорим об экономии на облаках в мире победившего Кубернетиса, обсудим перформанс современного приложения, и какие ништяки Native Image помогут нам во всём этом.

Mad skills bonus: вы сможете писать на Java приложения для командной строки так, что они не будут тормозить по сравнению со скриптами на Bash. Но вначале небольшая телега вместо вступления.

Читать далее

Визуальные карты сетей кластеров K8s для оценки их производительности

Время чтения8 мин
Охват и читатели11K

Создание производительных сервисов и систем — основа любого бизнеса. Ежедневно появляются кучи новых технологий, которые обещают дать возможности, позволяющие превзойти ваши бенчмарки производительности. Однако продакшен-среды — это хаотичные системы, мониторинг и поддержка которых требует большой доли ресурсов.

Хотя Kubernetes при выборе системы управления контейнерами является стандартом «де факто», многим организациям не удаётся её реализовать. Растущие организации в процессе увеличения масштабов своих сервисов ненамеренно вносят в систему усложнения. Критически важно понимать, как настраивать инфраструктуру и как кластеры могут работать и взаимодействовать между собой.

Основная часть инфраструктуры упорядочивается в виде сети систем, обменивающихся данными и разделяющих рабочие нагрузки. Очень удобна возможность визуального наблюдения за соединением систем и выявления влияющих на них факторов. Создание карты сети при помощи эффективного инструмента визуализации и контроля является обязательной задачей для мониторинга и поддержки сервисов.
Читать дальше →

eBPF в production-условиях

Время чтения15 мин
Охват и читатели11K

У технологии eBPF много поклонников. Она предлагает множество плюсов, но в работе с ней есть и некоторые минусы, сложности и ограничения. Давайте разберемся со всем этим.

Данный материал подготовлен на базе выступления “eBPF в production-условиях” от Дмитрия Евдокимова и Александра Трухина из компании Luntry с конференции HighLoad++ 2022. Он будет полезен как компаниям, что используют внутри себя решения на базе eBPF, так и разработчикам, которые что-то пишут или планируют писать с использованием данной технологии.

Читать далее

Отслеживание сетевого трафика между подами в Kubernetes

Время чтения2 мин
Охват и читатели5.3K

Как работает связь между подами в Kubernetes?

Как трафик достигает пода?

В этой статье вы узнаете, как работает низкоуровневая сеть в Kubernetes.

Читать далее

Как устроено распределение памяти

Уровень сложностиСредний
Время чтения11 мин
Охват и читатели32K

Один из общих для всех программ на вашем компьютере аспектов — это потребность в памяти. Прежде чем запуститься, программы должны быть загружены с жёсткого диска в память. При работе программ подавляющее большинство их действий заключается в загрузке значений из памяти, выполнении вычислений с ними, а затем сохранении результата обратно в память.

В этом посте я познакомлю вас с основами распределения памяти (memory allocation). Распределители памяти существуют, потому что иметь доступную память недостаточно, необходимо ещё и эффективно её использовать. Мы наглядно изучим, как работают простые распределители. Мы рассмотрим некоторые из задач, которые им необходимо решать, а также некоторые из методик, которыми они их решают. Прочитав этот пост, вы узнаете всё, что необходимо для написания собственного распределителя.
Читать дальше →

Как понять (и простить) теорию вероятностей?

Уровень сложностиПростой
Время чтения6 мин
Охват и читатели14K

Всем привет! На связи вновь Меликян Маргарита, мы уже знакомились в статье, где поговорили немного о математическом анализе, а теперь (после принятых зачётов и экзаменов) захотелось сказать пару слов и по поводу курса теории вероятностей.

Общие проблемы, возникающие у неофитов высшей математики, уже были рассмотрены мною в статье про мат.анализ, поэтому их я опускаю (ознакомьтесь с вышеуказанной статьёй, если ещё не), и сразу приступаю к подсвечиванию специфичных для тервера проблемных мест.

Читать далее

Сделай хобби работой и тебе… придется искать и хобби, и работу

Время чтения9 мин
Охват и читатели37K

Конфуцию приписывают фразу: «Займись тем, что тебе нравится, и ты не будешь работать ни дня в своей жизни» . Вряд ли он предполагал, что через две с половиной тысячи лет его фразу превратят в лозунг работники сферы профориентации, коучи и продавцы курсов повышения квалификации. Сама идея заниматься тем, что любишь, кажется весьма логичной. Если ты от чего-то получаешь удовольствие и делаешь это хорошо, то почему бы не конвертировать любимое дело в деньги?

Если коротко: это может приводить к депрессии, потере смысла жизни, высокому уровню стресса, десоциализации, изменению самовосприятия и финансовым потерям. Если же чуть более подробно, то нам нужно начать издалека, то есть, с определения понятия игры:

Сложно, но полезно

Что ты такое, dhclient?

Время чтения19 мин
Охват и читатели68K

Сетевой стек Linux не прост даже на первый взгляд: приложение — в юзерспейсе, а всё, что после сокета, — в ядре операционки. И там тысяча реализаций TCP. Любое взаимодействие с сетью — системный вызов с переключением контекста в ядре.

Чтобы лишний раз не дёргать ядро прерываниями, придумали DMA — Direct Memory Access. И это дало жизнь классу софта с режимом работы kernel bypass: например при DPDK (Intel Data Plane Development Kit). Потом был BPF. А за ним — eBPF. 

Но даже помимо хаков работы с ядром есть такие штуки, как sk_buff, в которой хранятся метаданные всех миллионов протоколов. Есть NAPI (New API), которая призвана уменьшить число прерываний. Есть 100500 вариантов разных tables.

И копать можно безгранично далеко. Но сегодня мы всё же поговорим о вещах более приземлённых и повседневных, которые лишь приоткрывают вход в эту разветвлённую сеть кроличьих нор. Мы разберём одну любопытную задачку, на примере которой ужаснёмся тому, как сложно может быть реализован такой простой протокол, как DHCP.

Начать погружение

Визуализация данных с помощью Metabase

Время чтения4 мин
Охват и читатели87K

Привет, Хабр!

Сегодня я рассмотрю основные возможности BI-инструмента с открытым исходным кодом Metabase.

Читать далее

Неклассическое чтение для руководителей: книги по стратегическому управлению от ведущих ученых и отчеты аналитиков

Уровень сложностиПростой
Время чтения8 мин
Охват и читатели11K

Предлагаю оставить бизнес-литературу с «успешным успехом» в стороне и изучить материалы, подготовленные ведущими учеными в области стратегического менеджмента, а во второй половине подборки — обратить внимание на необычные статистические сборники и отчеты, которые вы скорее всего не встречали ранее. Рассказываю, что внутри, и сколько времени потребуется на изучение.

Читать далее

7 направлений оптимизации ClickHouse, которые помогают в BI

Уровень сложностиСредний
Время чтения12 мин
Охват и читатели16K

Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации. 

А что там с оптимизацией ClickHouse?

Gmail и Yahoo ужесточают правила для входящих писем: теперь DKM и DMARC обязательны

Время чтения3 мин
Охват и читатели25K

Как работает SPF

Владельцам собственных почтовых серверов (на своём хостинге) постоянно приходится следить за тем, чтобы их домен или IP-адрес не занесли в чёрный список. А с февраля 2024 года придётся ещё труднее, поскольку Gmail и Yahoo ужесточили правила для входящих писем (объявление Gmail, объявление Yahoo).

Для обычных пользователей хорошая новость в том, что спама станет меньше. А владельцам почтовых серверов теперь придётся следить ещё за «уровнем спама» со своих серверов, то есть сколько пользователей помещают их письма в спам.
Читать дальше →

Домашний кластер разработчика

Уровень сложностиСредний
Время чтения10 мин
Охват и читатели27K

Сколько проектов можно разрабатывать одновременно? Вопрос звучит неоднозначно. С одной стороны, на процесс влияет человеческий фактор, с другой – технические ограничения.

Если в работе используется Docker, то запуск нескольких проектов одновременно может превратиться в жонглирование контейнерами. Под таким словосочетанием я имею в виду постоянное отключение и подключение контейнеров, изменения портов, чтобы не было конфликтов, а также имена контейнеров, потому что внутри контейнера иногда необходимо выполнить скрипты. 

Я хочу попробовать иной метод работы, который, я надеюсь, должен помочь упростить использование нескольких проектов в Docker. Как я это делал, подробнее расскажу в статье. 

Читать далее

Когнитивные искажения, о которых стоит помнить

Время чтения15 мин
Охват и читатели114K

Из-за когнитивных искажений мы иногда принимаем иррациональные решения, а также выносим суждения на основе информации, которую мы обрабатываем. Фактически, когнитивные искажения — это запрограммированная ошибка в нашем мозге.

Также их можно представить как простые правила, которым следует мозг, чтобы обрабатывать поступающую информацию с минимальными затратами.

Когнитивных искажений существует большое множество, и о них полезно знать. В этой статье мы сделаем обзор 151 искажения, которые часто встречаются в повседневной жизни: как в личной, так и в профессиональной.

Читать далее

Кошелек Дурова, или Telegram, который становится первым мировым супераппом

Уровень сложностиПростой
Время чтения8 мин
Охват и читатели111K

О том, как Павел Дуров и Илон Маск взяли курс на борьбу за власть над всем миром: WeChat, глобальные платежные системы и провал Цукерберга.

Читать далее

Мой опыт в Airflow: как повысить стабильность загрузки данных в 5 раз

Уровень сложностиПростой
Время чтения4 мин
Охват и читатели9.1K

Когда я пришла на проект, в нём уже было много всего: много данных, много источников, много задач в Airflow. Чтобы ощутить масштаб, достаточно, пожалуй, взглянуть на одну картинку.

Читать далее

Как составить резюме, чтобы его точно открыл HR. Метод бутерброда

Время чтения5 мин
Охват и читатели26K

Всем привет! Я Аня Шабаева, HRG в AGIMA. Как-то я уже обсуждала с вами, стоит ли делать тестовое задание. Сегодня хочу рассказать, как дойти до этапа с тестовым. Как сделать свое резюме запоминающимся? Как правильно показать свои навыки, чтобы получить должность мечты? Наливайте чаёк и давайте разбираться. 

Читать далее

Как мы управляем инфраструктурой на более 1000 серверов при помощи Ansible

Уровень сложностиСредний
Время чтения12 мин
Охват и читатели24K

Привет, Хабр! Мы системные инженеры X5 Tech — Алексей Кузнецов и Борис Мурашин. У нас за плечами больше 15 лет опыта, в том числе поддержка сервисов Rapida, CyberPlat, TeleTrade, сопровождение стека BigData и внедрение кластеров Hadoop. В этой статье мы расскажем, как выбирали систему управления конфигурациями, какими критериями руководствовались, что в итоге выбрали, с какими проблемами столкнулись и как их решали.

Рассматривать вопрос, зачем вообще нужна система управления конфигурацией, не будем. Потому что считаем, что если у вас больше одного сервера, она уже необходима. Перейдём сразу к тому, почему мы выбрали именно Ansible.

Читать далее

Как мы использовали Telekube для удаленной отладки приложений в Kubernetes

Время чтения7 мин
Охват и читатели2.7K

Привет, Хабр! Эта статья расскажет о способе, который мы в Just AI придумали и реализовали для локальной разработки и отладки сервиса, работающего в Kubernetes.

Допустим, у нас есть некий компонент (ядро системы), который обычно запускается в Kubernetes и имеет множество взаимосвязей с другими сервисами. У компонента два сетевых интерфейса, которыми активно пользуются другие части системы, также развернутые в Kubernetes. Наша задача — научиться запускать его в IDE на своем ноутбуке в режиме отладки, чтобы максимально удобно и быстро отлаживать этот компонент. Telekube предоставляет возможность это сделать

Читать далее

TLS Client Hello — перехватываем и парсим — Nginx + Lua / Go

Уровень сложностиСредний
Время чтения10 мин
Охват и читатели7.3K

Возникла на днях достаточно интересная задачка - по образу сайта https://www.howsmyssl.com/ получить на страничке список Cipher Suites которые при TLS Handshake клиент передает в своем Client hello.

А заодно обдумать инструмент, который позволит работать с другими заголовками, в частности - Proxy-Connection

Читать далее

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность

Специализация

Системный администратор, DevOps-инженер
Linux
Python
Docker
Git
MongoDB
Bash