IT-инфраструктура *

Всем привет, меня зовут Володя. Я работаю в Yandex Infrastructure и занимаюсь развитием систем балансировки нагрузки. В статье расскажу, как развивалась наша новая система управления конфигураций с момента её создания в 2018 году, а ещё о том, как мы переходили на новый Data Plane балансировки и какие новые интересные вызовы это породило с точки зрения массовости задач и управления ресурсами. 

Опишу новые проблемы и особенности, в том числе планирование ресурсов для большого динамичного парка клиентов. Также обсудим, какие бывают долговременные негативные последствия у слишком удобных систем балансировки нагрузки и что мы планируем с этим делать.

Мы привыкли считать, что если сервер доступен и SSL в порядке — значит, всё под контролем. Но иногда сбой происходит раньше, ещё до того, как запрос дошёл до сервера.

Меня зовут Михаил Шпаков, я создаю и развиваю сервис мониторинга Statuser.

Недавно я общался с руководителем IT-отдела одной компании, которая использует Statuser для мониторинга своих сервисов. Он поделился интересным кейсом: несколько часов подряд у них перестала отправляться почта с корпоративного домена. Сайт работал, сервер был доступен, SSL-сертификат в порядке — всё зелёное, а письма не уходят. Проблема выглядела случайной: часть писем доставлялась, часть возвращалась с ошибкой, а из-за этого срывались заказы и возникали прямые убытки.

Когда их команда начала разбираться, выяснилось, что недавно один из сотрудников сменил почтового провайдера и добавил новые MX-записи в DNS, но старые при этом не удалил. В результате часть писем уходила на старый сервер, который уже не принимал почту, а часть — на новый. Снаружи всё выглядело исправно, но на деле домен был «раздвоен» между двумя почтовыми системами.

После этого разговора я понял, что в Statuser не хватает отдельного типа мониторинга — контроля DNS-записей. HTTP, SSL и Ping могут быть зелёными, но если в DNS остались старые MX, сервис уже фактически неисправен.

Так в Statuser появился новый тип мониторинга — проверки DNS, который помогает замечать изменения, подмены и ошибки в зонах ещё до того, как они превращаются в простои и убытки.

Далеко не у всех из нас есть девайсы с поддержкой Wi-Fi 7, а инженеры уже тестируют восьмую версию. Одной из первых стала компания TP-Link — она же и поделилась результатами испытаний прототипа Wi-Fi 8 — под индексом 802.11bn. Судя по всему, здесь нас ждет не гонка скоростей, а ставка на стабильность и предсказуемость соединений.

Разработчики основной упор сделали на оптимизацию работы в реальных условиях: когда одновременно стримится видео, приходят push-уведомления, а кто-то в соседней комнате включает микроволновку. По словам представителей компании, именно в таких случаях Wi-Fi 8 работает заметно ровнее — особенно за счет устойчивых маячков и чистого потока данных даже при большом количестве клиентов. Давайте посмотрим, что там появилось интересного. 

Хабр, привет! На связи Дима Унтила, product owner «Пульта» и «Графини», и Паша Мирошин, ведущий разработчик в «Лаборатории Числитель».  

Несколько недель назад мы объявили о выпуске «Графини» — первого на рынке аналога Open-Source-платформы Grafana. И тут прорвало всех: столько критики, предложений и шуток мы не получали никогда 🙂 Кто пропустил — велком сюда.

За время существования Grafana собрала вокруг себя большое мировое комьюнити. Она бесплатная, развиваемая, популярная. И первый очевидный вопрос, который мы получили от сообщества: зачем разрабатывать аналог? Только ради регистрации в реестре?

Ответы на эти вопросы, а также рассказ про архитектуру и полезные фичи — ищите под катом.

Сегодня я расскажу, как установить простой сервер для видеоконференций. Его можно использовать, чтобы звонить родственникам или знакомым в эти непростые времена, или же просто иметь в виду как запасной вариант на случай перебоев с другими более известными сервисами.

Сервер называется Galene, github. Он был разработан во время пандемии в Парижском университете как инструмент для проведения удалённых занятий. Со временем его возможности расширились, и теперь по функционалу он ближе к Jitsi Meet.

Меня зовут Кристина Павлив, я руководитель продукта в МТС: с нуля прорабатывала идею и развиваю приложение МТС Field, которым пользуются наши полевые инженеры.

В техническом блоке МТС около 3 тысяч человек занимаются подключением интернета и обслуживанием абонентов. В какой-то момент, чтобы выполнить свою работу, им нужно было зайти и заполнить данные в шести разных системах. Любое уточнение информации шло через диспетчерский центр, а перенос времени визита к абоненту или поиск новых заявок осуществлялись по звонку руководителю. И это все при разъездном характере работы, когда каждая минута на счету, а к абоненту опоздать никак нельзя!

В прошлом году мы создали одно приложение и закрыли все потребности ребят, работающих «в полях». Это была нетривиальная задача: собрать несколько команд, распределить зоны ответственности и наладить взаимодействие с конечными пользователями. В этом посте я расскажу, почему мы не могли избежать роста числа приложений, как выстраивали общение разработчиков с инженерами и какие дополнительные плюсы можно получить от создания «единого окна».

Могут ли схожие по уровню модели выдать в результат в 10 раз лучше?

Эксперимент
Я взял 3 топовые модели Claude против 3 топовых ChatGPT и дал им одинаковый промпт — без детальных инструкций, ролей и правил

Цель
Посмотреть, как модели справляются с выполнением задачи, когда у них есть полная свобода действий

Сравнение я сделал не через подробный промпт, а наоборот, постарался дать моделям максимальную свободу достичь результата так, как они захотят

Давайте посмотрим на результат, который каждая из 6 моделей сделала всего лишь из одного промпта

Разница между первым и последним местом вас точно удивит 🤯

В статье описывается процесс установки и настройки утилиты Beszel для мониторинга домашних серверов. Автор делится опытом работы с этой платформой, её преимуществами и недостатками, а также рассказывает о том, как интегрировать систему уведомлений в Telegram для быстрого реагирования на проблемы.

Всем привет! Я — Java-разработчик с пятилетним опытом в финтехе, и сегодня я расскажу, как настроить CI/CD для деплоя Spring Boot приложения из Bitbucket через Jenkins в MicroK8s. Это не просто теория — я поделюсь реальным кейсом, разберу ошибки, с которыми столкнулся, и дам рабочий код. Если вы хотите автоматизировать деплой и не наступать на грабли — поехали!

Представьте: у вас есть микросервис на Spring Boot, который нужно быстро и без ошибок доставить в продакшен. Ручной деплой отнимает время, а команда требует стабильности. Я решил эту задачу с помощью Bitbucket, Jenkins и MicroK8s, но путь оказался не таким гладким, как хотелось бы. Проблемы с аутентификацией, конфликты портов и настройка окружения заставили меня попотеть. Как я справился? Об этом — в статье.

CI/CD (Continuous Integration/Continuous Deployment) — это must-have для современных разработчиков. Автоматизация сборки, тестирования и деплоя приложений экономит время, снижает вероятность ошибок и ускоряет доставку кода до продакшена. В этой статье мы разберем, как настроить полноценный CI/CD-пайплайн для Spring Boot приложения, используя связку Bitbucket, Jenkins и MicroK8s.

Хабр, привет! Я Саша Краснов, CTO контейнерной платформы «Штурвал». Название статьи — это наша цель: мы с командой хотим сделать Kubernetes удобнее и доступнее для всех, кому это нужно. Для больших компаний — за деньги, а для маленьких команд — бесплатно.

Для этого мы недавно выпустили «Штурвал Community Edition»: просто взяли все технологии enterprise-версии и отдали всем желающим. Без урезаний по функциям и пробных периодов, регистрации и СМС.

Управление контейнерами требует очень глубоких компетенций и много опытных специалистов в штате. Малые и средние компании и отдельные разрабы могут просто бесплатно взять нашу community-версию, не экспериментируя и не перебирая решения из интернета. А когда и если нагрузки вырастут, то им не придется переучиваться и менять платформу.

Скачать «Штурвал CE» можно здесь. Если хотите больше информации — добро пожаловать под кат.

Паника, давка, пожар — как предотвратить катастрофу в месте, где собираются тысячи человек?

Ответ кроется не в увеличении штата охраны, а во внедрении интеллектуальных систем, предсказывающих риски — технологических стражей современных арен спорта. Давайте пройдем путь обычного болельщика, чтобы увидеть, как технологии создают его безопасность буквально на каждом шагу, превращая стадион в цифровую крепость. 

И снова здравствуйте, коллеги!

Продолжаем испытывать на прочность российское железо. В прошлый раз мы строили фабрику на коммутаторах Eltex. Поняли на практике, как ее правильно собирать и настраивать. 

Так вот, эта фабрика  до сих пор работает и радует моё инженерное сердце!

Но, как любая игрушка, через неделю она становится просто чем-то, что у тебя есть, а тебе хочется чего-то нового. И тут я вспомнил, как в детстве, вдоволь напускавшись бумажных самолетиков с друзьями, мы придумали сделать что-то ЯРКОЕ. И решили, что горящие самолетики – это круто! Было здорово. 

Знаю, о чем вы могли подумать. Нет, мы не будем поджигать нашу фабрику. 😊 Но устроим что-то жаркое… Нагрузочное тестирование! Зальем порты доступа гигабайтами трафика.

Знаете, этой статьи могло и не быть. Если бы не один случай, который меня так взбесил, что пришлось искать решение.

В нашей компании есть много проектов, связанных с AI. Всем им нужны ресурсы для работы с моделями на GPU. «Хотим, чтобы только мы имели доступ к оборудованию», — это лишь одно из требований инженеров из AI-дивизиона, а еще нужно оптимизировать использование GPU-ресурсов, вести их учет и быстро подготавливать оборудование к передаче другой команде.

Привет, Хабр! Меня зовут Вадим Извеков, я руководитель группы сопровождения платформы машинного обучения в YADRO. Сегодня расскажу, почему мы решили создать свою MLOps-платформу, как она устроена и для чего используется. 

Когда я писал статью про HAProxy, у меня возникла идея сравнить его с другим популярным proxy-сервером, например с Envoy. Но тогда мне показалось, что простое сравнение в виде таблицы или пары абзацев будет неинформативным — и я решил сделать полноценный разбор в отдельной статье. Если вам интересно — добро пожаловать! Здесь рассмотрены не все возможности каждого решения, но ключевые — те, которые действительно важны на практике.

Сегодня я разберу три популярных прокси, сравню их и расскажу: что, где и когда лучше применять. Под «популярными» я имею в виду те, с которыми работал сам и изучил их устройство «под капотом». Прокси существует гораздо больше, но о других говорить не буду — либо не копал глубоко, либо знаю слишком мало, чтобы включать их в разбор. Отдельно отмечу важность документации: если она запутана или неполна, приходится гадать, что и где настраивать, а это быстро отбивает желание работать с инструментом.

HAProxy 3.3, NGINX 1.29 и Envoy 1.35 — три open source-прокси с разной архитектурой и моделью управления. Enterprise-версии рассматривать не буду — капитализм делает свое дело: серьёзных отличий почти нет, а вот в OSS-вариантах есть что сравнить — в ряде моментов конкуренция пошла на пользу.

Когда вы видите баннер, кликаете по рекламе или указываете, что вас не интересует тот или иной товар, — за кулисами происходит немало вычислений. Система поведенческого таргетинга, отвечающая за персонализацию рекламы в Яндексе, получает эти события, обновляет ваш профиль, а затем использует его, чтобы в следующий раз показать что‑то более подходящее.

Сама по себе задача кажется очевидной: собирать события, обновлять профили, обеспечивать быстрое считывание информации. Но если заглянуть под капот, начинается настоящее инженерное приключение. Сотни тысяч событий в секунду, требование обработки в режиме exactly‑once, жёсткие ограничения по времени отклика, компромисс между скоростью и экономией ресурсов, и всё это — на фоне необходимости работать надёжно и с горизонтальным масштабированием.

Меня зовут Руслан Савченко, в Yandex Infrastructure я руковожу разработкой динамических таблиц YTsaurus — системы, в которой поведенческий таргетинг хранит данные. В этой статье я подробно разберу кейс поведенческого таргетинга с динтаблицами: почему таблицы в памяти иногда тормозят из‑за аллокатора, зачем мы внедрили xdelta, как именно устроены агрегатные колонки и что пришлось сделать, чтобы миллисекунды отклика в 99,9 перцентиле стали реальностью.

Многие до сих пор думают, что Wi-Fi от Eltex — это исключительно программные контроллеры SoftWLC (которые, к тому же, имеют довольно спорную репутацию). Между тем уже год, как они выпустили довольно годную линейку новых аппаратных контроллеров и новый виртуальный контроллер с отличным современным web-интерфейсом и кучей полезных фич. Которых, кстати, за последние полгода заметно прибавилось. Мы протестировали решение в нашей техлаборатории и проверили заявленный функционал. В этой статье хочу разобрать, насколько удачными получились новые контроллеры, что они умеют и можно ли их рекомендовать для крупного энтерпрайза.

Как же меня бесят статьи в духе “Как всего за 139 рублей в месяц развернуть свой сайт-визитку на vps”. Какие 139 рублей за сайт-визитку, совсем уже стыд потеряли?!

В этой статье я вам пошагово расскажу и покажу как бесплатно разместить и вести ваш личный сайт(блог, cv, wiki). Вам даже отдельный домен не нужен (всё будет “из коробки”), хотя в последнем шагом мы и его прикрутим. От вас нужны будут базовые знания git и просто уметь работать с markdown.

Российский бизнес активно занимается импортозамещением ИТ. В этих условиях компаниям требуется непрерывность бизнес-процессов при переезде на новый стек. Особое внимание в этом процессе уделяется инструментам для коммуникации и планирования. 

Меня зовут Леонид Мотовских. Я руководитель команды Календаря VK WorkSpace. В этой статье расскажу о методах миграции календаря из MS Exchange в VK WorkSpace, как мы реализуем их под капотом и какие механизмы применяем для исключения конфликтов.

Я айтишник, которому достался стадион в Омске. Точнее, сначала я поломался в хоккее. Из-за того, что я понимаю и спорт, и ИТ, очень много чего получилось сделать правильно, а некоторые отделы вообще заменить скриптом.

В прошлый раз я рассказывал про то, как сложно продать билет на обычный хоккейный матч. Было много вопросов про перекупов, про детали, как это всё работает. Чтобы пояснить обычные принципы жизни стадиона и спортивного клуба, расскажу на конкретном примере коллег из Владивостока, что может пойти не так, а также как клуб и стадион с этим работают. Им я помогаю уже как внешний специалист.

Владивосток от других городов отличается тремя очень важными вещами:

1. Тем, что денег мало (не как в топ-5 КХЛ), но развиваться надо.
2. Часовым поясом +7 к Москве, что делает незабываемыми трансляции матчей из европейской части России и перелёты команд туда-обратно. У вас либо в сутках 31 час, либо нет ночи, и вам потом играть.
3. И до стадиона только одна дорога, а сам стадион — немного за городом. В итоге там всё встаёт в дни финалов.

Первое невероятное решение — это трансляции плей-офф в кинотеатре. То есть обычно болельщики смотрят трансляции в барах, но в два ночи начинать там показ как-то не очень. Потом, если победа, то фанаты громят бар, а если команда проиграла, то тогда они однозначно громят бар.

Так вот, кинотеатр не громят. Поэтому можно сделать вывод, что во Владивостоке живут очень вежливые и понимающие люди.

Но давайте начну с других, более очевидных — ИТ-проблем.