Technotext

MySQL, который выживает: отказоустойчивый кластер с Orchestrator

Разбираем настройку HA-кластера с Keepalived и Orchestrator для тех, кто предпочитает контроль облачным black box-решениям.

Хабр, привет!

Почему проблема отказа мастера в кластере MySQL до сих пор актуальна? Потому что сегодня 10 минут простоя у крупных заказчиков – это ЧП, а человеческий фактор в кризисной ситуации – главный источник риска. Многие проекты, мигрируя на MySQL 8.0, заново проходят путь настройки отказоустойчивости. И далеко не все готовы доверить свою основную базу данных облачным managed-сервисам, иногда нужен полный контроль на своей инфраструктуре.

Привет, Хабр!

В этой статье мы расскажем о заочной борьбе с разработчиками объектного хранилища Hitachi Content Platform. Сначала мы столкнулись с критическим заполнением файловых систем индексов, а в процессе лечения обнаружили вторую, гораздо более глубокую проблему — одна из нод кластера фактически выпала из схемы хранения данных, оставаясь при этом «зелёной» в консоли. Материал будет полезен инженерам, работающим с HCP и другими объектными СХД, а также всем, кто любит истории о нетривиальных расследованиях в недрах корпоративного ПО.

Из всего многообразия оборудования, которое встречается в ЦОДе, ленточные библиотеки — единственный вид, работу которого можно увидеть. Ленточные библиотеки ворочают петабайты данных на магнитных лентах в картриджах, которые отдают лёгкой ностальгией по VHS, и делают это с помощью роботов. А роботы — это (почти) всегда круто. И в одной библиотеке их может быть несколько!

Ленточные библиотеки стыкуются из модулей, как огромные орбитальные станции, а их производители в погоне за максимальной плотностью хранения картриджей находят очень изобретательные решения — от хранения картриджей в несколько слоёв в одном слоте до револьверных механизмов высотой с холодильник и шаттлов, которые передают ленты между разными библиотеками. Это ли не круто?

В 2024 году мы — команда практического анализа защищенности «Инфосистемы Джет» — выполнили 130 проектов и выяснили, что в среднем достаточно 10 часов, чтобы вывести крупные суммы со счетов, остановить производство или слить критичную информацию. В работе мы используем сложные методы, но из-за низкой защищенности организаций часто хватает базовых техник[1] и общедоступного ПО. Наши наблюдения подтверждаются исследованиями кибератак[2]: в 83% случаев злоумышленники добивались успеха за счет «простых» методов — фишинг, эксплуатация уязвимостей по умолчанию или слабые пароли. State of art атаки с поиском 0-day — это скорее исключение. Обычно компании взламывают куда более прозаичными способами.

В этой статье мы разберем реальные кейсы из нашей практики, покажем, какие уязвимости не устранялись годами, и объясним, почему настройки по умолчанию и стандартные пароли — это хорошо для нас то, что делать не надо.

Привет, Хабр!

Я Владимир Колпаков, инженер-проектировщик СПД в центре сетевых решений

«Инфосистемы Джет». Сегодня расскажу, как работает система автоматизации сетевой фабрики, которую мы сделали для одного из заказчиков.

Автоматизация управления сетевым оборудованием давно превратилась в must-have для бизнеса. Если коротко, то это применение программных инструментов для автоматизации работы сетевых устройств. Цель — не просто упростить жизнь инженерам, а напрямую влиять на бизнес-метрики. В цифрах: развертывание новых сервисов ускоряется на 50–70%, а количество ошибок при конфигурировании снижается на 30–40%.

Почему White Box? Совокупный среднегодовой темп роста рынка White Box-коммутаторов составляет 16,2%. В первую очередь привлекательность White Box-коммутаторов обусловлена ценой, которая может быть ниже на 30–70% по сравнению с традиционными коммутаторами. Ответ на вопрос, за счет чего получается такая разница, раскрывается в идеологии White Box- оборудования.

White Box — это модель поставки сетевого оборудования, в которой аппаратная платформа и сетевое ПО поставляются отдельно. White Box («белый ящик») возник как ответ на классические программно-аппаратные комплексы (ПАК) от известных вендоров, которые представляют собой так называемый черный ящик — Black Box.

Благодаря концепции ONIE (Open Network Install Environment) White Box или baremetal- коммутаторы идут с минимальным набором ПО, который состоит из загрузчика и предустановленной минималистичной ОС ONIE, выполняющей функцию установщика основной сетевой операционной системы без доступа к аппаратной части коммутатора, отвечающей за data plane (плоскость данных).

Привет, Хабр! Я Павел Михайлик, архитектор в центре сетевых решений «Инфосистемы Джет». Сегодня я расскажу о балансировке в сети и почему она важна при наблюдении за манулами. 

«Балансирование нагрузки», «ADC», «GSLB», anycast, ECMP, — много разных терминов и ещё больше разных сценариев реализации, как в постановке задачи, так и в методах и механике реализации. Итак, давайте попробуем для начала наметить основные критерии, по которым можно разделить разные типы балансирования нагрузки.

Как YDB разворачивается «в бою», что происходит при сбоях, как работает восстановление, как ведет себя кластер под нагрузкой, с какими сюрпризами столкнется команда, которая будет ее администрировать. Весь анализ — с фокусом на уменьшение операционных затрат и повышение надежности.

Мы создали комплексную систему автоматического развертывания кластеров PostgreSQL, протестировали ее более 150 раз, внедрили у заказчика в изолированной инфраструктуре, и все заработало.

Никакого доступа к рабочей инфраструктуре, никакого интернета, никакого «скопировал — вставил». Даже буфер обмена отключен. Все тестируем у себя, воссоздав полностью среду заказчика. А это уже больше похоже на запуск марсохода.

Привет, Хабр! На связи снова Иван Глинкин, руководитель группы аппаратных исследований из команды Бастиона. 

«Флешка с кодовым замком», «флешка с аппаратным шифрованием», «зашифрованный USB-накопитель», наконец, эталонное название — «криптографический модуль» (Cryptographic Module). У криптофлешки aka encrypted USB много имен, но суть от этого не меняется.

Задача такого устройства — защитить чувствительную информацию от несанкционированного доступа на программно-аппаратном уровне: при помощи шифрования, механизмов антивскрытия и прочих «семи печатей». Однако так ли надежны эти защищенные USB-накопители, как принято считать, или это всё от лукавого? 

Мы решили не доверять маркетинговым заявлениям и провели собственное исследование: попытались взломать несколько таких устройств методами аппаратного реверс-инжиниринга. Попробовали извлечь данные, определить применяемые типы шифрования, вскрыть криптофлешки и прочитать чипы памяти.

Результаты получились интересными. Подробности — под катом.

Прямо сейчас, прежде чем вы проскроллите дальше, сделайте паузу и представьте себе велосипед. Самый обычный, двухколёсный, который вы видели сотни раз в жизни. Возможно, даже катались на нём прошлым летом.

А теперь мысленный эксперимент. Попробуйте в голове ( а еще лучше на листке бумаги) набросать его механическую схему. Как рама соединяет переднее и заднее колёса? Как протянута цепь и где находятся педали?

Если ваш велосипед выглядит как сюрреалистическая конструкция, которая никогда не сдвинется с места, — добро пожаловать в клуб. Вы только что столкнулись с феноменом, который в когнитивной психологии называют «иллюзией глубины объяснения». Проблема здесь не в том, что мы плохо рисуем. Проблема в том, что мы уверены, будто знаем, как работают вещи, хотя на самом деле наше понимание заканчивается на уровне пользовательского интерфейса.

Сага «Звёздные войны» давно стала больше, чем просто серией фильмов. Миллионы людей объединены общей страстью, и для многих из них обладание своим личным световым мечом становится очень важным. Ведь это не только предмет коллекционирования, технологический артефакт или даже спортивный инвентарь, а символ джедайской (или ситхской) философии.

На этом интересе вырос целый рынок. Есть компании, которые производят световые мечи целиком. Есть те, кто специализируется только на отдельных компонентах: рукоятях, платах, светодиодных модулях и прочей электронике.

Привет, на связи Крэйл из команды умных устройств Яндекса. Но сегодня я расскажу не о Станциях, а о своём необычном хобби. Однажды ко мне обратились производители компонентов с задачей разработать электронику для кастомных световых мечей. Проект оказался ярким во всех смыслах. А в статье я расскажу о том, какие были условия и как я справлялся с поставленными задачами.

В этой статье мы разберёмся, как подключать самодельные устройства к умному дому Яндекс с Алисой (далее - УДЯ). В качестве такого самодельного устройства у нас выступит Wi-Fi-метеостанция на ESP8266, обладающая следующими функциями:

* вывод уровня углекислого газа, температуры и влажности с датчика Sensirion SCD-30

* передача данных этих данных в УДЯ через наше облако по Wi-Fi

* вывод курсов криптовалют на встроенный экран

Содержание статьи:

1. Разработка аппаратной части устройства на ESP8266 / ESP32

2. Написание прошивки устройства в среде Ардуино

3. Создание сервиса в облаке на Python и Django для подключения устройства к УДЯ и хранения данных, выгрузки статистики

4. Подключение нашего проекта к УДЯ через Яндекс.Диалоги, учим Алису Яндекса работать с нашим устройством

5. Обсудим варианты доработок, подключение устройства к Home Assistant, создание сценариев автоматизации (управление кондиционером по показаниям с нашего устройства) и т.д.

80k RPS и 25 Гбит/с трафика тайлов с одного сервера — звучит как мечта для картографического сервиса? На самом деле это реально — если ваш способ отдачи тайлов спроектирован для этого.

С момента появления первых веб‑карт подходы к хранению картографических данных сильно изменились. В этой статье я разберу эволюцию от классических методов до современных облачных форматов и расскажу о нашем собственном решении с интересными алгоритмами индексации, а также зачем нам для этого понадобились деревья и алгоритмы цифровой сортировки.

Поделюсь опытом того, как мы отказались от сложного рендеринга на бэкенде, упростили инфраструктуру и эксплуатацию, а заодно перестали бояться пиковой нагрузки. Покажу, как это позволило нам отдавать сотни экспериментальных вариантов подложки Карт, используя в качестве бэкенда только S3.

Kubernetes-операторы давно стали привычным инструментом автоматизации и управления сложными системами. Однако на практике их поведение далеко не такое предсказуемое, как в примерах из документации. Небольшие отклонения в логике цикла согласования, обработке ошибок или обновлении статуса быстро превращаются в зацикливание, дублирование ресурсов и прочие сюрпризы, которые трудно отладить. Новичкам полезно понимать, почему так происходит, а опытным разработчикам — помнить, какие принципы стоит держать в голове при проектировании оператора.

Меня зовут Стас Иванкевич, я техлид в команде разработки управляющего слоя Platform V DropApp в СберТехе. В управляющий слой входят установщик кластера, консоль, API, другие компоненты и самое релевантное для этой статьи — наши многообразные операторы.

За последние несколько лет мы разработали целую пачку операторов — на один-два контроллера или сразу на множество. В ходе работы мы собрали и упорядочили лучшие практики, проверенные реальной эксплуатацией, а также подводные камни и типичные ошибки. И сегодня хотим поделиться нашей подборкой с вами.

Неделю назад по сети пронеслась новость о том, что генеральный директор Y Combinator Гарри Тан с помощью ИИ Claude пишет десятки тысяч строк кода ежедневно и имеет виртуальную команду из 10+ ролей. Я решил проверить насколько это решение действительно рабочее и не является ли оно очередным хайпом. В этой статье мы разберемся, что за инструмент использует CEO Y Combinator и в чем его особенности. А также попрактикуемся в его использовании.

Со мной случилось приключение — настоящий промышленный туризм.  На экскурсию по цехам Новолипецкого металлургического комбината не купить билет, но для сотрудников такие экскурсии случаются. Мой путь к этому дню оказался таким: полтора года работы деврелом в НЛМК ИТ и подготовка статей для Хабра, во время создания которых я ловила термины вроде MES, КЦ, ДЦ и не всегда понимала, что они означают, пока не увидела все своими глазами.

Никакая статья не заменит момент, когда ты вживую оказываешься на металлургическом заводе! Всё, что раньше складывалось из чужих слов и фотографий, наконец ожило своими вибрациями, запахами, жаром и невероятным масштабом. Шаг за проходную изменил не только мое понимание металлургии, но и отношение к работе в целом.

Компании и энтузиасты стремятся автоматизировать процессы, но не каждый готов писать код с нуля. Поэтому в последние годы особую популярность набрала no-code платформа n8n. С её помощью можно быстро собирать пайплайны различной сложности: от простых чат-ботов до умных ассистентов, которые управляют календарем и напоминают о задачах.  Обычно в статьях про n8n затрагивают только готовые блоки, собирают из них пайплайны автоматизации, но в то же время упоминают об ограниченности использования этой платформы. Действительно, базовых блоков в n8n может не хватать, чтобы закрыть все потребности пользователя, но сегодня я покажу, как можно обойти эти ограничения и расширить базовый функционал n8n.

Привет, Хабр! Меня зовут Музафаров Данил, я Data Scientist в компании Raft. В этом туториале я шаг за шагом покажу: как локально развернуть n8n, как добавить кастомные API и создать полноценного AI-агента с MCP tools с расширенным функционалом. Придется немного писать код, но главное, что это позволит оставить архитектуру решения на n8n, дополнив его кастомными тулами.

Задача Text‑to‑Speech (TTS) она же задача синтеза речи — заключается в том, чтобы озвучить заранее подготовленный текст голосом спикера. Данная задача является одной из важных в системах взаимодействия человека и компьютера. Конечно, такая задача генерации речи встречается гораздо реже, чем, например, задача генерации или обработки текста, тем не менее, сферы ее применения со временем только увеличиваются в своих масштабах и становится все более востребованной.

Привет, Хабр, меня зовут Музафаров Данил, я работаю DS инженером в компании Raft и сегодня мы рассмотрим существующие Open Source модели и репозитории, которые решают задачи TTS для русского языка.

На связи команда внутренних инновационных сервисов ecom.tech.  

Мы занимаемся разработкой продуктов для внутренних нужд компании, экспериментируем с внутренними AI-продуктами для сотрудников: от забавных и полезных ботов до автоматизации повседневных задач. Сегодня мы расскажем, как помогли разгрузить аналитиков от их типовых задач с помощью искусственного интеллекта – внутри реальные кейсы, гайды и пошаговые инструкции на примере ecom.tech. Поехали!

Самое время признать: несмотря на шум в СМИ и на Хабре о массовых увольнениях разработчиков и «заморозке» найма, 2025-й год не принёс обвала. Но индустрия вышла из режима лёгких денег и хаотичного роста и перешла к требовательной, измеряемой нормальности. Айтишка стала более осознанной и экономной в вопросах продвижения и маркетинга.

Или нет?

Привет, Хабр! Меня зовут Кирилл Ширяев, я — HRD в МойОфис. Ниже разбор главных мифов о рынке и тех механизмов, по которым реально жили найм, удержание и развитие людей в IT в 2025 году. Я вижу это как по нашей компании, так и в целом по индустрии. Читайте короткую версию и сохраняйте полную — она пригодится.