IT-инфраструктура *

Когда в вашем ИТ-ландшафте есть «маленькая шлюпка», представляющая собой один контейнер, — это понятная и легко управляемая история. Если же речь идет о «Титанике», множестве контейнеров, то все уже не так просто, как хотелось бы.  Когда же вы вырастаете до целой флотилии, где каждый корабль — это отдельный кластер Kubernetes, то здесь возникают нюансы.

В статье я поделюсь опытом, как подойти к этой проблеме системно: внедрить DevOps as a Service так, чтобы он стал не «еще одной модной практикой», а реально работающим сервисом внутри enterprise. Разберем, какие сложности чаще всего встречаются на пути, какие метрики помогают понять, что вы движетесь правильно, и как справляться с сопротивлением команд.

Когда все чеки зеленые, а клиентские чаты полыхают — это говорит о том, что где-то команда DevOps свернула не туда.

Рассказываем историю о том, как мы устали от лавины алертов и собрали свой инструмент распределенного внешнего мониторинга. В статье делимся «внутрянкой», как все устроено и тем, какие грабли словили при развертывании системы.

Запуск нового магазина — это бизнес-процесс, включающий в себя пару десятков этапов. Если контролировать всё вручную или работать «костыльно», вряд ли торговая точка откроется в планируемые сроки, а компанию ждут финансовые потери. Расскажу, как автоматизировать этот этот процесс на базе BPM-платформы. Это решение подойдёт розничных и оптовых торговых сетей, супермаркетов и дарксторов.  

Все вокруг говорят про облачные сервисы, хранилища и системы. Но если вы работаете в крупной компании с закрытым контуром, любое «облако» — радиоактивное. Потому что утечка данных или сбой сервиса — это минус репутация и контракты.

И вот вы, большое предприятие, хотите внедрить КЭДО, чтобы упростить наём, согласование отпусков и командировок. Но возникает закономерный вопрос: а нам так можно?

Если кратко, то можно. Подробнее рассказали в статье и ответили на главные вопросы:

Привет, Хабр! Меня зовут Виктор Смирнов. В Yandex Infrastructure я c недавнего времени занимаюсь фронтендом YQL: транслятором и инструментами разработки.

В этом посте я расскажу про новый модуль автодополнения запросов на YQL, а также продемонстрирую, как он преобразил консольный клиент YDB CLI.

Заметили, что кибератаки на IT-инфраструктуру стали новой реальностью? Кажется, каждый день выходят новости о том, как злоумышленники или зашифровали, или скомпрометировали критичные для бизнеса данные. Как не оказаться в числе тех, кто ставит под угрозу свой бизнес из-за дыр в ИБ?

Привет! Я Михаил, старший менеджер продуктов в Selectel. В этой статье я расскажу о рекомендуемых уровнях защиты и покажу, как повысить безопасность инфраструктуры в облаке, используя группы безопасности и облачный файрвол. Давайте разберемся, что и зачем нужно. Детали под катом.

Неправильно выбранная стратегия тестирования в лучшем случае даст нулевой результат, а в худшем – приведет к неадекватной оценке возможностей системы или решения. Поэтому перед тем как начинать тесты, очень важно правильно определить задачи и выбрать соответствующую стратегию тестирования.

Нам надо было закупить High-CPU, но так, чтобы это было одинаковое корпоративное железо для всех наших дата-центров по миру.

Почему надо было закупить? Потому что есть маркетинг. Те хостинги, которые используют десктопное железо, вешают потрясающие числа на сайты. У многих красуются предложения с частотами по четыре, а то и по пять гигагерц. Понятно, что совесть у всех разная, и часто за этими цифрами скрываются обычные десктопные процессоры, а не серверные. Но клиент, который не вникает в детали, видит большое число и делает выбор.

Так вот, нам надо было тоже завести такое большое число, потому что так порешал рынок.

Мы давно придерживаемся принципа использовать только настоящее серверное железо, то есть корпоративный класс. У нас в основной линейке стоят проверенные серверные Intel, которые в пике выдавали 3,7 ГГц. И мы-то знали, что наши 3,7 ГГц по реальной производительности легко обгоняют многие разогнанные решения конкурентов.

Но как это донести до человека, который просто сравнивает цифры на лендинге?

Поэтому мы стали искать серверный процессор с высокой тактовой частотой, чтобы соответствовать нашей внутренней политике и при этом не проигрывать в слепом сравнении.

Решили затестить AMD Epyc. Нашли модель с отличными ТТХ: много ядер, высокая частота. Купили партию железа.

Думали, что сейчас включим, и он просто разорвёт наш текущий Intel.

Это наш первый опыт с AMD. Нас немного смущал тренд на Реддите «Почему тормозят AMD Epyc», но казалось, что всё должно пойти хорошо.

Конечно же, хорошо не пошло, иначе я этого не писал бы.

Представим, что вы запускаете обучение модели, ждете, что процесс пойдет как по маслу. Но вместо этого в инструментах мониторинга видите, что GPU загружен на 40–60%, а то и меньше. Время обучения растягивается и эффективность не та, что вы ожидали. Даже самый быстрый GPU беспомощен, если данные не успевают до него «доехать». Он просто ждет.

В статье разберем, почему для эффективного AI-обучения важны быстрые диски, память и CPU, и расскажем, как спроектировать сбалансированную инфраструктуру — даже в условиях ограниченных ресурсов.

Привет, Хабр! Мы все читаем одни и те же новости: ИИ пишет код, управляет дронами и вот-вот отберёт у людей всю работу. Кажется, он везде. Но на самом деле есть одна интересная сфера, куда нейросетям пока вход закрыт. Ещё удивительнее то, что речь идёт именно о той деятельности, которая связана с рождением всех этих умных алгоритмов — дата-центры. И тут возникает парадокс: туда, где создают LLM, наотрез отказываются пускать их к рулю. Почему?

В Островке мы строим экосистему вокруг данных — от хранилищ и пайплайнов до систем мониторинга и каталогов. Но когда всё только начиналось, под часть наших процессов просто не существовало готовых решений. Так появился наш собственный дата-каталог DataPortal — лёгкий, быстрый и идеально подходящий для небольшой компании.

Со временем всё изменилось: объём данных вырос в десятки раз, появились новые команды, и вместе с этим начали звучать вопросы вроде «где лежат данные для этого дашборда?», «кому писать, если он упал?» и «можно ли этим данным доверять?». Так мы поняли, что пора взрослеть — и искать инструмент, который поможет масштабировать не только инфраструктуру, но и дата-культуру.

Мы выбрали DataHub — open-source каталог, обещавший прозрачность, автоматизацию и гибкость. Развернули, подключили источники, построили lineage, и даже порадовались, что всё заработало с первого раза. А потом стало ясно: DataHub не заменил наш DataPortal. Более того, оба инструмента отлично дополнили друг друга — инженерное ядро и удобное окно в данные для бизнеса.

Почему два дата-каталога оказались лучше одного, как это повлияло на культуру работы с данными и что нам дал DataHub помимо красивых графов lineage — рассказываем под катом.

При работе с распределенными хранилищами на базе Ceph иногда возникает необходимость временно или окончательно исключить узел из кластера. Это может понадобиться при обновлении оборудования, обслуживании инфраструктуры или перераспределении ресурсов. Вместе с тем если узел, подлежащий выводу, одновременно исполняет роли MON (Monitor), MGR (Manager Daemon) и MDS (Metadata Server), задача превращается в настоящий квест hard-уровня. Но при должном подходе и с такими кейсами можно справиться. 

Меня зовут Алексей Косов. Я старший инженер доступности отдела интеграции и сопровождения облачных решений в команде VK Tech. СХД Ceph — это часть поставки нашего продукта для построения частного облака в ЦОДе заказчика VK Private Cloud. В этой статье я пошагово покажу, как можно вывести узел с полным комплектом сервисов Ceph из кластера, чтобы кластер и остальные узлы не пострадали.

Привет, Хабр! Меня зовут Дмитрий (@HaZkeR_Default), и я — инженер по инфраструктурным решениям в компании РЕД СОФТ. Моя работа связана с RED DC — контроллером домена, входящим в состав системы централизованного управления РЕД АДМ. В частности, я занимаюсь анализом проблем, возникающих у пользователей. Итак, я обнаружил, что 80% ошибок легко поправимы и закрадываются на этапе первичных настроек «Службы каталогов». Их можно избежать, выполнив проверки на стадии ввода или репликации.

Результат моих трудов — сегодняшний чек-лист. Разберем подробно типовые ошибки, которые допускаются в процессе заполнения конфигурационных файлов, и пройдем процесс первоначальной настройки.

Корпоративный архитектор — это «демон Максвелла», и его задача — бороться со сложностью ИТ-ландшафта. У нас в Банке это добрый демон, оперирующий подходами Just Enough Enterprise Architecture (JEEA) и Lightweight Architecture Governance (LAG). Именно корпоративные ценности и культура в Банке делают демона добрым. Поверьте мне, ведь я один из них.

Привет, Хабр! Меня зовут Дмитрий Клецких. Я Chief Enterprise Architect в Райффайзен Банке. До этого много лет работал корпоративным архитектором в других компаниях: МКБ, СБЕР, Транснефть, Правительстве Москвы. Поговорим об изменениях ИТ-ландшафта, организационных и технологических трансформациях, о роли архитекторов и изменении этой роли с приходом ИИ.

Управлять сетью сложно, пока у каждого устройства свои логины и правила. Десятки точек доступа, роутеров, шлюзов — и админ превращается в архивариуса паролей. Менять доступ сотруднику? Делать это на каждом устройстве. Отключить уволенного? То же самое, только наоборот. Ошибиться легко.

Но решение существует давно — централизованная авторизация через RADIUS. Один сервер знает все: кто подключается, к чему имеет доступ и что делает в сети.

Я Лев, специалист продуктовой поддержки в Selectel. Под катом расскажу, как работает RADIUS, за что отвечает AAA и как развернуть свой сервер на базе FreeRADIUS в облаке — от установки до интеграции с оборудованием MikroTik.

Привет, коллеги! Год продолжает радовать нас мощными апдейтами!) Делимся подборкой самого интересного, что случилось в мире DevOps-инструментов недавно.

Динамическое обновление ресурсов Pod и Kubernetes

Одна из самых крутых фич, которая стала стабильной в Kubernetes 1.33, - это возможность изменять запросы и лимиты CPU/памяти у работающих подов без их перезапуска.

Криптографическая уязвимость Evolution Marketplace: Анализ кражи Исследование безопасности ECDSA подписей крупнейшего даркнет-рынка

В предыдущей части мы обсудили общие аспекты ИТ Архитектуры, и подробно затронули такой ее слой, как архитектура Данных, которая охватывает все многообразие бизнес-информации предприятия, знания о потоках ее распределения, сборе, обработке и использовании, представляемой в виде различных моделей данных.

Теперь обратимся к слою Приложений, который соотнесет используемые данные и правила их обработки с компьютерными программами, для их хранения, получения и преобразования в ходе автоматизированного выполнения бизнес-процессов.

Архитектура прикладных решений (ESA –Enterprise Solution Architecture) — это организационный дизайн всего программного приложения, включая все подкомпоненты и внешние приложения, интерфейсы для их взаимодействия, а также их поведения в рамках сотрудничества структурных элементов.

Используются этот инструмент для описания модели того, как приложение будет обеспечивать жизненный цикл необходимых бизнес-процессов, соответствующих бизнес-архитектуре предприятия. Архитектура приложений покрывает достаточно широкую область, начиная с идентификации прикладных систем необходимых предприятию для выполнения бизнес-процессов, и захватывает такие аспекты, как проектирование, разработку (или приобретение) и интеграцию прикладных систем в комплексные решения.

Потому для упрощения восприятия, как правило, разделяют две основные области ее применимости:

Организация сетевого взаимодействия между филиалами всегда была сложной задачей. Технологии вроде MPLS обеспечивали гарантированное качество связи, но со временем перестали справляться с растущими потребностями.

Главная проблема традиционных сетей — неэффективное управление трафиком. Все приложения вынуждены использовать общий канал, что неминуемо приводит к перегрузкам. А механизмы приоритизации требуют сложной ручной настройки на каждом устройстве.

Помимо этого, в распределённой компании важно постоянно отслеживать качество связи, чтобы оптимизировать использование каналов, повысить отказоустойчивость и упростить подключение филиалов и устройств.

Новые сетевые технологии успешно справляются с этими задачами. Сегодня мы разберём интеллектуальную маршрутизацию. О других преимуществах современных решений для управления сетью расскажем онлайн 11 ноября — подключайтесь, регистрация по ссылке. 

Помню, как на собеседовании в одну крупную компанию мне задали вопрос: "Чем отличается observability от monitoring?" Я уверенно ответил что-то про "три столпа" и "unknown unknowns". Интервьюер кивнул, но потом спросил: "А зачем платить $100k в год за Datadog, если можно поставить бесплатный Prometheus?"

Тогда я не смог внятно ответить. Сейчас, спустя три года и несколько миграций между системами мониторинга, я знаю ответ. И он стоил нашей компании около полумиллиона долларов в экспериментах. Давайте разберемся, за что же мы платим такие деньги.