Как стать автором
Обновить
209.54

DevOps *

Методология разработки программного обеспечения

Сначала показывать
Порог рейтинга
Уровень сложности

Apache Kyuubi + Spark: как приручить большие данные

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров1.3K

Привет, Хабр! Меня зовут Станислав Габдулгазиев, и я архитектор департамента поддержки продаж Arenadata. В этом материале поделюсь впечатлениями от использования Kyuubi — инструмента, который значительно упрощает работу пользователей с SQL, а также затрону вопросы его сравнения с другими решениями для обработки больших данных.

Kyuubi — это сервис, предоставляющий механизмы для распределённого выполнения SQL-запросов поверх различных вычислительных движков, таких как Apache Spark, Hive, Flink и Impala. Он часть дистрибутива Arenadata Hadoop (ADH), который включает эти движки для обработки и анализа данных.

Читать далее

Новости

Что такое модель claims в Kubernetes: гибкость и эффективность управления ресурсами

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров596

В статье разбирается модель claims и её ценность для управления ресурсами в Kubernetes. Узнайте, как она помогает разделять желаемое и наблюдаемое состояния ресурсов.

Читать далее

Конфигуратор. Как подготовиться к «Одной кнопке» для разворачивания инфраструктур компаний (ansible)

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров866

Стояла основная задача, быстро разворачивать цифровую инфраструктуру «по кнопке». Казалось, уже всё есть, есть инструменты, подходы, бери и используй, но «дьявол кроется в деталях». В этой статье я расскажу как мы с ограниченными ресурсами готовились к возможности внедрения юзер‑френдли конфигуратора.

Если кратко, то как использовать Ansible inventory для конфигурирования любых цифровых инфраструктур.

Читать далее

Spring Boot Filter. Введение в фильтрацию запросов

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров2.5K

Привет, меня зовут Николай Пискунов, я руководитель направления Big Data и автор медиа вАЙТИ. В этой статье поговорим о фильтрации запросов.

Читать далее

Истории

Личный опыт применения бережливого производства в IT

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров2.1K

Очень давно вынашивал в себе планы написать эту замечательную статью, но из-за нехватки времени всё никак не мог закончить её оформление. Благодаря череде новогодних праздников мне удалось найти время и силы, чтобы довести начатое до логического конца. Ура! Надеюсь, что мой труд не пропадёт зря и найдёт позитивный отклик у аудитории Хабра.

Введение

Бережливое производство (lean production или просто lean) — это концепция, ориентированная на максимальную эффективность работы предприятия за счёт минимизации всех видов потерь. В основе лежит стремление к созданию ценности для потребителя, при этом исключая все ненужные расходы и излишние процессы, которые не добавляют этой ценности. Данная философия активно применяется в различных отраслях, от производства автомобилей до сферы услуг.

Если описывать простыми словами, то бережливое производство – это про концентрацию на основном результате труда (основной ценности), поиск путей наиболее эффективного получения этого результата и отказ от траты времени и ресурсов на то, что эту ценность не приносит.

Например, мы хотим стать олимпийскими чемпионами по прыжкам в высоту. Это значит, что вся наша деятельность должна быть направлена на достижение этой цели, поэтому мы тратим время на интенсивные тренировки, соблюдаем режим дня и питания, употребляем «витамины» для более быстрого восстановления, обучаемся только у опытных тренеров, участвуем в региональных соревнованиях, общаемся с другими спортсменами и прочее. Все остальные активности, которые нам не помогают в достижении этой цели, мы выбрасываем. Отказываемся от ночной разгрузки вагонов, от строительства своими силами дачного домика, от употребления алкоголя, от посещения кружков по вышиванию и рукоделию и т.д. Всё должно быть подчинено нашей цели.

Читать далее

FastAPI и Vue.js 3: телеграм-бот с MiniApp для записи и автоматических уведомлений. Пишем бэкенд

Время на прочтение41 мин
Количество просмотров2K

Сегодня я рад представить новый масштабный проект, в рамках которого мы подробно рассмотрим технологии и подходы, ранее не освещенные в моих статьях.

На этот раз мы создадим телеграм-бота с MiniApp (ранее известным как WebApp) — это будет бот с интегрированным мини-сайтом прямо в Telegram. Для реализации проекта мы используем два основных фреймворка:

1. FastAPI — мощный Python-фреймворк, который мы задействуем для разработки API нашего телеграм-бота. Мы рассмотрим уникальный подход, позволяющий создать полноценный бэкенд, который будет закрывать как API-методы, так и функционал телеграм-бота.

2. Vue.js 3 — JavaScript-фреймворк, выбранный за его удобство разработки и возможности создания сложных визуальных элементов.

В этой статье мы сосредоточимся на описании бэкенда, а создание приложения на Vue.js 3 будет вынесено на следующую статью.

Читать далее

Конфигурирование алертов prometheus или как мы настраивали алерты для бизнес-метрик

Уровень сложностиСредний
Время на прочтение4 мин
Количество просмотров1.1K

В статье расскажу, как настроить мониторинг Apache NiFi и алерты при переполнении очереди по достижении 8000 FlowFiles.

Зачем вам читать эту статью? Переполнение очереди FlowFiles в Apache NiFi может привести к замедлению или остановке обработки данных, мониторинг позволит своевременно среагировать на проблемы с производительностью и выявить узкие места.

Читать далее

Из 2024 в 2025: вспоминаем лучшие практики CI/CD

Уровень сложностиСредний
Время на прочтение24 мин
Количество просмотров9.9K

Развитие методологий CI и CD не стоит на месте. Тем не менее, проверенные практики, вероятно, останутся актуальными и в 2025 году. В этой статье покажем некоторые из таких в действии.

Вспомнить лучшие практики CI/CD

Как организовать безопасное хранение секретов в Docker: лучшие практики

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров12K

Хей, Хабр! Секреты — это такая щекотливая тема, из‑за которой у безопасников начинаются нервные подёргивания глаза. Вроде бы «просто пароль» или «просто токен», но в 2025 году мы уже знаем, что просто в безопасности — это верная дорога к утечкам и ночным обкаткам плана B. В этой статье поговорим, как правильно хранить секреты в Docker‑контейнерах и окрестностях, а заодно разберёмся, чем могут помочь Docker Secrets, HashiCorp Vault и компания.

Читать далее

Обзор новых проектов CNCF (Runtime и App Definition & Development): отказоустойчивое хранилище и анализ временных рядов

Уровень сложностиПростой
Время на прочтение21 мин
Количество просмотров1.4K

В этом обзоре мы представляем новые проекты CNCF, которые помогут в разработке и управлении облачными приложениями. Узнайте о последних обновлениях в категориях Runtime и App Definition & Development.

Читать далее

Обзор новых проектов CNCF (Orchestration & Management): гибкие политики планирования и безопасное управление сервисами

Уровень сложностиПростой
Время на прочтение18 мин
Количество просмотров1.2K

В статье мы рассматриваем новые проекты, добавленные в песочницу CNCF в 2024 году в категории Orchestration & Management. В обзоре расскажем о HAMi, Kmesh и других инициативах, которые меняют подход к оркестрации и управлению контейнерами.

Читать далее

Обзор новых проектов CNCF (Provisioning, Observability, Analysis): автоматизация работы с Terraform и платформа как код

Уровень сложностиПростой
Время на прочтение18 мин
Количество просмотров2.6K

Подготовили обзор новых проектов, добавленных в песочницу CNCF в 2024 году в категории Provisioning и Observability & Analysis. В статье читайте об инструментах, которые изменят подход к облачным технологиям.

Читать далее

Как настроить свой первый сервер: инструкция от фронтендера

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров3.5K

Часто на первом проекте кажется, что самое сложное позади: приложение готово, осталось только показать его миру. Но что, если сервер под угрозой?

В этой статье — простая и проверенная инструкция по настройке безопасного сервера для вашего первого fullstack-приложения. От SSH до SSL и двухфакторной аутентификации — рассказываю, как я защитил свой SaaS-проект Transcribator.

Читать далее

Ближайшие события

Вышел релиз GitLab 17.7 с новой пользовательской ролью Planner

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров4.2K
Читать дальше →

Система репутации в Telegram

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров16K

Сегодня я расскажу, как можно создать собственную систему репутации с Telegram на Python. Решение будет легким и красивым, обещаю.

Далее

Кто «ест» трафик в организации? Готовим пользовательский экспортер для Prometheus, мониторим сеть

Уровень сложностиПростой
Время на прочтение14 мин
Количество просмотров7.5K

Недавно меня попросили помочь в определении источников утечки трафика в одной из организаций. Задачу усугубляло большое количество устройств в одном широковещательном домене, множество неуправляемых коммутаторов, отсутствие любой карты сети, а также старенький роутер на входе. В общем, это были настоящие "Авгиевы конюшни", но в итоге задача была решена, и данная статья посвящена методам, которые я использовал. Кто оказался виновником, я раскрою в конце статьи, чтобы не портить интригу.

Просмотреть кейс

Мониторинг сетевого оборудования MikroTik с использованием MikroTik API, MKTXP, Prometheus и Grafana

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров17K

Представьте: пятница, вечер, вы уже мысленно с бокалом чего-то крепкого и вкусного наслаждаетесь прокрастинацией. Ничего не предвещало беды, но жизни любого администратора наступает момент, когда нужно поиграть в игру "Угадай на каком этаже пропал интернет". И что бы победить непредсказуемость сетевых устройств, умные люди придумали Grafana для визуализации различных метрик, и различные экспортеры этих метрик. В данной статье рассмотрим экспортёр метрик MKTXP, который настраивается в 2 кнопки.

Читать далее

Заводить ли личный блог или сайт? Часть I. Готовим инфраструктуру c помощью Terraform

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров3.8K

Полагаю, каждый разработчик рано или поздно приходит к мысли о том, что ему есть, что рассказать и чем поделиться. Кто-то даже начинает это делать в том или ином формате. И, конечно, хочется сказать спасибо всем тем, кто отвечает на вопросы на stackoverflow, пишет статьи или делает еще какой-либо контент. Однако быть автором труд весьма специфичный, всегда есть риск, что твой контент не будет полезен или даже интересен. За несколько лет мною было написано около пары десятков статей, а также было начато несколько своих проектов, но все это выглядит на первый взгляд как «работа в стол».

Однако, порефлексировав, я понял, что вся работа, которая не дает ожидаемого результата не напрасна. Как минимум - это опыт, а опыт штука полезная. Никогда не угадаешь, что тебе может пригодится в будущем. К тому же не стоит сбрасывать со счетов накопительный эффект общей массы знаний. Звучит довольно туманно, поэтому приведу пример. Разработка показала мне, как можно копить фрагментированные кусочки знаний долгое время, которые в определенный момент могут сложится в полную картину, а ты будешь удивляться, как не понимал чего-то раньше.

Так о чем это я? Я буду делать личный блог или сайт, на самом деле еще не знаю во что это выльется. Но как показал опрос в моем TG канале, у ребят, как и у меня, есть интерес к тому, как можно сделать и использовать блог, чтобы он приносил тебе пользу в каком-либо виде. Если дело пойдет, то здесь будет целая арка статей. Приступим!

Читать далее

Два столпа Linux мониторинга

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров10K

И снова здравствуйте! Продолжаем наш цикл статей о методах сбора данных (Прошлые статьи здесь и здесь). В данной (третьей) статье опубликована сжатая аналитика по двум технологиям сбора на Linux Endpoint на основе проработки наших продуктов по лог-менеджменту и сбору событий.

Читать далее

7 основных этапов реагирования на ИТ-инциденты, используя мониторинг Monq

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров1K

Эффективное реагирование на инциденты — это ключевая задача команды ITOps (IT Operations), которая помогает поддерживать стабильность и безопасность ИТ-инфраструктуры предприятия. Весь процесс состоит из нескольких этапов, каждый из которых играет важную роль в минимизации ущерба, восстановлении работы и предотвращении будущих сбоев. В этой статье разберем сущность каждого этапа, чтобы показать как обеспечить систематизированное и оперативное реагирование на инциденты в ИТ-среде.

Читать далее
1
23 ...

Вклад авторов

Работа

DevOps инженер
21 вакансия