IMPulse - менеджмент инцидентов. Интеграция с Telegram.
После первой публикации об IMPulse, стало понятно, что основная интеграция, которую от нас ждут, это Telegram. И мы рады её представить!
Для работы с Telegram мы использовали группы с топиками - они лучше всего ложатся на наш функционал. В процессе разработки мы столкнулись с багом при упоминании (mention) пользователей в Telegram, о чём составили соответствующий issue. Если вы тоже заинтересованы в закрытии этого бага, пожалуйста поставьте "👍".
Помимо интеграции с Telegram стоит упомянуть реализованный шедулер для работы команд реагирования по расписанию. Синтаксис конфигурации составлен таким образом, чтобы в будущем была возможность интегрироваться с внешними календарями типа Google.
Представим, что у нас некоторая система, состоящая из микросервисов, которые работают на разных машинах, но внутри общей IP-сети на немаршрутизируемых IP-адресах (10.0.0.0/8, 192.168.0.0/16 и т.д.). Микросервисы разговаривают друг с другом по TCP, подключаясь по IP-адресам, указанным в соответствующих конфигурационных файлах каждого. Но можно указать и не IP-адрес, а некий хостнейм, прописав его же в /etc/hosts. Почему-то часто считают, что "хостнейм эквивалентен IP-адресу". Оно, конечно, удобно так считать, с точки зрения "человекопонятности", но не всегда хорошо с точки зрения безопасной настройки.
Дело в том, что опечатка (или намеренная замена символа) в имени хоста может привести к тому, что адрес окажется в чужой DNS-зоне. Простейший случай: users-db.example.com -> users-db.example.co. Да, должно быть закрыто, да, есть .local, а хостнеймы можно записывать одним "лейблом", но это не решает проблему: использование символьного хостнейма гарантирует дополнительные запросы для разрешения имён, будь то локальные запросы на той же машине или запросы внешние, возникшие из-за опечатки. А всякий, даже локальный, библиотечный/системный вызов, выполняющий трансляцию имён и адресов, готов принести с собой неожиданные эффекты (см. ниже пример уже про IP-адреса). Не обязательно это эффекты от подмены библиотеки или подмены конкретного вызова. А если кто-то умеет записывать в /etc/hosts, то он и конфиг любой поправит. Что, впрочем, не всегда так, поскольку раскладывание hosts по машинам могут автоматизировать - тогда перехватить нужно только точку управления скриптом, формирующим файл. А ведь ещё обычно используется два протокола: v6 и v4, адреса и "резолвинг" там разные.
Если в конфигах микросервисов прописывать непосредственно IP-адреса (пусть и автоматом), то ситуация несколько лучше. Есть неплохие шансы, что трансляция имён/адресов не будет использована. Минимальная опечатка в записи немаршрутизируемого адреса реже приводит к тому, что трафик убегает наружу. Это так потому, что, во-первых, на то они и немаршрутизируемые; во-вторых, в таких системах обычно настраивают различные ACL, а они настраиваются для IP, в других местах, не на конкретной машине с микросервисом, да и пальцы у настраивающих ACL дрожат по-иному.
Тут, впрочем, необходимо отметить некоторые тонкости: ping 010.010.010.010 -- на многих и многих системах отправит пакеты в сторону серверов Google (проверьте). Я раньше рекомендовал использовать этот довольно хитрый "оборот" в рамках собеседований на должность сетевого инженера/разработчика (теперь уже смысла, понятно, нет), поскольку понимание того, почему здесь пакеты уходят в сторону сети Google, раскрывает основную часть опасений, связанных с использованием имён хостов в конфигах. Но всё же, в 010.010.010.010 - более одной "опечатки".
DevOps-инженеры, зовём на публичное собеседование на Хабр Карьере
Это что-то вроде тестового собеседования, в конце которого эйчар дает соискателю развернутый фидбек о том, где он ответил круто, а где — слабые места, которые нужно подтянуть. Отличная возможность проверить свои силы, набраться опыта в собеседованиях и получить обратную связь.
Кого ищем сейчас: middle+, опыт с Linux, Docker, Ansible и Kubernetes. Если вы хотите принять участие и выйти с нами в прямой эфир, откликайтесь здесь.
Linux Upscale – программа обучения Linux и погружение в DevOps
Привет, Хабр!
Мы открываем программу, на которой хотим обучить крутых специалистов правильно заходить в Ред Хату (RHEL-based дистрибутивы). Приглашаем Linux-инженеров прокачаться в DevOps и получить оффер по итогам программы Linux Upscale. Обучение состоит из нескольких модулей: базовый и продвинутый курс по Linux, курс по Ansible. В конце каждого курса есть лабораторная работа, результаты которой оцениваются экспертами.
Между курсами будет недельный перерыв, чтобы еще раз пройти материал и закрепить практикой в К2 Cloud. При успешном прохождении первых трех модулей — участники смогут пройти обучение K8s, Docker и Git, работая в одной из команд К2 Cloud.
Немного формальностей: на программе предусмотрена стипендия (трудоустройство с первого дня), обучение длится 2 месяца (апрель-май) и предполагает фулл-тайм загрузку. Обучение проходит онлайн. Если ты из Москвы, мы пригласим в офис для очной работы над задачами в рамках курса.
Подробнее можно прочитать на сайте. Кстати, мы спрятали там пасхалку;)
Программа для тебя, если ты:
< Уже работал с Linux и планируешь дальше >
< Предпочитаешь командную строку вместо UI >
< Знаешь основы TCP/IP, DNS, HTTP >
< Готов обучаться, ориентируясь на практику >
< Хочешь поднять уровень профессиональной экспертизы >
Отзывы выпускников прошлых лет:
< Антон Соболинский, системный инженер >
“С Linux я сталкивался вскользь уже давно, но никогда не углублялся дальше уровня обычного пользователя. Решив, что наконец-то пора понять Linux, я принял участие в обучении Linux Upscale. Школа стала для меня настоящим прорывом. Курс позволил мне собрать все мои разрозненные знания, упорядочить их, заполнить многочисленные пробелы и, самое главное, дал чёткое понимание, как применять эти знания на практике. После завершения обучения я смог перейти в команду сильных инженеров, где меня ждали по-настоящему сложные, нестандартные и интересные задачи. Уверен, что эти знания продолжат быть полезными на протяжении всей карьеры.”
< Дмитрий Горелко, cтарший инженер >
" У меня был опыт работы с Linux около 5-ти лет, но после этого я менял сферу деятельности, занимался предпринимательством. Какие-то знания растерялись и не хватало актуального опыта. Я решил, что лучшая инвестиция — это инвестиция в своё обучение. На программе я систематизировал знания, которые уже у меня были, и в итоге вышел на работу сразу на позицию инженера. "
< Егор Старков, дежурный инженер >
" До Linux Upscale я был недавним выпускником факультета компьютерных наук, где и заинтересовался Linux на последних курсах. Изучал Linux в основном самостоятельно, но не хватало системности в знаниях. Программа школы оказалась достаточно интенсивной и наполненной, что помогло как систематизировать уже накопленные знания, так и получить новые. После окончания я сразу вышел на позицию дежурного инженера в команду эксплуатации Облака. "
Регистрируйтесь на бесплатные вебинары, чтобы узнать больше про работу с сервисами платформы Cloud․ru Evolution:
Практикум Cloud.ru Evolution: как связать несколько виртуальных машин — 13 февраля. Покажем, как организовать сетевую связность между виртуальными машинами разных VPC на платформе Cloud.ru Evolution, а также между Cloud.ru Evolution и другими платформами или on-premise инфраструктурой.
Evolution Managed Spark и обработка миллиардов записей — 18 февраля. Узнайте, как обрабатывать большие массивы данных в несколько кликов с помощью сервиса Evolution Managed Spark. На вебинаре менеджер продукта Data Platform Cloud.ru Алексей Лицов расскажет и покажет, как работать с сервисом.
С какими вызовами мы столкнулись, пока строили DBaaS — 20 февраля. Расскажем про плюсы, минусы и особенности нашего решения — Database as a Service (DBaaS) поверх Kubernetes, а также про сервисы и режимы предоставления услуги.
А еще на каждом вебинаре будет сессия вопросов и ответов, на которой вы сможете задать экспертам любые интересующие вопросы по теме.
Это задачка для DevOps-инженера: почему ArgoCD не расшифровывал секреты из Vault
Нашему DevOps-специалисту Антону нужно было развернуть helm-чарт для Airflow с использованием ArgoCD. Как известно, ArgoCD реализует концепцию GitOps и подразумевает хранение манифестов в репозитории. Но часть данных в values чувствительна, например пароль от базы данных PostgreSQL. Поэтому неплохо было бы вынести эти данные в хранилище секретов (в этом случае — HashiCorp Vault), чтобы скрыть информацию от лишних глаз.
Есть несколько способов подтянуть секреты из Vault в поды. Наиболее предпочтительный по ряду причин — vault-injector. В обычной ситуации Антон бы воспользовался им, но в случае с helm-чартом Airflow задача показалась непростой. Поэтому он решил воспользоваться менее предпочтительным, но точно рабочим (как думал Антон) вариантом с ArgoCD Vault Plugin.
Какая вылезла проблема
Когда секреты были добавлены в хранилище, а ArgoCD Application написан, Антон попытался развернуть его для теста. Вот примерный Application, с которым это делалось (весомая часть пропущена для компактности):
Ничего необычного, за исключением прокидывания values прямо из Application и того самого секрета. А еще — компонент webserver отказался запускаться, ссылаясь на невозможность подключиться к базе данных. Хотя данные были абсолютно точно правильными.
В чем итоге была проблем и как Антон с ней справился, читайте в статье →
Приглашаем на бесплатные вебинары, посвященные K8s🎓
1. «Быстрое погружение в основы Kubernetes» — для тех, кто хочет понять технологию контейнерных приложений и начать с ней работать. На встрече разберемся с теорией: что такое контейнеры, какие основные компоненты есть у Kubernetes и для чего они нужны. Знаний будет достаточно, чтобы начать развиваться в направлении DevOps.
Программа вебинара:
чем микросервисная архитектура отличается от монолитной;
контейнеры — основа микросервисной архитектуры;
зачем нужен Kubernetes;
как устроен кластер Kubernetes.
Будет полезно тем, кто задумывается о переезде в облако и планирует узнать о нем больше. А также тем, кто планирует начать погружаться в DevOps в общем или в Kubernetes в частности.
2. «Как развернуть кластер Kubernetes за несколько кликов» — в прямом эфире покажем, как развернуть простое приложение в кластере Kubernetes в облаке Cloud.ru Evolution и сэкономить ресурсы, используя K8s как PaaS-сервис.
Программа вебинара:
обзор сервиса Evolution Managed Kubernetes;
демо развертывания кластера;
подключение к кластеру с помощью kubectl;
развертывание WordPress в кластере;
разбор нюансов управления кластером, развернутым как PaaS-сервис.
Будет интересно разработчикам, DevOps-инженерам, архитекторам облачных решений и всем, кто работает с Kubernetes (K8s).
Если у вас есть вопросы по теме, их можно оставить в комментариях под этим постом или задать в процессе встречи. Спикер вебинаров Илья Смирнов — архитектор решений, ответит на них в прямом эфире.
E: Failed to fetch https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/InRelease 403 Forbidden [IP: ...]
Теперь самостоятельно лепить образ на замену nvidia/cuda:11.7.1-cudnn8-runtime-ubuntu20.04 с не заблокированными зеркалами? Или какие еще варианты кроме как собирать на забугорной тачке?
В разработке на python, особенно в DS/ML проектах, мы все сталкиваемся со сложной схемой зависимостей на специфичной аппаратной платформе. Зачастую, вести разработку удобно в том окружении, в котором в последствии запускается приложение.
Если вы вдруг vim user, то можно просто доставить редактор в контейнер с окружением и разрабатывать прямо там. Такая схема достаточно лекговесна, позволяет относительно просто держать актуальными завистимости при разработке, переиспользовать существующие сборочные конвейеры с небольшим наборов слоёв для самого редактора. Так же это может быть удобно, если вам нужно работать где то на удалённом кластере по ssh.
У меня был некоторый шаблон Dockerfile с добавкой vim с плагинами который кочует из проекта в проект и я решил поделиться с вами этой наработкой.
Нужен ли вам Ansible AWX: обзор особенностей и функционала
Когда парк виртуальных машин разрастается, а ежедневно приходится запускать сотни плейбуков, то работа с командной строкой для DevOps-инженеров становится мучением. Упростить работу с Ansible поможет AWX. Удобный графический интерфейс, интеграция с системами контроля версий, обновление проектов и динамического inventory — только часть возможностей системы.
В подробной статье на базе опыта использования системы в YADRO:
рассказываем о сложностях запуска плейбука в Ansible,
разбираем, как именно AWX упрощает работу с Ansible,
изучаем почти 20 приятных плюшек и парочку подводных камней,
запускаем плейбук с AWX и без,
настраиваем уведомления в Telegram,
делимся отзывами 6 команд о работе с AWX.
Читайте обзор Ansible AWX от Ксении Кузьменко, DevOps-инженера DPS-команды, которая предоставляет платформенные сервисы для 40+ команд и 1000+ пользователей внутри компании. Если будут вопросы — пишите в комментариях к статье, Ксения с удовольствием ответит.
Всем привет! Мы начинаем подводить итоги 2024 года 🎄.
В этом году в Cloud.ru прошло целых 40 бесплатных вебинаров про эффективную миграцию в облако, создание облачной инфраструктуры, настройку сервисов, работу с данными и снижение затрат на обслуживание. Дальше — больше!
Все вебинары в любой момент можно посмотреть в записи и познакомиться с интересующей вас темой. А одна из самых популярных тем уходящего года — Kubernetes, поэтому ей мы посвящаем предновогоднюю подборку. Смотрите от простых тем к более сложным:
🖖Привет, Хабр! Наша команда готовит видео о развёртывании Kubernetes на базе физического сервера. Стремимся выжать из темы максимум пользы, поэтому нам нужна ваша помощь: хотим узнать, что вам было бы интересно послушать по этой теме.
Будем рады, если вы напишите свои вопросы либо в комментариях под этим постом, либо в этой гугл-форме.
Вопросы могут быть любыми, от рентабельности решения до технических нюансов. Принимаем вопросы до пятницы. На те, что будут написаны позже, ответим текстом.
Гость нового выпуска Android Broadcast — Сергей Боиштян, Android-инженер в Авито. Сергей обсуждает профессию билд-инженера с ведущим подкаста Кириллом Розовым. Вот про что говорят:
с какими задачами приходится сталкиваться в практике;
какой прогресс достигнут в Gradle и Android Gradle;
какое будущее нас ждёт в сборках Android и Kotlin Multiplatform-проектах.
Сергей знает, о чем говорит, ведь он из команды Speed: эти ребята у нас занимаются developer experience для Android-разработчиков Авито. Проще говоря — позволяют нашим инженерам сфокусироваться на написании фичей, пока такие богатыри, как Сергей, разбираются с версионированием, библиотеками и прочими штуками.
В подкасте Сергей рассказывает про жизнь билд-инженров, их задачи и историю — откуда они вообще взялись и как эволюционировали до актуального состояния. Настоятельно рекомендуем послушать!
Подписывайтесь на канал AvitoTech в Telegram, там мы рассказываем больше о профессиональном опыте наших инженеров, проектах и работе в Авито, а также анонсируем митапы и статьи.
18 ноября завершился наш облачный IT-турнир — интеллектуальное IT-соревнование для профи по направлениям DevOps, Go и кибербезопасность.
Напомним, что участники соревнования должны были решить все задания за 50 минут и набрать как можно больше баллов. Турнирная таблица обновлялась в режиме реального времени — мы с интересом следили за тем, как IT-специалисты устанавливают новые рекорды.
Свои навыки решили проверить 892 участника, а 537 из них стойко дошли до самого конца и выполнили все задания 🦾. В итоге в лидеры вырвались:
В лиге DevOps:
🥇1 место — @evgeniy_fyodorov, 1437 очков.
🥈2 место — @Kciod, 1290 очков.
🥉3 место — @dimadragon, 1219 очков.
В лиге Go:
🥇1 место — @smetanin, 2843 очков.
🥈2 место — @melpnz, 2778 очков.
🥉3 место — @itas, 2745 очков.
В лиге кибербезопасности:
🥇1 место — @T_Frost, 1868 очков.
🥈2 место — @KiraCoder, 1814 очков.
🥉3 место — @georgybelyakov, 1787 очков.
Поздравляем! Они получат ачивку победителя и карьерную консультация от Марины Ломадзе — руководителя рекрутмента в Cloud․ru. Мы уже начали связываться с победителями, чтобы рассказать, как получить заслуженные призы😊.
А у всех хабраюзеров, которые верно решили более половины заданий турнира, появятся ачивки IT-Лиги в профиле на Хабре.
Хотите узнать правильные ответы на задания IT-турнира? Ставьте плюс в комментариях, а также указывайте номер или название задания. Если наберется много желающих, позже мы сделаем небольшой обзор с решениями.
«DevOps для эксплуатации и разработки» за 5 месяцев
«DevOps для эксплуатации и разработки» от Яндекс Практикума — это курс для IT-специалистов, которые хотят сделать релизы быстрыми и безопасными, инфраструктуру — настраиваемой и стабильной, а взаимодействие команд — слаженным и эффективным.
Теперь, помимо базового и расширенного тарифов (7 и 9 месяцев), доступен интенсивный тариф, позволяющий завершить обучение за 5 месяцев. Вы сможете пройти курс за меньшее время и по более выгодной цене, хотя нагрузка будет выше — до 15 часов учёбы в неделю, без каникул.
Вы научитесь:
ускорять процессы производства IT-продуктов за счёт поиска и устранения «узких» мест;
автоматизировать процесс разработки и развёртывания приложений;
контейнеризировать приложения и размещать их в облачных сервисах;
использовать актуальные инструменты для обеспечения качества, скорости и стабильности приложения;
управлять инфраструктурой в парадигме Infrastructure as Code и сокращать время команды на развёртывание и масштабирование;
налаживать коммуникацию между участниками процесса разработки продукта: службой эксплуатации, разработчиками, заказчиками от бизнеса и многими другими.
Курс поможет уже действующим IT-специалистам вырасти профессионально и повысить свои технические навыки. Пройдите небольшой тест, чтобы оценить свои знания и понять, комфортно ли вам будет учиться.
Пройдите бесплатную часть курса до 30 ноября, чтобы получить скидку 20% на обучение.
Сварщики и DevOps-инженеры вошли в Топ-5 самых высокооплачиваемых профессий ноября.
Разбираемся, в чем подвох у такой красивой статистики.
Если смотреть статистику hh по предлагаемым зарплатам у них на сайте, то медианная зарплата по России получается вот такая (топ-5 самых высоких и самых низких):
250 000 рублей — зарплата DevOps-инженеров
196 100 рублей — могут получать сварщики.
164 300 рублей — у агентов по недвижимости
147 200 рублей — зарплата у токарей и фрезеровщиков.
138 600 рублей — зарабатывают прорабы.
А вот как выглядит топ-3 самых низкооплачиваемых профессий:
42 600 рублей — воспитатели в детских учреждениях.
39 600 рублей — уборщики.
35 600 рублей — дворники.
Теперь снимаем розовые очки на примере сварщика:
Что надо сделать сварщику, чтобы заработать такие деньжища в ноябре?
За два вахтовых месяца (1 рабочий / 1 выходной) сварщик реально может заработать от 286 000 до 343 000 ₽ (до вычета налогов). Поэтому на hh есть вакансии с такими зарплатами (мы нашли вакансию с максимальной зарплатой до 683 100 ₽, а минимальной от 27 000 ₽ до вычета налогов).
Но в месяц это будет от 143 000 до 171 500 ₽. При этом, в рабочий месяц сварщик обязан будет отработать 286 часов (при ноябрьской норме в 168 часов).
Присоединяйтесь к облачному IT-турниру от Cloud.ru и Хабр🏆
Почти 400 IT-специалистов уже поучаствовали в соревновании для профи и проверили свои навыки по направлениям DevOps, Go и кибербезопасность на облачном IT-турнире. А вы готовы принять вызов?🦾
Что нужно для участия
до 18 ноября зарегистрируйтесь и выберите лигу: DevOps, Go или кибербезопасность;
решите как можно больше задач за 50 минут — чем больше правильных ответов, тем выше будет ваше место в рейтинге, который обновляется в режиме real-time.
Какие будут призы
если наберете 50% правильных ответов, получите ачивку IT-Лиги в профиле на Хабре;
если войдете в топ-3 в выбранной лиге, получите ачивку победителя и карьерную консультация от Марины Ломадзе — руководителя рекрутмента в Cloud․ru. На консультации сформируете план развития и получите советы, как выгодно презентовать свой опыт на интервью и вести диалог о повышении.
Хотите занять призовые места в рейтинге? Тогда участвуйте в IT-турнире, выигрывайте и забирайте призы🎁
Привет! Я — Ося, разработчик в Инновационном Центре «Безопасный транспорт», ваш виртуальный проводник в мир технологий и разработки. В блоге рассказываю, как решаю сложные задачи и делюсь знаниями. Здесь мы будем разбираться в коде, обсуждать подходы к проектам и актуальные тренды в IT. Пишу о разработке, больших данных и инновационных технологиях.
Я — робот-осьминог и талисман ИЦ, который иллюстрирует разносторонность и многозадачность нашей команды. Мои 8 щупалец представляют различные направления работы, а 3 сердца обеспечивают высокую эффективность. Отсутствие скелета позволяет гибко адаптироваться к изменениям, а более 1000 рецепторов на щупальцах помогают мне воспринимать малейшие колебания в окружении.
Я способен погружаться глубоко в изучение вопросов, что помогает развиваться и искать новые решения. Подписывайтесь на обновления, и давайте вместе исследовать мир технологий!