DevOps *

Локальная разработка в Авито — как она устроена?

В этом выпуске НЕмитапа инженеры Авито говорят про инструменты и подходы, которые используют в работе, а также отвечают на ваши вопросы.

В этом видео Никита Васильченко, инженер из команды PaaS Dev, рассказывает про локальную разработку в Авито:

• два интерфейса взаимодействия;

• режимы запуска сервиса run и debug;

• механизм actions, который даёт линтинг и форматирование. 

Подробнее про детали, а также устройство работы среды с точки зрения её разработчика — в видео.

Подписывайтесь на канал AvitoTech в Telegram, там мы рассказываем больше о профессиональном опыте наших инженеров, проектах и работе в Авито, а также анонсируем митапы и статьи.

Подключайтесь к вебинару «Быстрое погружение в основы Kubernetes на практике».

📅 Когда: 12 ноября в 11:00 мск

📍 Где: онлайн

Вебинар для тех, кто хочет понять технологию микросервисных приложений и начать с ней работать. На встрече разберемся, из каких компонентов состоит Kubernetes и для чего нужен каждый из них. В ходе вебинара покажем, какие ресурсы можно создать в кластере и как это сделать своими руками. Знаний будет достаточно, чтобы начать развиваться в направлении DevOps.

Программа вебинара:

• зачем нужен Kubernetes;

• как устроен кластер Kubernetes;

• развернем приложение в кластере.

Будет полезно тем, кто задумывается о переезде в облако и планирует узнать о нем больше. А также тем, кто планирует начать погружаться в DevOps в общем или в Kubernetes в частности или уже использует облачные технологии и хочет задать вопрос эксперту по своей задаче.

👉 Зарегистрироваться

А еще сейчас вы можете подключить Evolution Managed Kubernetes и пользоваться сервисом со скидкой 60% до конца 2025 года.

Оставляйте вопросы по теме в комментариях под этим постом 👇 — спикеры ответят на них в процессе встречи. 

IT-турнир от Хабра и Cloud.ru: первые итоги

18 октября Хабр и Cloud.ru запустили хардовое соревнование для профи в IT. Уже 2 недели участники Облачного IT-турнира сражаются за вершину рейтинга по трём направлениям: DevOps, Go и кибербезопасность. 

Мы же внимательно следим за соревнованием и результатами, которые обновляются в режиме real-time. Ниже список юзеров Хабра, которые вошли в ТОП (по данным за 31 октября). Поздравляем!

• Лига DevOps:@evgeniy_fyodorovи @dimadragon

• Лига Go:@smetanin,@melpnzи @itas

• Лига Кибербезопасности: @T_Frost, @KiraCoderи @xoxooxx

Если вашего имени еще нет в турнирной таблице — скорее регистрируйтесь, выбирайте Лигу и покажите свои знания.

Мы подарим ачивки на Хабре тем, кто решит половину теста правильно. А топ-3 победителей по каждому направлению заберут победную ачивку и получат главный приз — индивидуальную карьерную консультацию. Там они сформируют планы развития и получат советы, как выгодно презентовать свой опыт на интервью и вести диалог о прибавке.

Наш турнир продлится до 18 ноября 2024 года. Рассчитываем, что гонка будет жаркой!

We will IT+Rock you: как мы делаем конференцию про ИТ в рок-стиле

31 октября мы в Orion soft проводим конференцию Orion Digital Day про ИТ-инфраструктуру, DevSecOps, кибербезопасность, управление данными и технологические коллаборации. 

Мы поняли, что устали от похожих мероприятий и решили создать антураж, которого еще не было ни у кого — провести нашу конфу в стиле рок-фестиваля! Раздавать стиль будут музыкальные инструменты, сетка-рабица, мотоцикл, цепи, постеры, в которых мы объединили эстетику технологий и рока. Пока что намеренно не публикуем мокапы, но хотим показать немного тизеров. Полные версии ищите в залах конференции.

Еще мы оформим бейджи участников как билеты на концерт, сделаем зону «Выпусти пар» с барабанной установкой, поставим меховую стену, которая выдает холодное пенное, проведем мастер-класс по игре на музыкальных инструментах.

При этом центром притяжения останется деловая программа:

• Пленарные сессии с топ-спикерами из Самолета, Альфа-Банка, Газпром нефти, Positive technologies, Яндекс Go и другими;

• Технотреки про практики DevSecOps, кибербезопасности, управления данными;

• Кейсы от Ингосстраха, Газпром нефть, аэропорта Шереметьево, Smartavia;

• Митапы в лаундж зоне с лучшими кальянами Москвы.

А вечером — концерт с официальным трибьютом AC/DC!

Мероприятие пройдет в Москве в арт-пространстве LOFT #8. Будем рады видеть вас! Участие бесплатное, регистрация и подробная программа доступны по ссылке. И да, можно приходить без галстуков в вашем любимом рок-мерче :)

Новые курсы Яндекс Практикума для специалистов с опытом

Курсы для тех, кто уже имеет опыт в разработке, хочет расширить свои компетенции и перейти на новый уровень. Практика с первого дня обучения, поддержка наставников и кураторов, обратная связь от экспертов, интерактивный учебник, возможность начать учиться бесплатно — переходите по ссылкам, чтобы узнать о всех преимуществах каждого курса.

«Эксплуатация и разработка в Kubernetes» — за 3 месяца освоите и примените на практике технологии оркестрации контейнеров. Программу составляли инженеры и тимлиды, которые давно работают с Kubernetes. Благодаря этому, вы будете учиться только тому, что на самом деле пригодится в работе. Ближайший старт — 17 октября.

«Apache Kafka для разработки и архитектуры» — 3-месячный курс для тех, кто хочет влиять на масштабируемость и надёжность систем. С этой технологией вы будете работать с более сложными продуктами и сможете повысить грейд. Есть бесплатная вводная часть. Ближайший старт — 21 ноября. 

«Архитектура программного обеспечения» — за 6 месяцев освоите лучшие практики архитектуры и научитесь решать сложные архитектурные задачи. Есть бесплатная вводная часть. Ближайший старт — 24 октября и 28 ноября.

«Мидл Android-разработчик» — 5-месячная программа для Android-разработчиков с опытом. Курс фокусируется на углублении технических навыков, изучении передовых паттернов и технологий, а также на освоении инструментов и методов, применяемых в реальных проектах. Ближайший старт — 14 ноября.

Пятница, вечер, а я все продолжаю тыкать свой kui в ноды кубернетиса.

Натыкал такое, добавил две новые команды: Node pods и Top node pods. Первая позволяет посмотреть все поды ноды. А вторая сделать топ поды ноды.

И если поды ноды kubectl умеет показывать из коробки, как-то так:

kubectl get po -A --field-selector spec.nodeName=<node_name>

То с топами подов нодов пришлось немного повозиться, kubectl не может сам сделать топ поды ноды, говорит такое:

kubectl top po -A --field-selector spec.nodeName=<node_name>
Error from server (BadRequest): "spec.nodeName" is not a known field selector: only "metadata.name", "metadata.namespace"

Пришлось ему немного помочь, сначала я запомнил поды ноды в переменную np

np=$(
   kubectl get po -A --field-selector spec.nodeName=<node_name> | \
   awk '{print $2}'
)

Потом сделал топ всех подов и грепнул поды ноды

kubectl top po -A | grep -F "$np"

И еще там были сопутствующие изменения и вот это вот все.

Творите, выдумывайте, пробуйте!)

Live-demo: NetBird в Kubernetes от CTO Amvera Cloud. Или как проксировать трафик из кластера до OpenAI

В этот четверг 10.10.2024 в 20:00 по МСК.

Georg Gaal @gecube и Maxim Makarov @MaximMakarov (CTO Amvera Cloud).

Туториал по проксированию трафика из кластера Kubernetes до API OpenAI, в частности про технологию NetBird.

По мотивам статьи "Как мы делали Proxy до API OpenAI, а пригодилось оно для доступа к Docker Hub".

Прямая трансляция: https://youtube.com/live/t-vcv0erjws
с ответами на вопросы из чата YouTube

Задайте вопрос по кубам архитекторам Southbridge

10 октября повторим бесплатную онлайн-консультацию вместе с архитекторами Southbridge и ответим на ваши вопросы по Kubernetes.

А чтобы эксперты смогли подготовиться и дать более подробные ответы — присылайте вопросы чуть заранее в бота консультации.

Компания Southbridge c 2007 года создаёт и обслуживает средне- и высоконагруженные IT-инфраструктуры. Среди клиентов — VolkswagenGroupRus, Альфастрахование, Skillbox, Спортмастер и другие.

Отвечать на вопросы будут её архитекторы:

Сергей Бондарев. Специалист по внедрению Kubernetes. Один из разработчиков kubespray с правами на принятие pull request. Работал над всеми куб-проектами Southbridge.

И Николай Месропян. Реализовал проекты по созданию и рефакторингу решений с применением Ansible для компаний Фольксваген, Спортмастер и других.

А если у вас нет конкретных вопросов — приходите послушать других и обменяться опытом.

📌 10 октября в 19:00 мск
📌 Зарегистрироваться и задать вопрос — по ссылке.

«Apache Kafka для разработки и архитектуры» — новый курс Яндекс Практикума

Навыки работы с Apache Kafka нужны всем, кто хочет влиять на масштабируемость и надёжность систем. На курсе «Apache Kafka для разработки и архитектуры» за 3 месяца вы научитесь использовать эту технологию, чтобы применять её в работе. 

Курс подойдёт специалистам с опытом: бэкенд-разработчикам, архитекторам, DevOps-инженерам и инженерам данных. Нужно знать Java, Python или Golang, понимать принципы работы с базами данных SQL и NoSQL, базово разбираться в архитектуре распределённых систем и уметь работать с Linux.

Преимущества курса:

• Обучение конкретно Apache Kafka, не в рамках более общего курса;

• Комплексное погружение в инструмент, а не просто знакомство с основами;

• Практические задания в каждом уроке и проекты по окончании спринтов;

• Воршкопы с экспертами, которые помогут разобрать наиболее сложные вопросы.

  Вы научитесь:

• Настраивать Apache Kafka для своих задач и оптимизировать производительность;

• Интегрировать Kafka с внешними системами;

• Работать с производителями и потребителями сообщений;

• Проектировать и реализовывать потоковые пайплайны данных;

• Обеспечивать надёжность и отказоустойчивость систем;

• Настраивать мониторинг кластеров Kafka и управлять им.

Вы получите диплом о профессиональной переподготовке в конце курса, если у вас есть среднее-профессиональное или высшее образование. Если нет, получите сертификат о прохождении курса.

→ Узнать о курсе подробнее и начать обучение

Привет, снова я со своим kui'ем!)

Позанимался немного с нодами и подумал что удобно было бы выбирать ноды из вывода kubectl top no, добавил это. Команда (top) доступна на первом шаге (выбор кластера) и через "быстрые команды".

Творите, выдумывайте, пробуйте!)

Привет, небольшой апдейт для kui'я

Добавил команду удаления для кронжобов.

Творите, выдумывайте, пробуйте!)

«Эксплуатация и разработка в Kubernetes» — новый курс Яндекс Практикума

Мы запустили новый курс «Эксплуатация и разработка в Kubernetes», он поможет освоить и применить на практике технологии оркестрации контейнеров. С Kubernetes вы увеличите свою ценность на рынке труда, сможете обосновать повышение или найти место с более интересными проектами и привлекательной зарплатой.

Курс для специалистов с опытом: разработчиков, DevOps-инженеров и SRE. Чтобы начать обучение, вы должны знать основы программирования, Docker, Git, а ещё уметь работать в консоли и иметь базовые знания по Linux. 

Только актуальные и нужные знания: программу составляли инженеры и тимлиды, которые давно работают с Kubernetes. Благодаря этому, вы будете учиться только тому, что на самом деле пригодится в работе. 

Практика с первого дня обучения: вы будете много тренироваться на проектах, максимально похожих на реальные. Научитесь развёртывать приложения в Kubernetes, обеспечивать сетевое взаимодействие и безопасность, интегрироваться с CI/CD, настраивать мониторинг и логирование.

Поддержка комьюнити: с любыми трудностями поможет справиться команда сопровождения: наставники, ревьюеры, кураторы, техподдержка, а также сообщество однокурсников.

Курс рассчитан на 3 месяца, заниматься нужно ≈10 часов в неделю.

→ Узнать больше о курсе «Эксплуатация и разработка в Kubernetes»

Лидеры ИТ-рынка обсудят технопартнерства и русификацию мировых трендов на Orion Digital Day

31 октября разработчик инфраструктурного ПО Orion soft проведет в Москве Orion Digital Day — ИТ-конференцию про инфраструктуру, информационную безопасность и тренды в сфере разработки в российском Enterprise-бизнесе. 

В программе:

• Пленарная сессия «Можно ли строить новую модель ИТ на фундаменте российских технологий». Спикеры обсудят, что приобретают или теряют технотренды (ИИ, микросервисы и сервисная модель, новые методы защиты данных) в приземлении на российскую специфику бизнеса, и нужно ли равняться на мировые ИТ-тренды после импортозамещения.

• Пленарная сессия «Сила притяжения: как лидеры российского ИТ принимают вызовы вместе». После импортозамещения компании начинают строить планы на развитие на новом ИТ-фундаменте. Лидеры рынка выскажутся, возможна ли их реализация уже сейчас и какие потребности отраслевых заказчиков вендорам нужно закрыть в первую очередь.

• Инфраструктурные треки: эволюция российских ИТ-компаний от одиночек к интеграциям, новости вендоров и векторы развития.

• Технологические треки: главные инсайты DevSecOps в 2024, тренды безопасности ИТ-инфраструктуры, ИТ и работа с данными в 2024.

А также специальные выступления и кейс-сессия.

Участие в конференции бесплатное. Принять участие в ней можно как офлайн, так и онлайн. Узнать подробности о программе и зарегистрироваться на мероприятие можно на сайте.

Работа docker compose с файлами переменных окружения

1. После изменения конфигурации нужно пересоздать контейнер, для чего делать не просто "docker compose start", а "docker compose up".

2. docker compose по умолчанию читает файл .env, который находится в том же директории, что и compose.yaml. Переменные окружения из этого файла доступны в файле compose.yaml.

Например:

services:
  telebot:
    image: ${IMAGE_NAME}

Здесь переменная ${IMAGE_NAME} определена в .env файле.

3. можно передать переменные окружения из файла в compose.yaml при помощи ключа --env-file.

Например:

docker compose --env-file=tokens.env up -d

4. Передать файл переменных окружения в контейнер можно в файле compose.yaml.

Например:

  services:
    telebot:
      image: ${IMAGE_NAME}
      build:
        context: app
        dockerfile: Dockerfile
      env_file: "./tokens.env"

5. Или несколько файлов:

  services:
    telebot:
      image: ${IMAGE_NAME}
      build:
        context: app
        dockerfile: Dockerfile
      env_file:
        - "./tokens.env"
        - "./.container.env"

Мне нравится способ 5), т.к:

• Не нужно перечислять перемнные окружения в файле compose.yaml

• Можно иметь несколько файлов переменных окружения. Например общий файл и файл с секретами.

Секреты можно передавать и по другому, еще более секретно, как описано в https://docs.docker.com/compose/use-secrets/, но я не пробовал.

Опубликовали записи докладов с митапа RSHB Meetup: Думай как DevOps в большой компании, прошедшего 29 августа. Спикеры рассказывали, как превратить себя в сервис, заставить разработчиков думать одинаково и откатывать миграции БД.

• Василий Куценко — «Секреты успешного DevOps as a Service: Опыт и рекомендации»
  ВК Видео | Rutube | Платформа

• Константин Белкин — «Как внедрить CI/CD для всех разработчиков в банке. CI/CD by App.Farm»
  ВК Видео | Rutube | Платформа

• Алексей Романов — «Деплой и откат приложения и миграций БД»
  ВК Видео | Rutube | Платформа

Приятного просмотра и отличной рабочей недели!

29 августа приглашаем на RSHB Meetup: Думай как DevOps в большой компании

Мероприятие откроет доклад Василия Куценко, Руководителя Департамента DevOps в Почтатех — «Секреты успешного DevOps as a Service: Опыт и рекомендации».

Все хотят рассказывать про платформы разработки, DevOps-порталы и новые магические корабли. Но в просторы большого театра надо мигрировать: разобраться с легаси, перевести сотни систем к единому виду. Василий поделится результатами, покажет метрики, дашбордики, а также расскажет, как команда двигается в сторону платформы и чем помогает подход.

Когда: 29 августа, сбор участников с 17:30.
Формат: онлайн и оффлайн, бесплатно по предварительной регистрации.
Оффлайн: в офисе РСХБ-Интех по адресу Москва, Профсоюзная 125А (м. Теплый Стан).
Участников ждут подарки. Подготовили призы за лучшие вопросы спикерам и розыгрыш мерча среди тех, кто оставит отзыв после митапа.

⚡️ Регистрация по ссылке.
⚡️ Чат митапа.

Приглашаем на RSHB Meetup: Думай как DevOps в большой компании

Что умеет делать DevOps в бигтехе? Превратить себя в сервис, заставить всех разработчиков думать одинаково, а еще откатывать миграции БД. Об этих и других навыках расскажут три DevOps-инженера на новом митапе от РСХБ.цифра при поддержке JUG Ru Group. Вести митап будет Антон Черноусов, Developer Advocate платформы Yandex.Cloud.

В программе:

• Василий Куценко (Почтатех) — «Секреты успешного DevOps as a Service: Опыт и рекомендации»

• Константин Белкин (РСХБ.цифра) — «Как внедрить CI/CD для всех разработчиков в банке. CI/CD by App.Farm»

• Алексей Романов (IT Enduro) — «Деплой и откат приложения и миграций БД»

Когда: 29 августа, 18:00 МСК.

Формат: онлайн и оффлайн, бесплатно по предварительной регистрации.

Офлайн: в офисе РСХБ-Интех по адресу Москва, Профсоюзная 125А (м. Теплый Стан), сбор офлайн участников с 17:30.

Участников ждут подарки. Подготовили призы за лучшие вопросы спикерам и розыгрыш мерча среди тех, кто оставит отзыв после митапа.

Регистрация по ссылке.
Чат митапа.

Задайте вопрос по кубам архитекторам Southbridge

15 августа проведём бесплатную онлайн-консультацию вместе с архитекторами Southbridge и ответим на ваши вопросы по Kubernetes.

А чтобы эксперты смогли подготовиться и дать более подробные ответы — присылайте вопросы чуть заранее в бота консультации 😉

О Southbridge:

Компания Southbridge c 2007 года создаёт и обслуживает средне- и высоконагруженные IT-инфраструктуры. Среди клиентов — VolkswagenGroupRus, Альфастрахование, Skillbox, Спортмастер и другие.

Отвечать на вопросы будут её архитекторы:

Сергей Бондарев. Специалист по внедрению Kubernetes. Один из разработчиков kubespray с правами на принятие pull request. Работал над всеми куб-проектами Southbridge.

И Николай Месропян. Реализовал проекты по созданию и рефакторингу решений с применением Ansible для компаний Фольксваген, Спортмастер и других.

Чтобы получить бесплатную консультацию от экспертов по Kubernetes:

▶️ Напишите свой вопрос боту
▶️ Приходите на вебинар 15 августа
▶️ Получите ответ и задайте любые уточняющие вопросы

Если у вас нет конкретных вопросов — приходите послушать других и обменяться опытом.

📌 15 августа в 18:00 мск
📌 Зарегистрироваться и задать вопрос — по ссылке.

Первый эпизод нашего подкаста уже вышел в прод!

Присоединяйтесь к дискуссии между руководителем группы разработки Сергеем Зайцевым и руководителем департамента комплексного аудита ИБ и DevSecOps Бастиона Владимиром Ченцовым, где они обсуждают противоречивую природу безопасной разработки.

В этом выпуске вы узнаете:

• Как внедрить процессы безопасной разработки без ущерба для Time-to-Market

• Почему безопасность нужно учитывать уже на этапе проектирования продукта?

• Как найти баланс между творчеством разработчиков и требованиями безопасности

• Какие основные этапы внедрения безопасной разработки существуют?

• Как оценить экономическую эффективность инвестиций в безопасность?

Наши эксперты обсудят реальные сценарии, поделятся практическими советами и развеют мифы о конфликте интересов между разработчиками и специалистами по безопасности. Вы получите ценные инсайты о том, как построить безопасный "дом" для вашего продукта, начиная с фундамента.

Слушайте, чтобы узнать, как превратить безопасную разработку из головной боли в конкурентное преимущество вашего бизнеса!

Продолжительность: 88 минут

Уровень душности: Средний

Всем DevOps! Автоматизация проверки одобрений merge requests с помощью GitLab CI/CD и GitLab API — это классный способ без лишних затрат оптимизировать процесс управления кодом в вашей команде.

Наш DevOps-инженер Виктор рассказал, как он смог настроить approve rules для merge request в бесплатной версии GitLab CE.

Из статьи вы узнаете, какие инструменты и методы он применил, а также получите советы по настройке и интеграции решения в ваш рабочий процесс.

💻 Если ещё не читали — тогда вам сюда!