OpenSearch является продуктом реакции на недавнее изменение условий лицензирования Elasticsearch и прекращения работы в качестве open-source платформы. AWS, Logz.io и ряд других компаний-партнеров в течение нескольких месяцев работали над созданием не просто функциональной замены Elasticsearch, а самостоятельным и перспективным проектом.

После разделения Elasticsearch и Kibana 7.10.2, версия RC1 (1.0.00 OpenSearch и OpenSearch, выпущенных 7 июня 2021 г. RC1 не считается полностью готовой к эксплуатации, но она функциональна и включает в себя все прежние Open Distro плагины (наряду с несколькими новыми), Docker-образы, команды Linux tars, оповещения и возможность визуализации диаграмм Ганта (что изначально не входило в ELK стек).

Инструкции по установке и настройке OpenSearch на протяжении какого-то времени останутся без изменений. Поэтому данный порядок действий поможет с легкостью приступить к установке и настройке.

HashiCorp Boundary — это пропускная система с открытым исходным кодом, которая обеспечивает пользователю безопасный доступ к динамическим хостам и критически важной инфраструктуре в разных средах. Однако, если вам нужен простой и безопасный способ управления доступом к базам данных, кластерам Kubernetes, облачным интерфейсам командной строки, коммутаторам, маршрутизаторам или внутренним веб-приложениям, можно рассмотреть и другие сервисы. В этой статье, мы рассмотрим несколько альтернатив и обсудим сильные и слабые стороны каждой из них. Итак, сделаем экспресс-анализ фичей каждого сервиса, которые, возможно, вас заинтересуют.

Я давно искал какой-нибудь инструмент для низкоуровневой отладки сети Linux. Linux позволяет создавать сложные сети, запускаемые прямо на хосте, используя комбинацию из виртуальных интерфейсов и сетевого пространства имен. Когда что-то идет не так решение возникших проблем утомительно. Если это проблема маршрутизации L3, mtr (Matt's traceroute) имеет неплохие шансы принести пользу. Однако, если проблема на более низком уровне, обычно все заканчивается тем, что я вручную проверяю каждый интерфейс / мост / пространство имен сети / iptables и пару раз запускаю tcpdump в попытках понять что происходит. Если вы не знакомы с настройками сети, то при решении проблем в ней, вас ждет запутанный лабиринт.

Философия интеграции методов безопасности в процесс DevOps

В последнее время внедрение культуры DevOps в работу привело к значительным изменениям процесса обработки данных. Для организаций методы DevOps приводят к получению ряда несомненных преимуществ, таких как гибкость, оперативность и сокращение расходов, а также бессерверные вычисления, динамичный провижиниг и оплата по мере использования/оплата по факту оказания услуги.

Несмотря на огромную популярность, одного DevOps недостаточно в случаях, требующих безопасной доставки кода. Это привело к развитию нового подхода (известного, как DevSecOps), интегрирующего методы безопасности с DevOps.

У фотографов есть Photoshop, у архитекторов — AutoCAD, а у инженеров машинного обучения — Kubeflow. Каждый получает свои преимущества от использования специализированного программного обеспечения, инженеры ML — не исключение.

В этой статье разберем чем полезен и как работает Kubeflow.

Введение

Когда я устанавливаю Vault в Kubernetes, я держу в голове, что очень важно иметь возможность сделать автоматическое распечатывание(Auto-Unseal), чтобы кластер Vault был по настоящему высокодоступным.

В моей предыдущей статье "Highly available Vault cluster in Kubernetes" (ссылка), несмотря на то, что я изо всех сил пытался сделать кластер Vault максимально доступным, без автоматического распечатывания кластер Vault мог бы выдержать частичный отказ подов, но не пережил бы перезагрузку всего кластера.

В этой статье хорошо объяснено, почему это произошло. Для меня проблема заключается в том, что я не пользуюсь "службой AWS KMS", которую можно было бы использовать, или подобной службы безопасности от "облачного" провайдера, потому что я управляю Kubernetes на self-hosted "облаке" (в этой статье объясняется моя настройка).

В Vault версии 1.1 добавлена поддержка "Transit Auto Unseal", которая заключается в использовании второго Vault кластера B для автоматического распечатывания (Auto-Unseal) кластера А.

Итак, вот идея: развернуть 2 кластера Vault A и B и настроить их так, чтобы они делали автоматическое распечатывание друг для друга.

Современные технологические достижения привели к несомненному росту производственных возможностей компаний практически во всех отраслях промышленности.

Времена, когда все процессы лежали исключительно на плечах человека, уже давно прошли!

На смену приходят высокотехнологичные системы, способные упростить производственные процессы, начиная от этапа разработки и заканчивая выпуском на рынок, предоставляя конечному пользователю возможность получить незабываемые впечатления от готового продукта.

p.s: хоть и с опозданием..2021 почти подошел к концу уже

Пандемия Коронавируса превратилась в настоящую трагедию мирового масштаба, затронувшую миллионы человеческих жизней, а также судьбы компаний по всему миру. Мировая экономика подорвана и уже точно не будет прежней после вспышки COVID-19.

Поскольку у организаций по всему миру уже просто нет другого выбора, кроме как встать на путь ускоренных преобразований в контексте digital-пространства, DevOps стал неотъемлемой частью успешного развития бизнеса. С изменением бизнес-ландшафта
и молниеносной скоростью развития технологий, DevOps тоже преобразовался в соответствии с меняющимися потребностями.

Вот примеры некоторых новых тенденций DevOps 2021, которые, вполне возможно, повлияют на бизнес ландшафт и изменят его в будущем:

Введение

В данной статье я бы хотел рассмотреть проблему обновления PHP в виртуальной машине BitrixVM, и действия, которые возможно применить если выполнение переезда на машину с обновленным ПО невозможно. Надеюсь, что статья будет полезна для вас.

Предыстория

Несколько месяцев назад перед нами встала задача обновления PHP до версии 7.4 на одном из наших проектов. Проект был расположен внутри виртуальной машины с развернутой на ней BitrixVM версии 7.2.2. Заглянув в меню Битрикс при обращениях к скрипту /root/menu.sh было обнаружено, что обновление PHP не возможно без обновления Битрикс окружения. При этом само обновление окружения выполняется из бета репозиториев, так как текущая стабильная версия не поддерживала работу с PHP версии 7.4 согласно курсу:

https://dev.1c-bitrix.ru/learning/course/index.php?COURSE_ID=32&LESSON_ID=12862

Прошерстив форумы Битрикс, мы не нашли конкретного ответа, когда будет выполнено обновление BitrixVM до стабильной версии с поддержкой с PHP 7.4. В связи с чем, нами было принято решение обновить версию окружения до актуальной беты на одном из виртуальных серверов разработки, предварительно сделав snapshot.

Проблема BitrixVM в том, что это готовое решение, использующее Ansible скрипты для выполнения операций. При этом в случае нарушения работы скрипта операция будет прервана, а идентифицировать ошибку крайне сложно, как и понять на какой именно стадии она возникла.

BitrixVM хранит лог выполняемых задач по пути /opt/webdir/temp/, в ходе выполнения обновления окружения в логе возникали различные ошибки, вызывавшие нарушение процесса обновления. Поиск и решение подобных ошибок занимало достаточный период времени. Как пример, возникали ошибки подключения репозитория:

Если вы каким-либо образом связаны с Machine Learning в production-среде, вам важно понимать, что представляет из себя практика MLOps. Для людей с опытом разработки ПО самый простой способ понять, что такое MLOps — провести параллель между ним и DevOps. Данное руководство поможет вам понять суть обоих терминов, а также их сходства и различия.

Приложения и промежуточное ПО упакованы как операторы и доступны на OperatorHub. Хотя большинство операторов можно установить за несколько кликов, для некоторых, более сложных операторов, требуется более глубокое понимание инфраструктуры. Это похоже на воду для кухонного слива, большинству людей просто достаточно знать, что она есть; тем не менее, знание того, что находится там внутри, в водопроводе, необходимо для решения проблем и исправления ошибок, когда что-то работает не так, как ожидалось.

Эта статья пытается объяснить основные объекты и процессы, составляющие операторов и структуру операторов. Содержание этой статьи разделено на расширение OperatorHub и развертывание Оператора.

Когда я начал работу с Kubernetes, и Infrastructure as Code (IaC), я быстро понял, что мне нужно решение для работы с секретами. Когда я поискал в интернете, то не увидел единого мнения по поводу практического подхода к проблеме, подходящего ко всем ситуациям. Поэтому, в этом году, я поставил себе задачу изучить, какие решения для управления секретами приложения и инфраструктуры существуют, решить, которое из них я считаю лучшим и освоить его. В конце исследования, я пришел к выводу, что HashiCorp Vault перехвален, а Mozilla SOPS с KMS и Git неоправданно недооценены.

Несколько больших нод или много маленьких?

Управление Kubernetes-кластером - это не та задача, где есть одно правильное решение на все случаи жизни. Есть много способов оптимизации кластера и главное здесь - это обеспечение стабильной и отказоустойчивой работы приложений.

Как site-reliability и DevOps инженерам вам нужно иметь в виду потребности приложений, которые будут запускаться в кластере, и учитывать различные факторы при его проектировании.

Выбор правильного размера ноды критичен для разработки масштабируемых приложений. Иметь множество маленьких нод или несколько больших - это две крайности. Для кластера, которому нужно всего 24Gb памяти и 12 CPU лучше выбрать 12 машин по 1-CPU/2GB или две по 6-CPU/12GB ?

Здравый смысл подсказывает нам, что ответ лежит где-то посередине, но давайте рассмотрим те факторы, которые могут повлиять на наше решение. Посмотрим на специфику обеих крайностей, прежде чем сделать выбор.

UPDATE (8 июля, 2021): я обновил фрагмент кода default_role для работы с Vault 1.7.1.

Vault — это отличный инструмент, обеспечивающий безопасный и надежный способ хранения и распространения секретов, таких как ключи API, токены доступа и пароли. В данной статье главным образом сфокусируемся на процессах аутентификации и авторизации в Vault с помощью Google G-Suite OIDC и добавления групповых claim (заявлений о группах) в среде платформы Google Cloud.

Существует множество статей и дискуссий на тему внедрения технологий Mobile DevOps и их интегрирования в текущие процессы. Более того, сейчас можно найти информацию о том, как эффективно и выгодно использовать этот ресурс в контексте компании/бизнеса. Однако, разговоров на тему ПОЧЕМУ мобильный DevOps может принести большую пользу компаниям, стремящимся к полной интеграции IT и других операционных взаимодействий с их бизнес-целями, не так много.

Большинство программных проектов используют секреты – обычно, как ключи к удаленному API или данные для доступа к внешнему ресурсу, например к базе данных. Вашему приложению необходимы эти ключи во время работы, поэтому вам нужно предоставить их при развертывании приложения или на этапе подготовки окружения.
В данной статье я покажу вам, как использовать git-crypt так, чтобы вы могли безопасно хранить секреты ваших приложений в репозиториях исходного кода, даже публичных.

Друзья, а кто-нибудь задумывался о том, кто как выбирает себе компанию подрядчика или человека в команду для выполнения тех или иных работ со своей it-инфраструктурой? Вот у вас есть свой продукт, проект или может вы работаете в какой-то крупной компании, но так или иначе, если вы работаете в it-сфере, значит у вас есть своя инфраструктура за которой нужно следить. Для этого нужна команда, которая не только будет отвечать всем последним практикам в работе с этой инфраструктурой, но и обеспечивать соответствующий уровень ее поддержки, развития да и в целом будет находить баланс. Будет толкать бизнес вперед к развитию, обеспечивая для этого все нужные процессы.

Что такое SAML?

SAML — сокращение от Security Assertion Markup Language (Язык разметки декларации безопасности). Его ключевая роль в обеспечении сетевой безопасности заключается в том, что он позволяет получить доступ в несколько приложений, используя один набор учетных данных для авторизации. Он работает посредством обмена аутентификационной информацией в определенном формате между участниками, в частности, между системой управления доступами и веб-приложением.

Некоторое время назад я получил довольно непростую задачу написать техническое задание для нашей службы поддержки на тему OpenID Connect (OIDC).

Тут же я понял, что хоть я и знаком с OAuth и SAML, я не знал практически ничего об OpenID Connect (кроме того, что благодаря этому Pokemon Go получает сведения о моем профиле сразу после авторизации в Google+).

К счастью, мои коллеги подробно посвятили меня во все детали и снабдили необходимыми ресурсами для ознакомления. Хотя, честно говоря, ни одно из объяснений не показалось мне достаточно хорошим и качественным. Поэтому представляю моё видение данного процесса.