создаешь еще один файл с ci и складываешь туда целые блоки bash
Но вы хотите создать ещё один файл и положить туда целые блоки python. Не вижу логики.
К тому же используя нативный для Gitlab include, почти что так, как сделал автор, можно переиспользовать ci templates без необходимости делать clone какого-то tool репозитория (куда бы вы положили ваш python скрипт, если бы вы использовали его в более чем одном репозитории). И bash также нативен для Gitlab pipelines + нет необходимости ставить какие-то python requirements и т.п. не нужное здесь.
Не кидайте тапками за неоптимальность скрипта, да, можно написать более элегантно, не забирая лишнюю информацию, сократив сам код и т.д. Суть не в этом.
Выкладывать от лица компании которая предоставляет услуги DevOps в публичное пространство такой код не стоит. Это в том числе говорит о качестве предоставляемых услуг.
Сегодня столкнулся с "безопасностью" VK, при которой такая базовая вещь, как настройка ingress nginx + tcp load balancer с терминацией https на load balancer'е в документации описана, как "технически невозможно", но если покопаться, то вполне возможно и решается созданием контейнера и дополнительной аннотацией на service ingress controller'а.
Далее будет продемонстрировано, как создать ресурс Ingress с терминированием SSL\TLS-сессий на Ingress-контроллере. Если вы планируете использовать HTTPS, терминирование сессий должно выполняться именно на контроллере, так как TCP-балансировщик нагрузки не имеет технической возможноститерминировать SSL\TLS-сессии.
Где, кто и по каким критериям считает наш менеджмент, особенно в IT сфере, одним из самых крутых? Не умаляя достоинств конкретных людей, считаю это утверждение сомнительным, как минимум. Школы и методологии менеджмента, по большей части, всё таки, извините, Американские. Особенно в IT. У нас просто нет индустрии разработки софта сравнимой с тем, что есть в кремниевой долине и т.п. Да, у нас есть Российская специфика, которую, вероятно, нужно знать и классно, если кто-то написал про это полезные книги, но полезная база не Российская всё равно.
Нам холодное хранилище как бы не нужно, т.к. всё и так в s3. Можно отправлять совсем старые логи в glacier, но там есть нюансы и пока не воспользовались.
Логи в Loki умеет и Vector писать, у них есть sink ссылка , но у нас как-то сходу все форматы и всё остальное практически вообще без настроек взлетели из дефолтного helm subchart promtail и по производительности он устраивает, поэтому им пользуемся.
Говоря bloom фильтры я имел ввиду то, что реализовала команда Loki https://grafana.com/blog/2024/04/09/grafana-loki-3.0-release-all-the-new-features/, как это реализовано в Clickhouse хз
Мы не ограничиваем разработку в том, что им необходимо.
Наше решение - это несколько EKS кластеров + 2 Loki кластера simple scalable + promtail из того же helm chart'а + AWS S3, но у других облачных провайдеров тоже можно использовать block storage. Да и на дисках на Minio я бы тоже рассмотрел, я уже говорил.
С учётом даты 2018 вашего внедрения обсуждать сравнение с Loki действительно несколько бессмысленно, т.к. для меня он стал Production ready только недавно.
Но сейчас Loki - это решение которое наиболее дешёвое и функциональное, никаких компромиссов.
Логи продовых систем теперь хранятся 4 дня вместо 5 часов
В тексте не ошибка и логов всего 200Гб(Гигабайт) в день?
Сейчас у одного из клиентов с 1Тб (Терабайт) логов в день отлично справляется 2 кластера (dev + prod) Loki в simple scalable конфигурации с хранением в S3 и логи хранятся за сколько угодно давно, т.к. S3 относительно дёшев и логи более чем за год нужны для compliance и т.п. Впрочем и на дисках используя Minio тоже будет не так дорого и достаточно производительно и поддерживается Loki из коробки. И даже Kafka не используется, хотя в теории не помешает. И это на версии 2.9, а сейчас 3.0 вышла с bloom фильтрами, которые на 70-90% должны снизить объём скачиваемых при поисковых запросах логов.
Метрики в двух VictoriaMetrics cluster.
По-моему на 1Tb/день логов в день, даже без аналогичных требований по длительности хранения, ваше решение сильно проигрывает по стоимости и сложности архитектуры и необходимости её поддерживать.
Но снизить стоимость решения в 10 раз - это отличное достижение, поздравляю!
В Gitlab нет таких ограничений, причём даже в облачной версии, не вводите людей в заблуждение.
Только минуты облачных Gitlab runner'ов ограничены, как и в любом подобном облачном решении. Чтобы использовать их сколько угодно, нужно подключить свои Gitlab runner'ы, которые легко поднимаются в кубере с автоскейлингом и на spot инстансах и всё.
Основные ограничения Gitlab CE в дополнительном функционале, без которого абсолютно нормально живут большинство даже при серьезной коммерческой разработке (точнее большая часть реализуется самостоятельно без проблем) (mandatory MR approvals, security scans & etc)
Karpenter отталкивается от потребностей рабочих нагрузок.
Если хотите, чтобы Karpenter удалил сервера, то отключите рабочие нагрузки. Можно сделать scale = 0 и обратно по расписанию (shell operator или lambda + cloudwatch и т.п.)
Также есть менее "правильный", на мой взгляд, способ: удалить Karpenter provisioner, тогда удалятся и сервера созданные им.
При чём тут то, что ситуации не зависят от участников? Бизнес работает в таких условиях, это реальные примеры реальных бизнесов.
рассказы про принудительное направление вообще не по теме.
По теме, т.к. психолог получает оплату, т.е. ведёт свой бизнес, работая с любыми пациентами, даже попавшими к нему не по их желанию. Кто оплачивает такие сеансы уже второй вопрос (примеры: он сам (т.к. его обязал суд), его родственники, государство, страховка и т.п.)
Я говорю изначально про нормальный бизнес с образованием юр.лица, а не про ИП дробящих бизнес и продающих время.
Во всех вышеперечисленных примерах образованы юрлица и бизнес функционирует в полном соответствии с законодательством. И не цепляйтесь за то, что какие-то из ИП дробят свой бизнес, это к сути не относится: бизнес есть и он продаёт время.
клиент такси платит за расстояние и благодарит за быструю доставку
Ситуация 1: клиент стоит в пробке и проехал 1 километр за 1 час. Заплатил, условно, 1 тысячу рублей
Другой клиент такси проехал 1 километр за 5 минут. Заплатил, условно, 100 рублей.
В обоих случаях услуга оказана качественно, клиент поблагодарил водителя, но в первом случае клиент заплатил значительно больше, чем во втором. Оплата производилась не за расстояние, а за время.
Кроме того, если клиент психолога просто отбывает время на сеансе, то к такому психологу будет мало клиентов
Это не так. Более того, далеко не всегда клиенты идут к психологу добровольно (например они нарушили закон и обязаны его посещать), но для психолога это всё ещё бизнес.
До 150 миллионов в год ИП своим трудом(временем) не заработает
Заработает. Если у вас такие цифры не укладываются в голове, то это не значит, что их не существует.
Можно привести длинный список примеров бизнесов, где зарабатывают поменьше, мы же не про размер заработка говорим? Например: психолог (работает индивидуально), водитель такси (работает на себя как раз по ИП), разного рода преподаватели (работают на себя) и т.д. У налоговой в целом нет к ним претензий, что они ИП .
Налоговики уже научились бороться с дроблением бизнеса.
Про дробление бизнеса я написал просто чтобы привести пример того, что и 150 миллионами индивидуальный предприниматель, бизнесмен в единственном числе, на самом деле не ограничен.
Увидеть разницу между junior, middle и senior специалистами, т.е. рядовыми специалистами, но с разным уровнем hard skills (не путать с позициями требующими какого-то менеджмента) по резюме далеко не всегда можно. Много раз сталкивался, что в резюме всё красиво, 15+ лет опыта, иногда даже умеют красиво рассуждать про какие-то технологии, а копнешь чуть поглубже, оказывается, что просто наслушавшись насмотрелись, но руками не трогали и вообще по факту как DevOps даже не Junior. И такое встречал не один раз. И резюме я просматриваю не один.
Но вы хотите создать ещё один файл и положить туда целые блоки python. Не вижу логики.
К тому же используя нативный для Gitlab include, почти что так, как сделал автор, можно переиспользовать ci templates без необходимости делать clone какого-то tool репозитория (куда бы вы положили ваш python скрипт, если бы вы использовали его в более чем одном репозитории). И bash также нативен для Gitlab pipelines + нет необходимости ставить какие-то python requirements и т.п. не нужное здесь.
Пример с нехватающим у автора версионированием:
Что именно в этом конкретном случае позволит вам реализовать скрипт на python из того, что нельзя реализовать на bash?
Выкладывать от лица компании которая предоставляет услуги DevOps в публичное пространство такой код не стоит. Это в том числе говорит о качестве предоставляемых услуг.
Сегодня столкнулся с "безопасностью" VK, при которой такая базовая вещь, как настройка ingress nginx + tcp load balancer с терминацией https на load balancer'е в документации описана, как "технически невозможно", но если покопаться, то вполне возможно и решается созданием контейнера и дополнительной аннотацией на service ingress controller'а.
https://cloud.vk.com/docs/kubernetes/k8s/how-to-guides/ingress/ingress-tcp#4_sozdayte_resurs_ingress
Создал вам issue в документацию с тем, какую аннотацию необходимо использовать https://github.com/vk-cs/docs-public/issues/144
Чем ваше решение лучше, чем https://github.com/aquasecurity/trivy-operator, который из коробки сканирует все крутящееся в кубере Trivy, генерирует sbom'ы и т.д.?
Для ArgoCD существует полезный extension https://github.com/mziyabo/argocd-trivy-extension
Где, кто и по каким критериям считает наш менеджмент, особенно в IT сфере, одним из самых крутых? Не умаляя достоинств конкретных людей, считаю это утверждение сомнительным, как минимум. Школы и методологии менеджмента, по большей части, всё таки, извините, Американские. Особенно в IT. У нас просто нет индустрии разработки софта сравнимой с тем, что есть в кремниевой долине и т.п. Да, у нас есть Российская специфика, которую, вероятно, нужно знать и классно, если кто-то написал про это полезные книги, но полезная база не Российская всё равно.
Планируете ли публиковать ваши наработки в открытом доступе?
Нам холодное хранилище как бы не нужно, т.к. всё и так в s3. Можно отправлять совсем старые логи в glacier, но там есть нюансы и пока не воспользовались.
Логи в Loki умеет и Vector писать, у них есть sink ссылка , но у нас как-то сходу все форматы и всё остальное практически вообще без настроек взлетели из дефолтного helm subchart promtail и по производительности он устраивает, поэтому им пользуемся.
Говоря bloom фильтры я имел ввиду то, что реализовала команда Loki https://grafana.com/blog/2024/04/09/grafana-loki-3.0-release-all-the-new-features/, как это реализовано в Clickhouse хз
Мы не ограничиваем разработку в том, что им необходимо.
Наше решение - это несколько EKS кластеров + 2 Loki кластера simple scalable + promtail из того же helm chart'а + AWS S3, но у других облачных провайдеров тоже можно использовать block storage. Да и на дисках на Minio я бы тоже рассмотрел, я уже говорил.
С учётом даты 2018 вашего внедрения обсуждать сравнение с Loki действительно несколько бессмысленно, т.к. для меня он стал Production ready только недавно.
Но сейчас Loki - это решение которое наиболее дешёвое и функциональное, никаких компромиссов.
В тексте не ошибка и логов всего 200Гб(Гигабайт) в день?
Сейчас у одного из клиентов с 1Тб (Терабайт) логов в день отлично справляется 2 кластера (dev + prod) Loki в simple scalable конфигурации с хранением в S3 и логи хранятся за сколько угодно давно, т.к. S3 относительно дёшев и логи более чем за год нужны для compliance и т.п. Впрочем и на дисках используя Minio тоже будет не так дорого и достаточно производительно и поддерживается Loki из коробки. И даже Kafka не используется, хотя в теории не помешает. И это на версии 2.9, а сейчас 3.0 вышла с bloom фильтрами, которые на 70-90% должны снизить объём скачиваемых при поисковых запросах логов.
Метрики в двух VictoriaMetrics cluster.
По-моему на 1Tb/день логов в день, даже без аналогичных требований по длительности хранения, ваше решение сильно проигрывает по стоимости и сложности архитектуры и необходимости её поддерживать.
Но снизить стоимость решения в 10 раз - это отличное достижение, поздравляю!
Словосочетание "технологический суверенитет" вам что-то говорит?
В смысле "нет в публичном пространстве"? В поиске сразу находится куча таких сервисов без проблем
В Gitlab нет таких ограничений, причём даже в облачной версии, не вводите людей в заблуждение.
Только минуты облачных Gitlab runner'ов ограничены, как и в любом подобном облачном решении. Чтобы использовать их сколько угодно, нужно подключить свои Gitlab runner'ы, которые легко поднимаются в кубере с автоскейлингом и на spot инстансах и всё.
Основные ограничения Gitlab CE в дополнительном функционале, без которого абсолютно нормально живут большинство даже при серьезной коммерческой разработке (точнее большая часть реализуется самостоятельно без проблем) (mandatory MR approvals, security scans & etc)
Karpenter отталкивается от потребностей рабочих нагрузок.
Если хотите, чтобы Karpenter удалил сервера, то отключите рабочие нагрузки. Можно сделать scale = 0 и обратно по расписанию (shell operator или lambda + cloudwatch и т.п.)
Также есть менее "правильный", на мой взгляд, способ: удалить Karpenter provisioner, тогда удалятся и сервера созданные им.
При чём тут то, что ситуации не зависят от участников? Бизнес работает в таких условиях, это реальные примеры реальных бизнесов.
По теме, т.к. психолог получает оплату, т.е. ведёт свой бизнес, работая с любыми пациентами, даже попавшими к нему не по их желанию. Кто оплачивает такие сеансы уже второй вопрос (примеры: он сам (т.к. его обязал суд), его родственники, государство, страховка и т.п.)
Во всех вышеперечисленных примерах образованы юрлица и бизнес функционирует в полном соответствии с законодательством. И не цепляйтесь за то, что какие-то из ИП дробят свой бизнес, это к сути не относится: бизнес есть и он продаёт время.
Ситуация 1: клиент стоит в пробке и проехал 1 километр за 1 час. Заплатил, условно, 1 тысячу рублей
Другой клиент такси проехал 1 километр за 5 минут. Заплатил, условно, 100 рублей.
В обоих случаях услуга оказана качественно, клиент поблагодарил водителя, но в первом случае клиент заплатил значительно больше, чем во втором. Оплата производилась не за расстояние, а за время.
Это не так. Более того, далеко не всегда клиенты идут к психологу добровольно (например они нарушили закон и обязаны его посещать), но для психолога это всё ещё бизнес.
Это с какой стороны посмотреть. С их точки зрения, чем больше их клиент потратит их времени, тем больше они заработают.
Я не прикалываюсь. И я не писал, что таксист или психолог получают 150 миллионов в год. Я писал, что они торгуют своим временем и это бизнес.
Заработает. Если у вас такие цифры не укладываются в голове, то это не значит, что их не существует.
Можно привести длинный список примеров бизнесов, где зарабатывают поменьше, мы же не про размер заработка говорим? Например: психолог (работает индивидуально), водитель такси (работает на себя как раз по ИП), разного рода преподаватели (работают на себя) и т.д. У налоговой в целом нет к ним претензий, что они ИП .
Про дробление бизнеса я написал просто чтобы привести пример того, что и 150 миллионами индивидуальный предприниматель, бизнесмен в единственном числе, на самом деле не ограничен.
Рад за вас, но это не совсем релевантно.
Увидеть разницу между junior, middle и senior специалистами, т.е. рядовыми специалистами, но с разным уровнем hard skills (не путать с позициями требующими какого-то менеджмента) по резюме далеко не всегда можно. Много раз сталкивался, что в резюме всё красиво, 15+ лет опыта, иногда даже умеют красиво рассуждать про какие-то технологии, а копнешь чуть поглубже, оказывается, что просто наслушавшись насмотрелись, но руками не трогали и вообще по факту как DevOps даже не Junior. И такое встречал не один раз. И резюме я просматриваю не один.