• Tоп-10 PromQL запросов для мониторинга Kubernetes

    • Translation

    В этой статье приведены примеры популярных запросов Prometheus для мониторинга Kubernetes.

    Рейтинг основан на опыте компании Sysdig, ежедневно оказывающей сотням клиентов помощь в настройке мониторинга их кластеров.

    Читать далее
  • Если у вас нашли SCRUM

      Сразу хочу успокоить. Сегодня SCRUM это уже не так страшно как десять лет назад. Современная медицина достигла невероятных высот. Люди со SCRUM живут полноценной жизнью. Остаются активными членами общества. Главное -  своевременно подобрать правильный режим лечения.

      Анамнез
    • Откровения пьяного старшего инженера

      • Translation
      image

      Я пьян и, наверное, пожалею об этом, но вот пьяный рейтинг вещей, которым я научился как инженер за последние 10 лет.

      • Лучший способ достичь карьерного роста — сменить компанию.
      • Стек технологий на самом деле не имеет значения, потому что в моей области есть примерно 15 базовых шаблонов разработки программного обеспечения. Я работаю с данными, поэтому они не будут такими же, как веб-разработка или embedded. Но все области имеют около 10-20 основных принципов, и технический стек просто пытается упростить эти вещи, так что не переживайте.
      • Есть причина, по которой люди рекомендуют искать работу. Если я недоволен работой, наверное, пора уходить.
      • У меня появилось несколько хороших друзей на всю жизнь в компаниях, с которыми я работал. Мне не нужно это от каждого места, где я работаю. Я был совершенно счастлив, работая в тех местах, где у меня не складывались дружеские отношения с моими коллегами, и я был несчастен в местах, где у меня было несколько хороших друзей.
      Читать дальше →
    • Бэкапы для HashiCorp Vault с разными бэкендами

        Недавно мы публиковали статью про производительность Vault с разными бэкендами, а сегодня расскажем, как делать бэкапы — и снова на разных бэкендах: Consul, GCS (Google Cloud Storage), PostgreSQL и Raft.

        Как известно, HashiCorp предоставляет нативный метод бэкапа только для одного бэкенда — Integrated Storage (Raft Cluster), представленного как GA в апреле прошлого года. В нем можно снять снапшот всего одним curl’ом и не беспокоиться о каких-либо нюансах.

        В остальных же случаях придется выкручиваться самим, придумывая, как правильно реализовывать бэкап. Очевидно, что во время резервного копирования Vault часть данных может меняться, из-за чего мы рискуем получить некорректные данные. Поэтому важно искать пути для консистентного бэкапа.

        Читать далее
        • +40
        • 2.6k
        • 6
      • Антипаттерны деплоя в Kubernetes. Часть 1

        • Translation

        В предыдущей статье 10 Docker anti-patterns мы рассказали о популярных ошибках при создании образов контейнеров. Однако создание образов для вашего приложения - это только половина дела. Вам нужен способ развёртывания этих контейнеров в производственной среде. Использование кластеров Kubernetes для решения этой задачи уже стало стандартом.

        Представляем аналогичное руководство для Kubernetes. Теперь вы сможете составить полную картину того, как создать образ контейнера и как правильно его развернуть (при этом избежав некоторых распространенных ошибок).

        Обратите внимание, что это руководство посвящено развёртыванию приложений в Kubernetes, но не затрагивает настройку самих кластеров Kubernetes. Предполагается, что кластер Kubernetes уже развёрнут, правильно настроен и вы просто хотите развернуть в нём ваше приложение.

        В этой статье не просто перечислены известные антипаттерны деплоя в Kubernetes, но и предлагаются соответствующие решения. Вы можете проверить ваши процессы развёртывания и исправить существующие проблемы без поиска дополнительной информации.

        Читать далее
      • Лучшие фантастические циклы по версии «Хьюго». Кто претендует на премию в 2021 году?

          «Хьюго» — одна из самых известных и авторитетных премий в области фантастики. Она присуждается с 1953-го и победителями в различные годы становились Роджер Желязны, Филип К. Дик, Роберт Сильверберг, Урсула Ле Гуин и многие другие признанные мастера жанра.

          Несколько лет назад список номинаций «Хьюго» пополнился новой — за лучшую серию. В этой категории победа уже доставалась «Саге о Форкосиганах» и «Шалиону» Лоис Макмастер Буджолд, «Странники» Бекки Чамберс и «Пространство» Джеймса Кори. Хочется рассказать о тех циклах, которые претендуют на награду в этом году — среди них немало примечательных, правда, к сожалению, пока не все изданы на русском языке.

          Читать далее
        • Что недоговаривают Тинькофф Инвестиции. Вытаскиваем все данные по портфелю через API в большую таблицу Excel

          Разбираемся, как на самом деле считаются суммы и проценты в клиентском приложении.

          Собираем все данные по портфелю и по всем операциям через Tinkoff API.

          Строим огромную Excel таблицу со всеми данными.

          Узнаём, сколько комиссий и налогов с нас уже содрали и что нам останется при выводе.

          Пытаемся понять, что нам с этим делать.

          Read more
        • О чем спорят строители Умных Домов, Бань, Дач и Гаражей

            Я Community Manager и у меня есть зависимость. Ну хорошо, не зависимость, но хобби: я увлекаюсь автоматизации собственной квартиры с помощью того, что модно теперь называть Умным Домом. Начинал пару-тройку лет назад с чистого Apple HomeKit, затем расширил его возможности с Homebridge и далее, вот уже года два, полностью погружен в дебри HomeAssistant.

            Но поскольку я Community Mananger, мне интересна та часть моего хобби, которая касается коммуникаций сообщества людей, имеющих такое же увлечение, как и моё.

            О чем спорят в этом сообществе, что обсуждают особенно горячо и мой личный взгляд на эти острые вопросы я постараюсь описать в этой статье.

            Читать далее
          • DevConf: переход Uber с PostgreSQL на MySQL

              18 мая 2018 года в Digital October состоится DevConf 2018. И мы решили пересказать некоторые интересные доклады с прошлогодней конференции. Там был доклад с несколько холиварным заголовком: "О чём молчит политрук: к дискуссии о переходе Uber с PostgreSQL на MySQL". В нем разработчик MySQL Алексей Копытов рассмотрел различия InnoDb и PostgreSQL на самом низком уровне, включая организацию данных, памяти и репликаций. Предлагаем вашему вниманию краткий пересказ доклада.


              История вопроса


              Uber перешел с MySQL на Postgres в 2013 году и причины, которые они перечисляют, были во-первых: PostGIS — это геоинформационное расширение для PostgreSQL и хайп. То есть, у PostgreSQL есть некий ореол серьезный, солидная СУБД, совершенный, без недостатков. По крайней мере, если сравнивать с MySQL. Они мало что знали о PostgreSQL, но повелись на весь этот хайп и перешли, а через 3 года пришлось переезжать обратно. И основные причины, если просуммировать их доклад — это плохие эксплуатационные характеристики при эксплуатации в production.
              Читать дальше →
            • Пассив в английском: его не любят, но все равно используют

                Пассивный залог не любят носители языка и буквально ненавидят студенты, которые учат его как второй. И на это есть причина.

                В редполитиках многих британских и американских СМИ еще в 40-х годах появились рекомендации не использовать его в текстах. Даже Джордж Оруэлл осуждал его.

                А в 1989 известный лингвист Денис Бэрон написал статью «Going out of style?», где буквально разнес использование пассива. 

                Вот только страдательный залог никуда не делся из английского и до сегодня. Более того, во многих ситуациях он упрощает и обогащает речь. Сегодня мы расскажем о пассиве и о том, как его грамотно использовать.

                Читать далее
              • Шардинг, от которого невозможно отказаться

                  image

                  А не пора ли нам шардить коллекции?
                  Не-е-е:


                  • у нас нет времени, мы пилим фичи!
                  • CPU занят всего на 80% на 64 ядерной виртуалке!
                  • данных всего 2Tb!
                  • наш ежедневный бекап идет как раз 24 часа!

                  В принципе, для большинства проектов вcё оправдано. Это может быть еще прототип или круг пользователей ограничен… Да и не факт, что проект вообще выстрелит.
                  Откладывать можно сколько угодно, но если проект не просто жив, а еще и растет, то до шардинга он доберется. Одна беда, обычно, бизнес логика не готова к таким "внезапным" вызовам.
                  А вы закладывали возможность шардинга при проектировании коллекций?


                  Эта статья для продвинутых разработчиков.
                  Для тех, кто планирует шардинг своего кластера.
                  Для тех, кто уже шардировал кластер ранее, но админы все еще плачут.
                  Для тех, кто руками перемещал jumbo-чанки.


                  Сначала, мы будем учится жить со слонами.
                  Потом, мы их победим, но не сможем вернуться назад.

                  Читать дальше →
                • Архитектура архитектуры. Шаг 5: один за всех и все на одного

                    Продолжение. К предыдущим постам и карте цикла.

                    В жизни каждого проекта наступает тот самый волнительный и незабываемый момент, когда от архитектора требуется только архитектура. Волнительный он по вполне понятным причинам. К этому моменту вы уже столько раз повторяли и уточняли дизайн, что и сами стали верить в эту сказку. А теперь вот раз и надо архитектуру. Не концепции и технологии, а вот прям весь хребет слона, которого будут растить пару лет в инкубаторе, а потом лет 10 на пастбищах по всему миру, пока из резервации он не попадёт в консервацию. Ну а памятным это событие делает тот факт, что все последующие годы вам будут припоминать всё мелкие недочёты, которые почему-то вы не смогли предвидеть. Ведь вам дали неделю, а может даже и целых две на то, чтоб определить направление и основные вехи разработки всех команд на годы вперёд.

                    Read more
                  • Полезные консольные Linux утилиты

                      В этой подборке представлены полезные малоизвестные консольные Linux утилиты. В списке не представлены Pentest утилиты, так как у них есть своя подборка.


                      Осторожно много скриншотов. Добавил до ката утилиту binenv.


                      binenv — cамая интересная утилита для установки новых популярных программ в linux, но которых нет в пакетном менеджере.

                      Читать дальше →
                    • Apache Kafka: основы технологии


                        У Kafka есть множество способов применения, и у каждого способа есть свои особенности. В этой статье разберём, чем Kafka отличается от популярных систем обмена сообщениями; рассмотрим, как Kafka хранит данные и обеспечивает гарантию сохранности; поймём, как записываются и читаются данные.


                        Статья подготовлена на основе открытого занятия из видеокурса по Apache Kafka. Авторы — Анатолий Солдатов, Lead Engineer в Авито, и Александр Миронов, Infrastructure Engineer в Stripe. Базовые темы курса доступны на Youtube.

                        Читать дальше →
                        • +29
                        • 17.5k
                        • 9
                      • Terraform в AWS: несколько аккаунтов и другие хитрости

                        • Translation


                        В этой статье поговорим о нюансах использования Terraform от HashiCorp, в частности о том, как использовать Terraform при управлении несколькими аккаунтами Amazon Web Services (так делают все чаще — из-за размера организации или предпочтений команды DevOps). По сути, AWS сами намекают клиентам, что неплохо было бы использовать несколько аккаунтов, и недавно даже выпустили для этого несколько сервисов.

                        Читать дальше →
                        • +15
                        • 2.9k
                        • 2
                      • Мой маржин-кол: как теряют деньги на бирже

                        Несмотря на то, что сейчас я тружусь в банке и моя должность звучит как исполнительный директор, биржевая торговля и создание торговых роботов к моим обязанностям не относится, и этим я развлекаюсь в свободное время. Так как в данном хобби за мной нет надзора, порой я исполняю всякую дичь, которая выходит боком. Вместе с тем, именно небольшие неудачи и поражения интересно разобрать, потому что если не я кто ж вам про такое расскажет, тем более в интернете - ведь тут все успешные как Тони Роббинс, я порой я удивляюсь, как у меня хватает наглости публиковать что-то в одной сети с такими замечательными людьми. Но, тем не менее. Пару слов для преамбулы.

                        Принято считать, что игра на бирже - это игра с нулевым результатом, то есть когда кто-то выигрывает деньги, их кто-то обязательно должен проиграть. На сегодняшний день это не совсем так, тем более в последние полтора года. Дело в том, что существует огромная масса денег, которые печатаются просто так, для обслуживания гос. долга Соединенных Штатов, и субсидирования их экономики. Часть этих денег получают юридические лица, а часть - физические. Если получателям не удается придумать, куда пристроить эти деньги в реальном секторе, они часто попадают на фондовый рынок, накачивая стоимость тех или иных активов. Поэтому, в последние годы, рынок перекошен в бычью сторону, то есть стратегии типа купи и держи на долгосроке работает. В такой ситуации остается думать о том, какой сектор или какая бумага растет быстрее других, что очень похоже на перестроения из ряда в ряд на шоссе - только перестроился, а другой ряд начинает ехать быстрее.

                        Тем не менее, случаются и коррекции, вот как сейчас. Некоторые выгадывают приближение коррекции через фигуры технического анализа, уровни, каналы, булл-трапы, ГИПы, некоторые просто событийно предсказывают, что в марте молодые и бестолковые "робингуды", типа меня, вспомнят, что надо платить налоги и начнут распродаваться. Но факт в том, что весенняя коррекция бывает и к ней надо быть готовыми, а я был готов недостаточно - слишком долго вокруг кричали “Волки, волки”, поэтому я был немного на расслабоне. Так называемый инвестиционный портфель мой состоял большей частью из опционов, причем разных типов.

                        Читать далее
                      • Интересное о Serverless: хабрастатьи о применении, инструментах, кейсах и инструкциях для первого свидания

                          Привет, Хабр! Меня зовут Антон. Примерно год назад я начал работать с Serverless — и был покорён этим подходом к разработке приложений. Несмотря на определённые недостатки и ограничения, потенциал бессерверных вычислений огромен, за ними большое будущее. Очень приятно, что честь стать первым куратором хаба Serverless выпала именно мне. Мои задачи — находить интересные материалы, показывать новые возможности и помогать тем, кто интересуется этой архитектурой. В первом посте я собрал статьи разных авторов с Хабра, которые знакомят с идеей Serverless- подхода и помогают разобраться, для чего её лучше всего применять.

                          Читать далее
                          • +24
                          • 6.7k
                          • 9
                        • Альтернативный оркестратор nomad на десктопе

                          • Tutorial
                          В настоящее время оркестрация контейнеров ассоциируется в первую очередь с kubernetes. Но это не единственный возможный выбор. Есть и альтернативные средства оркестрации, например nomad, разработчик HashiCorp (хорошо известный как разработчик средства виртуализации Vagrant).

                          Осваивать работу с средствами оркестрации как правило сложно, т.к. не у всех имеется доступ к инфраструктуре из нескольких серверов с рутовым доступом, поэтому, в предыдущем посте
                          Разворачиваем Kubernetes на десктопе за несколько минут с MicroK8s был описан процесс разворачивания среды Kubernetes на десктопе на примере веб-приложения Django. Первоначально я планировал в продолжении описать разворачивание базы данных в среде MicroK8s. Но потом подумал, чтоб будет интересно продолжить работу с не менее удобным средством оркестрации nomad. Я не буду давать даже намека на сравнение разных систем оркестрации. Единственное замечу для тех кто сомневается, что nomad установить еще проще чем MicroK8s, т.к. для этого нужно просто скопировать два исполняемых файла (nomad и consul) с сервера разработчика.
                          Читать дальше →
                        • Логическая репликация в PostgreSQL. Репликационные идентификаторы и популярные ошибки

                          • Tutorial
                          image

                          Начиная с 10 версии, перенести данные с одной базы PostgreSQL на другую несложно, с обновлением, без обновления — неважно. Об этом немало сказано и сказанное сводится к следующему: на мастере, 10 версии и выше, устанавливаем параметр конфигурации wal_level="logical". В pg_hba.conf добавляем такую строку:

                          host    db_name    postgres    192.168.1.3/32     trust

                          Затем рестартуем на мастере postgres и выполняем на реплике из-под пользователя postgres:

                          pg_dumpall --database=postgres --host=192.168.1.2 --no-password --globals-only --no-privileges | psql
                          pg_dump --dbname db_name --host=192.168.1.2 --no-password --create --schema-only | psql

                          Теперь подключаемся на мастере пользователем postgres к базе db_name и создаём публикацию:

                          CREATE PUBLICATION db_pub FOR ALL TABLES;

                          а на реплике создаём подписку:

                          CREATE SUBSCRIPTION db_sub CONNECTION 'host=192.168.1.2 dbname=db_name' PUBLICATION db_pub;

                          По завершении репликации переключаем приложение или балансировщик на новую базу.

                          Теперь вы знаете постгрес (и с какой стороны доить слонеску) и можете идти устраиваться ДБА.
                          Для любознательных есть пара небольших деталей под катом.
                          Читать дальше →