• Файловый сервер на Samba, видимый отовсюду

      В этой краткой заметке я не буду касаться настройки Samba, благо таких материалов в сети более, чем достаточно.

      Я хотел бы рассказать о том, как сделать доступ к файловому серверу удобнее.



      TL;DR: настройка Avahi и WSD, чтобы файловый сервер отображался в сетевом окружении в Windows, в MacOS и в Ubuntu (и в других дистрибутивах, разумеется, но в них я не проверял).
      Читать дальше →
    • Изучаем использование памяти MySQL с помощью Performance Schema

      • Translation

      Понимание того, как MySQL использует память, является ключом к настройке системы для достижения оптимальной производительности, также как и для устранения неполадок в случаях ненормального использования памяти, например, когда у вас есть сервер MySQL, использующий намного больше памяти, чем вы ожидаете, исходя из параметров конфигурации.

      На заре MySQL понимание всех тонкостей и нюансов использования памяти было трудным и включало очень много догадок. Быть может, для выполнения некоторых запросов требуется большая временная таблица или выделение больших объемов памяти для сохраненных пользовательских переменных? Может, какие-либо хранимые процедуры занимают неожиданно большой объем памяти? Причиной чрезмерного использования памяти MySQL могло оказаться что угодно, но у вас не было легких путей понять и быть уверенным, что именно.

      Все это изменилось в MySQL 5.7, который добавил инструментарий для отслеживания памяти в Performance Schema, а в MySQL 8.0 этот инструментарий стал включен по умолчанию, поэтому вы можете получить эти данные практически с любого работающего инстанса.

      Читать далее
      • +10
      • 2.5k
      • 7
    • Zabbix + Wirenboard: мониторинг производства

        Введение

        В этой статье я расскажу о том, как мы используем zabbix и wirenboard для мониторинга производственного оборудования, каким образом мы смоли получить данные с линий и источников основных ресурсов. Статья описывает концепцию и основные моменты организации мониторинга средствами свободного распространяемого ПО и в ней не будут обсуждаться серьезные системы класса SCADA. Моя задача была быстро развернуть мониторинг без капитальных вложений и начать получать данные как можно скорее с того что уже есть.

        Вот как мы это реализовали
      • Знакомство с pg_probackup. Третья часть

        • Tutorial


        Завершающая часть из цикла "Знакомство с pg_probackup" (первая | вторая части).

        В предыдущей статье мы решили сразу две задачи: в первой создали архив wal-файлов, перешли к PAGE-архивам, настроили политику удержания wal-файлов; во второй — реплику из бэкапа и настроили pg_probackup на снятие бэкапов с неё.

        Сегодня мы с вами продолжим тему восстановления из бэкапов.

        Читать дальше →
        • +17
        • 1.8k
        • 2
      • «Цель SRE — надёжная система». Обзор основных метрик SRE

          Site Reliability Engineering (SRE) — это одна из форм реализации DevOps. SRE-подход возник в Google и стал популярен в среде продуктовых IT-компаний после выхода одноимённой книги в 2016 году.


          В статье опишем, как SRE-подход соотносится с DevOps, какие задачи решает инженер по SRE и о каких показателях заботится.


          Читать дальше →
        • Отказоустойчивый кластер с балансировкой нагрузки с помощью keepalived

          • Tutorial

          Сегодня я расскажу о том, как быстро собрать отказоустойчивый кластер с балансировкой нагрузки с помощью keepalived на примере DNS-серверов.

          Читать дальше →
        • Шифрование в MySQL: ротация Master Key

          • Translation

          В преддверии старта нового набора на курс «Базы данных» продолжаем публиковать серию статей про шифрование в MySQL.

          В предыдущей статье этой серии мы обсудили, как работает шифрование с главным ключом (Master Key). Сегодня, основываясь на полученных ранее знаниях, посмотрим на ротацию главных ключей.

          Ротация главных ключей заключается в том, что генерируется новый главный ключ и этим новым ключом повторно шифруются ключи табличных пространств (которые хранятся в заголовках табличных пространств).

          Давайте вспомним, как выглядит заголовок зашифрованного табличного пространства:

          Читать далее
        • Обзор k9s — продвинутого терминального интерфейса для Kubernetes



            K9s предоставляет пользовательский интерфейс терминала для взаимодействия с кластерами Kubernetes. Цель этого Open Source-проекта — облегчить удобную навигацию по приложениям в K8s, наблюдение за ними и управление ими. K9s постоянно следит за изменениями в Kubernetes и предлагает быстрые команды для работы с наблюдаемыми ресурсами.

            Проект написан на Go, существует уже более полутора лет: первый коммит был сделан 1 февраля 2019 года. На момент написания статьи насчитывается 9000+ звезд на GitHub и около 80 контрибьюторов. Посмотрим, что умеет k9s?
            Читать дальше →
            • +37
            • 6.6k
            • 3
          • Знакомство с Debezium — CDC для Apache Kafka



              В своей работе я часто сталкиваюсь с новыми техническими решениями/программными продуктами, информации о которых в русскоязычном интернете довольно мало. Этой статьей постараюсь восполнить один такой пробел примером из своей недавней практики, когда потребовалось настроить отправку CDC-событий из двух популярных СУБД (PostgreSQL и MongoDB) в кластер Kafka при помощи Debezium. Надеюсь, эта обзорная статья, появившаяся по итогам проделанной работы, окажется полезной и другим.

              Что за Debezium и вообще CDC?


              Debezium — представитель категории программного обеспечения CDC (Capture Data Change), а если точнее — это набор коннекторов для различных СУБД, совместимых с фреймворком Apache Kafka Connect.
              Читать дальше →
              • +52
              • 4.6k
              • 1
            • Linux kernel development для самых маленьких


                Любой программист знает, что теоретически он может внести свой посильный вклад в развитие Linux ядра. С другой стороны, подавляющее большинство уверено, что занимаются этим исключительно небожители, а процесс контрибьюта в ядро настолько сложен и запутан, что обычному человеку разобраться в нём нет никакой возможности. А значит, и надобности.
                Сегодня мы попробуем развеять эту легенду и покажем, как абсолютно любой инженер при наличии достойной идеи, воплощённой в коде, может предложить ее на рассмотрение Linux community для включения в ядро.

                Читать дальше →
              • Как Нетфликс использует нейросетки при создании сериалов

                  На одной из презентаций технического отдела Netflix представительница компании показала публике вот такой экран – по ее утверждению, это инструмент для продюсеров, который призван помогать тем принимать правильные решения на этапе предпроизводства. Вложить ли деньги в известных актеров, поменять ли стилистическую направленность – и тут же узнать, как и с какой вероятностью это скажется на сборах.



                  Любой, кто имеет хотя бы отдаленное представление о производстве кино, уже сейчас может смеяться. После череды скандалов под флагом #metoo, в ходе которых продолжает вскрываться глубоко коррумпированное устройство Голливуда и прилегающих пространств, сложно принять всерьез рассказы в духе «Стар Трека» о переливающихся инструментах для бюджетирования. Рассказы эти, к тому же, напрочь лишены конкретики – Нетфликс известен своим нежеланием раскрывать реальные рейтинги своих продуктов, поэтому подсказывать художественные решения их производителям с таким же успехом может шестигранный кубик. Что, конечно, не означает, что работа в этом направлении не ведется. Более того, не только Нетфликс и другие гиганты, но и небольшие компании пытаются выстраивать свою бизнес-модель на машинных предсказаниях.
                  Читать дальше →
                  • +24
                  • 10.9k
                  • 7
                • Корректное завершение работы гипервизора VMWare ESXi при критическом уровне заряда батарей ИБП APC

                  На просторах есть много статей о том, как настраивать PowerChute Business Edition, и как подключаться к VMWare из PowerShell, но как-то не встретилось все это в одном месте, с описанием тонких моментов. А они есть.

                  1. Вступление


                  Несмотря на то, что мы имеем некоторое отношение к энергетике, проблемы с электричеством иногда возникают. Тут в дело вступает ИБП, но и его батареи, увы, не долговечны. Что делать? Выключать!

                  Пока все серверы были физическими, дела шли неплохо, нас выручала PowerChute Business Edition. Бесплатная, на 5 серверов, чего вполне хватало. На одной машине был установлен агент, сервер и консоль. При приближении конца агент просто выполнял командный файл, в котором на соседние серверы посылалось shutdown.exe /s /m, а потом гасил свою ОС. Все живы.
                  Потом настало время виртуальных машин.
                  Читать дальше →
                • Устранение узких мест в PostgreSQL при высоких нагрузках

                  • Translation
                  Всем привет. Прямо сейчас в OTUS открыт набор на новый поток курса «PostgreSQL». В связи с этим, мы традиционно подготовили для вас перевод полезного материала по теме.





                  Взяв за основу статью Петра Зайцева об узких местах в производительности MySQL (MySQL Performance Bottlenecks), я хочу немного рассказать о PostgreSQL.

                  В наши дни для работы с PostgreSQL часто используются ORM-фреймворки. Обычно они работают хорошо, но со временем нагрузка увеличивается и возникает необходимость тюнить сервер базы данных. Каким бы надежным ни был PostgreSQL, но и он может тормозить при увеличении трафика.
                  Читать дальше →
                  • +10
                  • 4.1k
                  • 3
                • Как победить фиолетовый экран смерти VMware?

                    Многие администраторы VMware ESXi сталкивались с такой проблемой, как «фиолетовый экран смерти». Самое неприятное в этой проблеме, что у вас возникает недоверие к своей собственной инфраструктуре. В голове постоянно крутятся мысли о том, что такая же проблема может повториться и на другом сервере.

                    Читать далее
                  • Скрипт настройки Windows 10. Часть II

                      Чуть больше года назад выкладывал свой скрипт по автоматизации настройки Windows 10. Давеча переписал Windows 10 Sophia Script в виде примитивного модуля на 6 000 строк для одноразового использования. Под катом — всегда самое интересное!

                      Читать далее
                    • Переезжаем на ClickHouse: 3 года спустя

                        Три года назад Виктор Тарнавский и Алексей Миловидов из Яндекса на сцене HighLoad++ рассказывали, какой ClickHouse хороший, и как он не тормозит. А на соседней сцене был Александр Зайцев с докладом о переезде на ClickHouse с другой аналитической СУБД и с выводом, что ClickHouse, конечно, хороший, но не очень удобный. Когда в 2016 году компания LifeStreet, в которой тогда работал Александр, переводила мультипетабайтовую аналитическую систему на ClickHouse, это была увлекательная «дорога из желтого кирпича», полная неведомых опасностей — ClickHouse тогда напоминал минное поле.

                        Три года спустя ClickHouse стал гораздо лучше — за это время Александр основал компанию Altinity, которая не только помогает переезжать на ClickHouse десяткам проектов, но и совершенствует сам продукт вместе с коллегами из Яндекса. Сейчас ClickHouse все еще не беззаботная прогулка, но уже и не минное поле.

                        Александр занимается распределенными системами с 2003 года, разрабатывал крупные проекты на MySQL, Oracle и Vertica. На прошедшей HighLoad++ 2019 Александр, один из пионеров использования ClickHouse, рассказал, что сейчас из себя представляет эта СУБД. Мы узнаем про основные особенности ClickHouse: чем он отличается от других систем и в каких случаях его эффективнее использовать. На примерах рассмотрим свежие и проверенные проектами практики по построению систем на ClickHouse.


                        Читать дальше →
                        • +35
                        • 8.5k
                        • 8
                      • MinIo для самых маленьких

                          MinIO — прекрасное решение, когда надо легко и просто организовать объектное хранилище. Элементарная настройка, множество платформ и хорошая производительность сделали своё дело на ниве народной любви. Так что у нас не было другого пути, как месяц назад заявить о совместимости Veeam Backup & Replication и MinIO. Включая такую важную функцию, как Immutability. На самом деле у MinIO есть целый раздел в документации, посвящённый нашей интеграции.

                          Поэтому сегодня мы поговорим о том, как:

                          • Настроить MinIO очень быстро.
                          • Настроить MinIO чуть менее быстро, но значительно качественней.
                          • Использовать его в качестве Archive Tier для масштабируемого репозитория Veeam SOBR.


                          Читать дальше →
                        • PostgreSQL 13: happy pagination WITH TIES

                            На прошедшей неделе вышло сразу две статьи (от Hubert 'depesz' Lubaczewski и автора самого патча Alvaro Herrera), посвященные реализованной в грядущей версии PostgreSQL 13 поддержке опции WITH TIES из стандарта SQL:2008:
                            OFFSET start { ROW | ROWS }
                            FETCH { FIRST | NEXT } [ count ] { ROW | ROWS } { ONLY | WITH TIES }
                            Что это, и как оно избавляет от проблем с реализацией пейджинга, о которых я рассказывал в статье «PostgreSQL Antipatterns: навигация по реестру»?


                            Читать дальше →
                          • Особенности работы Postfix

                              image

                              Добрый день, сообщество. В этой статье хочу поговорить о Postfix – о том, каковы принципы его работы, и о возможностях диагностики проблем. В силу специфики работы приходится с ним сталкиваться — либо для решения своих задач, либо для понимания того, как работает чужая инфраструктура. В интернете о Postfix много информации, однако в основной массе это готовые конфиги для развертывания почтового сервера с нуля. Здесь же я постараюсь охватить основные аспекты администрирования Postfix.
                              Читать дальше →
                              • +12
                              • 6.1k
                              • 9
                            • Ускоряем Ansible

                                Турбокомпрессор в разрезе

                                Ни для кого не секрет, что с настройками «по умолчанию» Ansible может делать своё дело не слишком быстро. В статье я укажу на несколько причин этого и предложу полезный минимум настроек, которые, вполне возможно, реально увеличат скорость работы вашего проекта.
                                Cтавим турбо на сток!