Как стать автором
Обновить
352.59

Системное администрирование *

Лишь бы юзер был доволен

Сначала показывать
Порог рейтинга
Уровень сложности

PostgreSQL и временные таблицы

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 2.8K

Мы много лет уже используем в качестве основной базы данных PostgreSQL. За это время он зарекомендовал себя быстрой и надежной СУБД. Однако, есть в PostgreSQL одна проблема, с которой приходится сталкиваться достаточно часто. К сожалению, реализация логики временных таблиц в нем имеет ряд недостатков, которые отрицательно сказываются на производительности системы.

Одним из свидетельств наличия проблемы является то, что для временных таблиц в Postgres Pro была добавлена специальная функция fasttrun, а в Postgres Pro Enterprise существенно доработана работа с ними (см. пункт 4). 

Наиболее активно временные таблицы используют платформы, в которых разработчик не работает напрямую с базой данных, а таблицы и запросы генерируются непосредственно самой платформой. В частности, к ним относится платформа или ее открытый и бесплатный аналог - платформа lsFusion.

В этой статье я опишу почему приходится использовать временные таблицы, в чем суть проблемы, и как улучшить производительность путем настроек операционной системы и PostgreSQL.

Читать далее
Всего голосов 37: ↑36 и ↓1 +35
Комментарии 5

Новости

Зеркалирование топиков Kafka по-бруклински

Уровень сложности Сложный
Время на прочтение 22 мин
Количество просмотров 1.1K
Туториал

Буквально на секунду представьте, что у вас есть парочка здоровенных кластеров Apache Kafka, каждый из которых держит по нескольку миллионов rps. И тут вас попросили зеркалировать топик из одного кластера в другой. Максимально близко к реалтайму, да ещё и с некоторыми специфическими условиями. Если стало страшно, интересно или страшно интересно, то это статья для вас.

Под катом я расскажу, что такое зеркалирование и зачем оно нужно. Как нам перестало хватать Mirror Maker’а. Поговорим о возможных решениях и выборе между ними. И дам подробную инструкцию, как вам развернуть такое решение у себя.

Читать далее
Всего голосов 22: ↑22 и ↓0 +22
Комментарии 4

Многогранный мониторинг Angie, форка веб-сервера nginx

Уровень сложности Средний
Время на прочтение 11 мин
Количество просмотров 1.5K
Обзор

Здравствуй, дорогой читатель. Меня зовут Дмитрий. Я — системный инженер компании «Веб-сервер». На протяжении моего опыта оказания услуг технической поддержки сначала в компании Nginx, а теперь и в компании разработчика российского веб-сервера Angie, мы отвечаем на очень популярный вопрос: «Как организовать мониторинг состояния веб-сервера?». А вот так.

Читать далее
Всего голосов 22: ↑22 и ↓0 +22
Комментарии 2

Выбор Минцифры: какие российские операционные системы получат господдержку

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 3.1K
Обзор

В марте 2022 года американская компания Microsoft объявила о постепенном сворачивании бизнеса в России. Легальное использование ее главного продукта — операционной системы Windows — было поставлено под угрозу. Интересно, что уже в апреле IT-гигант начал «мягко» возвращаться, в июне президент Microsoft Брэд Смит заявил о «планомерном уничтожении бизнеса в стране», а весной 2023 года многие отечественные корпоративные клиенты стали получать письма с предложениями продлить лицензию на Windows. Но еще задолго до череды этих непоследовательных действий поставщика российские госорганы стали плавно переходить на отечественные решения, потому что их на рынке достаточно. 

В ноябре 2022 года стало известно, что эксперты Минцифры выбрали 3 наиболее перспективные российские операционные системы, которые получат всестороннюю поддержку от государства — Astra Linux (ГК «Астра»), ОС «Альт» («БазАльт СПО») и «Ред ОС» («Ред Софт»). Сегодня мы поговорим об этих и других ОС из реестра ПО, а также оценим перспективы вытеснения Windows с российского рынка.

Читать далее
Всего голосов 16: ↑15 и ↓1 +14
Комментарии 14

Истории

Использование Foreman и Puppet в подходе IaC

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 666

Использование Foreman и Puppet в подходе IaC.

Foreman предоставляет спектр инструментов для контроля за ИТ-средой, в статье описаны отдельные возможности, такие как: использование Puppet модулей, установка параметров для Puppet, процесс доставки модулей, написание скриптов сбора искомых фактов, использование шаблонов для выгрузки репортов.

Также затронуто использовании программного интерфейса и базы данных

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 3

Как реализовать автоматический деплой серверов: опыт EdgeCloud

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 418
Кейс

Почти любую инфраструктуру рано или поздно приходится расширять. Если вы — сисадмин в компании с собственными серверами, возможно, для вас этот вопрос стоит не так остро. Но когда работаешь с публичными облаками, вопрос расширения встаёт регулярно. Особенно, если существует несколько регионов.

Установить один сервер раз в месяц — не особенная проблема. Но что делать, если приходится добавлять по 100 серверов в месяц в разные локации? Мы в EdgeCloud для себя ответили на этот вопрос созданием пайплайнов для деплоя серверов. Благодаря этому гениальному решению, как правило, нам даже не приходится заходить на серверы — всё сделает автоматизация.

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Комментарии 0

Будь всегда в курсе: мониторим сертификаты с помощью Prometheus и Telegram

Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 3.8K

Почему важно следить за сертификатами: сертификаты – это канал доверия между вашими системами и пользователями. Если канал рушится, доверие пропадает. И это может привести к невиданным техническим и, что еще хуже, бизнес-проблемам.

Поэтому, поговорим о том, как сохранить репутацию, удержать клиентов и обезопасить свой бизнес от неожиданных "сюрпризов" с помощью мониторинга.

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Комментарии 12

Одноранговые сети (для самых маленьких) часть 1

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 13K

Шёл 2023 год. Windows ушел из страны и вернуться не обещал, а потребность в сетевой инфраструктуре никуда не делась.

В начале года мы общались с товарищем, который довольно-таки успешно вёл небольшой бизнес в сфере оказания полиграфических услуг. И к тому моменту как в его фирме работало целых 9 специалистов, он осознал, что бегать от ПК к ПК с флэшкой или перекидывать файлы с почты на почту - не очень удобно и достаточно времязатратно. Покупать место в облаке товарищ тоже не особо хотел, однако хотел быстро переносить большие объёмы данных с одного ПК на другой.

Решением сей задачи, мне виделось создание обычной сети между вышеуказанными 9-ю специалистами. А слова товарища о том, что какие-либо доп. настройки системы и управление ПК пользователей не требуются, подтвердили моё предположение о том, что сервер здесь не нужен.  

Читать далее
Всего голосов 20: ↑12 и ↓8 +4
Комментарии 47

Парсинг, хранение и отображение логов 4-х разных агентов доставки электронной почты. Развитие MTA Log Parser

Время на прочтение 1 мин
Количество просмотров 1.2K

В продолжение моей предыдущей статьи о MTA Log Parser хотелось бы поделится результатами работы над теми хотелками, которые появились после ее публикации. Появился первый feedback, который в итоге принес следующие нововведения:

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Комментарии 7

Bug Bounty: разведка превыше всего

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 2K
Мнение
Recovery Mode

В этой статье поделюсь с вами целым багажом утилит разной направленности и некоторыми ценными сведениями о разведке, как об одном из самых важных аспектов, которыми должен овладеть охотник за баунти.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 0

Оптимизируем и ускоряем плейбуки в Ansible

Время на прочтение 8 мин
Количество просмотров 1.8K

Всем привет. Сегодня поговорим про оптимизацию и ускорение выполнения плейбуков в Ansible и для этого у нас есть несколько практик, которые можно применить.

Читать далее
Всего голосов 19: ↑9 и ↓10 -1
Комментарии 4

Мультисерверная установка Carbonio на RHEL 8

Уровень сложности Средний
Время на прочтение 8 мин
Количество просмотров 579
Туториал

Ранее мы рассказывали о том, как осуществить односерверную установку Carbonio на Red Hat Enterprise Linux 8, однако такой вариант больше подходит для тестирования, нежели для полноценного продуктива. В новой статье мы расскажем о том, как осуществить мультисерверную установку, которая, в отличие от односерверного варианта, позволяет распределять нагрузку между различными машинами

Читать далее
Всего голосов 2: ↑1 и ↓1 0
Комментарии 0

Как узнать больше об Apache Kafka: от базовых настроек до архитектуры сервисов

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 5.8K
Обзор

Apache Kafka — распределенный программный брокер сообщений с открытым исходным кодом. Его ключевая задача заключается в сборе данных у приложений и их хранении в распределенном хранилище. Сегодня обсудим литературу, которая поможет разобраться в его работе и понять, какую роль он играет в проектах, связанных с большими данными.  

Представляем вашему вниманию избранную подборку новых высокооцененных книг для начинающих и опытных специалистов.

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Комментарии 0

Ближайшие события

Битва пет-проектов
Дата 25 сентября – 30 ноября
Место Онлайн
Business&IT Day: Retail CPG
Дата 28 сентября
Время 09:50 – 14:00
Место Онлайн
XIX конференция разработчиков свободных программ «Базальт СПО»
Дата 29 сентября – 1 октября
Время 10:00 – 19:00
Место Переславль-Залесский Онлайн
Kokoc Hackathon
Дата 29 сентября – 1 октября
Время 19:00 – 21:00
Место Онлайн
Ruby Russia 2023 Online
Дата 30 сентября
Время 11:00 – 21:00
Место Онлайн
PG Boot Camp Russia 2023
Дата 5 октября
Время 10:00 – 17:00
Место Москва Онлайн
Joker
Дата 9 – 14 октября
Время 16:00 – 19:30
Место Санкт-Петербург Онлайн
Питч-сессия pravo (tech) impulse
Дата 19 октября
Время 15:45 – 17:30
Место Москва
Russia Risk Conference 2023 — 19-я конференция по риск-менеджменту
Дата 25 – 26 октября
Время 10:00 – 19:00
Место Москва Онлайн
Онлайн IT HR-конференция HR42
Дата 17 – 18 ноября
Время 10:00 – 14:00
Место Онлайн
HighLoad++ 2023
Дата 27 – 28 ноября
Время 9:00 – 20:00
Место Москва Онлайн

Дополнительные контейнеры в Kubernetes и где они обитают: от паттернов к автоматизации управления

Уровень сложности Средний
Время на прочтение 5 мин
Количество просмотров 2.4K
Туториал

Всем известно, что pod в Kubernetes может включать в себя несколько контейнеров: для Service Mesh, работы с внешним хранилищем секретов, журналирования и т. д. В итоге это множество вызывает вопросы. Правильно ли использовать столько контейнеров? Как их изолировать от пользовательских приложений? Можно ли вообще исключить дополнительные контейнеры из пользовательских релизов?

Я Максим Чудновский, занимаюсь Synapse Service Mesh в СберТехе. Расскажу, какие есть паттерны применения дополнительных контейнеров в Kubernetes, как они могут помочь в платформенной инженерии, и, самое главное, как полностью автоматизировать процесс управления жизненным циклом таких контейнеров.

Поскольку тема контейнеров довольно объёмна, в этом материале коснусь того, какие виды дополнительных «полезных» контейнеров бывают и как добавлять их в Kubernetes так, чтобы развести релизные процессы прикладных и платформенных команд. А в следующей статье поговорим, как автоматизировать управление дополнительными контейнерами и управлять кластером через политики.

Читать далее
Всего голосов 8: ↑8 и ↓0 +8
Комментарии 0

Clickhouse — непростая жизнь в продакшене

Уровень сложности Сложный
Время на прочтение 13 мин
Количество просмотров 13K
Кейс

Около двух лет назад вышла небольшая статья Kafka Streams — непростая жизнь в production, в которой я описывал сложности, с которыми наша команда столкнулась при попытке решить задачи проекта с помощью kafka-streams. Эксперимент вышел неудачным, и мы в итоге совсем отказались от этой технологии. Вместо нее решили попробовать Clickhouse (CH), и сейчас уже можно сказать, что эта база нам очень хорошо подошла и отлично решает почти все задачи, которые нам ставит бизнес. В этой статье я расскажу об особенностях использования CH.

Читать далее
Всего голосов 36: ↑36 и ↓0 +36
Комментарии 1

Обзор РЕД АДМ и Атом.Домен: новые альтернативы службе каталогов MS Active Directory

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 4.6K
Обзор

Привет, Хабр! Меня зовут Денис Мурунов, я руководитель практики построения ИТ-инфраструктуры К2Тех. Cегодня хотел бы поговорить о базовом ПО для инфраструктуры каждой компании — службе каталогов. Мы видим, что все больше компаний сталкиваются с трудностями при закупке лицензий и продлении поддержки на продукты Microsoft. В такой ситуации задача импортозамещения распространенной MS Active Directory стоит сегодня перед многими организациями.

Конечно, на рынке уже есть альтернативы российского производства, которые мы с командой К2Тех активно внедряем заказчикам — это ALD Pro и Альт Домен. Но найти полезные материалы об этих продуктах вам не составит труда, поэтому сегодня я хочу рассказать вам о новых решениях на рынке — РЕД АДМ Промышленная редакция и Атом.Домен. 

Читать далее
Всего голосов 16: ↑15 и ↓1 +14
Комментарии 25

Установка macOS при помощи Windows

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 2.9K
Туториал

Описываю свой рабочий опыт установки macOS на старенький macbook, так как другие способы описанные в интернете не дали результатов, либо привели к новым ошибкам.

Для начала скачиваем дистрибутив в формате *.dmg. Сделать это можно из App Store со второго macbook, либо с торрент (важно чтобы это была чистая копия из App Store).

Берем флешку на 8Гб и более, вставляем в компьютер с Windows, нажимаем Win+R, пишем cmd.

Запускается консоль и в ней уже пишем diskpart потом list disk, на экран выводиться список дисков windows, теперь важно не перепутать диски и выбрать именно диск с флешкой. Пишем select disk (номер флешки):

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Комментарии 6

Взгляд на сервисы глазами пользователей: как устроен синтетический мониторинг приложений

Время на прочтение 5 мин
Количество просмотров 779
Туториал

Невозможно зайти в мобильное приложение, записаться к врачу, оплатить покупку в интернет-магазине, не работают кассы, подрядчик нарушает SLA по доступности сервисов, а инженеры поддержки приступают к поиску проблем после жалоб пользователей и проверяют вручную десятки, а иногда и сотни информационных систем – типичный процесс эксплуатации в быстро развивающихся и сильно зависящих от стабильной работы IT крупных компаниях. Инженерам сложно выполнять KPI по доступности и проактивно работать со сбоями, а бизнес несет финансовые и репутационные потери. 

Справиться с валом ручных проверок пользовательских интерфейсов в растущих и разнородных инфраструктурах может помочь синтетический мониторинг. Именно он позволяет создавать и автоматизированно выполнять сценарии и тесты, имитирующие действия реальных пользователей.

Рассказываем, как работать с синтетическим мониторингом в платформе зонтичного мониторинга Monq (кстати, функционал доступен в бесплатной версии платформы).

Читать далее
Всего голосов 1: ↑1 и ↓0 +1
Комментарии 1

Особенности проксирования через CDN/Websocket/gRPC для обхода блокировок

Уровень сложности Средний
Время на прочтение 15 мин
Количество просмотров 16K
Туториал

Эта статья — заключительная (наконец‑то!) из моего огромного цикла про недетектируемые инструменты для обхода блокировок. В предыдущих публикациях я упоминал, что клиенты и серверы XRay (форк V2Ray) и Sing‑box при использовании протоколов VLESS/VMess/Trojan могут работать через веб‑сокеты и gRPC, что позволяет подключаться к даже заблокированным Роскомнадзором прокси‑серверам через CDN (content delivery или content distribution network) и дает дополнительные преимущества. Сегодня мы поговорим об этом поподробнее.

Читать далее
Всего голосов 79: ↑78 и ↓1 +77
Комментарии 66

Информатизация вуза. Удаленная установка принтеров на rdsh с помощью Powershell

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 1.7K
Кейс

Здравствуйте уважаемые читатели. Эта небольшая статья больше шпаргалка для меня, но, надеюсь, она будет полезна и другим. Всем, кто проявит интерес к статье буду признателен, особенно тем, кто укажет на недочеты. Жду ваши комментарии.

Итак начнем. Задача, которую пытались решить - это установка принтеров на терминальные серверы (нынче серверы узлов сеансов) фермы. Было несколько путей:

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 12

Вклад авторов

Работа