Pull to refresh
34
-3.5
Кирилл Косолапов @kirillkosolapov

CEO Amvera

Send message

Система управления Ansible

Reading time25 min
Views237K


Представьте себе, что вам нужно управлять парком серверов, расположенных к тому же в разных географических точках. Каждый из этих серверов требует настройки, регулярного обновления и мониторинга. Конечно, для решения этих задач можно воспользоваться самым простым способом: подключиться к каждому серверу по ssh и внести необходимые изменения. При всей своей простоте этот способ сопряжен с некоторыми трудностями: он чрезвычайно трудоемок, а на выполнение однообразных операций уходит очень много времени.

Чтобы упростить процессы настройки и конфигурирования серверов, можно также писать shell-скрипты. Но и этот способ вряд ли можно назвать совершенным. Скрипты нужно постоянно изменять, подстраивая их под каждую новую задачу. При их написании необходимо учитывать различие операционных систем и версий. Не будем забывать и о том, что отладка скриптов отнимает много усилий и забирает немало времени.

Оптимальным вариантом решения описанных проблем является внедрение системы удаленного управления конфигурацией. В таких системах достаточно лишь описать нужное состояние управляемого узла. Система должна сама определить, что нужно сделать для достижения этого состояния, и осуществит все необходимые действия.

Со всеми сложностями, о которых идет речь выше, мы хорошо знакомы на собственном опыте: у нас имеется 10 точек присутствия с NS-серверами, расположенные в разных точках планеты. На них необходимо регулярно вносить различные изменения: обновлять операционную систему, устанавливать и обновлять различное ПО, изменять конфигурцию и т.п. Мы решили все эти операции автоматизировать и внедрить систему удаленного управления конфигурациями. Изучив имеющиеся решения, мы остановили свой выбор на Ansible.

В этой статье мы бы хотели подробно рассказать о его возможностях этого инструмента управления конфигурациями и поделиться собственным опытом его использования.
Читать дальше →
Total votes 50: ↑47 and ↓3+44
Comments49

ELK, SIEM из OpenSource, Open Distro: Прогулка по open Distro

Reading time6 min
Views13K

В этом посте будет описана установка и настройка open Distro для Elasticsearch.
В open Distro доступны следующие плагины:


  • Безопасность (Security )
  • Оповещение (Alerting )
  • SQL
  • Управление информационной безопасностью (ISM)
  • Анализатор производительности (Performance Analyzer )
Читать дальше →
Total votes 11: ↑11 and ↓0+11
Comments2

5 open-source систем управления событиями безопасности

Reading time5 min
Views34K


Чем хороший безопасник в ИТ-сфере отличается от обычного? Нет, не тем, что он в любой момент времени по памяти назовёт количество сообщений, которые менеджер Игорь отправил вчера коллеге Марии. Хороший безопасник старается выявить возможные нарушения заранее и отлавливать их в режиме реального времени, прилагая все силы, чтобы не было продолжения инцидента. Системы управления событиями безопасности (SIEM, от Security information and event management) значительно упрощают задачу быстрой фиксации и блокировки любых попыток нарушений.
Читать дальше →
Total votes 17: ↑17 and ↓0+17
Comments1

Автоматизация из первых рук: что такое платформа ServiceNow и как мы ее используем

Reading time6 min
Views9.9K

Привет, Хабр! Продолжаем рассказывать о собственных кейсах, задачах, проблемах и способах их решения. Сегодня поговорим о платформе ServiceNow и о том, как мы с ее помощью управляем инцидентами. 

ServiceNow — это практически универсальный комбайн, который может пригодиться многим компаниям любого масштаба. Наверное, проще перечислить, что платформа не умеет, чем то, что она способна делать, поскольку возможности ServiceNow очень обширные. ServiceNow — это PaaS, который позволяет автоматизировать большинство ITSM-процессов, включая Help Desk, мониторинг сервисов, управление их доступностью, управление поставщиками, изменениями, конфигурациями, инфраструктурой и, конечно, инцидентами и событиями. Это первая статья из цикла материалов о ServiceNow, надеемся, наш опыт пригодится читателям Хабра. Приступим.

Читать далее
Total votes 10: ↑10 and ↓0+10
Comments4

Как мы «завели» десятки команд в один кластер OpenSearch и разделили доступы

Reading time7 min
Views3.3K

У OpenSearch неоднозначная репутация. Некоторые специалисты считают, что его развитие остановилось на версии Elasticsearch 7.10.2. Но это не сделало OpenSearch динозавром, обреченным на постепенный упадок. Продукт развивается и выдает аналогичный Elasticsearch функционал, и даже больше — возможности, которые вообще недоступны в базовой лицензии Elasticsearch.В этом посте расскажем о том, на что способен OpenSearch и как мы боролись с его недостатками. Всё это — на примере внедрения, где в одном кластере нам пришлось наладить разделение доступов для десятка команд, не теряя при этом отказоустойчивости.

Читать далее
Total votes 11: ↑11 and ↓0+11
Comments7

Logstash + ClickHouse + Grafana: Как сделать Logger для логов ИБ умнее и эффективнее?

Reading time17 min
Views17K

В этой статье постараемся рассказать, как на базе всем доступного open-source можно построить эффективный Logger, поддерживающий интеграцию со всеми SIEM системами, и как можно модернизировать уже существующий Logger с помощью алгоритмов машинного обучения, сделав его умнее и эффективнее.

Читать далее
Total votes 6: ↑6 and ↓0+6
Comments3

5 шагов до крупного заказчика: что сделать SaaS-приложению, чтобы начать работать с enterprise

Reading time12 min
Views3.2K

Привет, Хабр! Меня зовут Андрей, в Selectel я руковожу отделом продуктов клиентской безопасности. Мы предоставляем и развиваем защищенную IT-инфраструктуру, помогаем клиентам хранить данные в соответствии с лучшими практиками и стандартами.

Мы видим, что число компаний, разрабатывающих SaaS-продукты, постоянно увеличивается. Растут и бизнесы, которые используют SaaS для обработки критически важных данных. Обе категории компаний встречаются среди наших клиентов. Таким образом, мы знаем потребности и разработчиков, и заказчиков SaaS-решений. А вот первые далеко не всегда понимают, что нужно сделать, чтобы их сервис удовлетворял запросам крупного клиента.

Этот текст как раз для разработчиков SaaS — тех, кто сделал приложение, несущее понятную ценность для бизнеса, и хочет, чтобы их сервис подошел средним и крупным компаниям. После его прочтения вы сможете оценить, насколько ваш продукт готов к внедрению в компаниях крупного бизнеса, и увидите ориентиры для его улучшения. Удобный гайд ждет вас под катом.
Читать дальше →
Total votes 46: ↑45 and ↓1+44
Comments3

Собираем логи с Loki

Reading time13 min
Views122K


Мы в Badoo постоянно мониторим свежие технологии и оцениваем, стоит ли использовать их в нашей системе. Одним из таких исследований и хотим поделиться с сообществом. Оно посвящено Loki — системе агрегирования логов.


Loki — это решение для хранения и просмотра логов, также этот стек предоставляет гибкую систему для их анализа и отправки данных в Prometheus. В мае вышло очередное обновление, которое активно продвигают создатели. Нас заинтересовало, что умеет Loki, какие возможности предоставляет и в какой степени может выступать в качестве альтернативы ELK — стека, который мы используем сейчас.

Total votes 44: ↑44 and ↓0+44
Comments16

SPLUNK VS ELK?

Reading time5 min
Views21K


Если вы связаны с эксплуатацией IT, то наверняка сталкивались либо со Splunk, либо с ELK, либо с обоими продуктами. Это два основных игрока на рынке продуктов по лог-менеджменту и операционной аналитике данных.

В нашем блоге мы пишем о Splunk и нам часто задают вопрос, чем же Splunk лучше ELK? За что мы должны платить деньги за лицензию, если есть хороший open source конкурент? На эту тему отрывками в комментариях сказано уже очень много, но мы решили все объединить и посвятить этому вопросу отдельную статью.
Читать дальше →
Total votes 25: ↑15 and ↓10+5
Comments45

Лицензия для вашего open-source проекта

Reading time98 min
Views182K
В этой статье я хочу немного поговорить об авторском праве и свободных лицензиях на ПО. Текст является результатом самостоятельного выбора лицензий и их применения к своим проектам.

Статья будет полезна тем, кто хочет:

— в общих чертах понять, что такое авторское право (но лучше обратиться к юристу);
— подобрать свободную лицензию для своего проекта;
— разобраться, что нужно писать в шапке файла исходного кода.
Читать дальше →
Total votes 136: ↑132 and ↓4+128
Comments117

На каких бесплатных инструментах строить Observability и зонтичный мониторинг: ELK vs Graylog vs Grafana Loki vs Monq

Reading time15 min
Views37K

Сами по себе логи, трейсы, метрики - это очень узкие артефакты состояния нашего объекта наблюдения и обслуживания. Для понимания общей картины нужен взгляд сверху, сбор всех важных сигналов в одну систему и работа с большими данными в ней. Зонтичный подход близок по своим целям к RED и Golden Signals, но по своей сути является противоположным по принципу работы с данными. В Golden Signals мы отслеживаем Latency, Traffic, Errors отдельных сервисов и по ним можем быстро, но очень поверхностно определить их состояние. В случае зонтичного мониторинга или AIOps мы собираем данные о всех логах, событиях систем мониторинга метрик и трейсов, далее выстраиваем там топологию сервиса и определяем алгоритмически состояние здоровья, основываясь на сотнях и тысячах событий, метрик и трейсов. И два подхода, кстати, друг друга не исключают. В этой статье я постараюсь сравнить четыре бесплатных инструмента, которые могли бы дать такую зонтичную картину: ELK, Graylog, Grafana Loki и Monq.

Читать далее
Total votes 11: ↑11 and ↓0+11
Comments7

9 платных, условно-бесплатных и бесплатных программ для трекинга кода приложений

Reading time9 min
Views19K
Трекинг кода must-have в среде разработки. Но вот насколько нужен этот же инструмент в продуктиве? Тот, кто лишь кропотливо собирает логи скажет «ну его нафиг, мой ELK меня не подводит» и будет по-своему прав. До поры до времени.


Протрейсить как следует
Total votes 32: ↑28 and ↓4+24
Comments12

История внедрения SRE в «Тинькофф»

Reading time7 min
Views16K

Меня зовут Дмитрий Масленников, и я руковожу Центром надёжности информационных систем в Тинькофф. Недавно я выступал на вебинаре Слёрма «Особенности SRE в России». В поддержку своего курса по «SRE: внедряем DevOps от Google» Слёрм собирает интересные кейсы внедрения SRE в российских компаниях. Я рассказал, как устроена наша экосистема SRE, зачем мы используем самописные сервисы, почему в SRE должна работать инженерная элита и как примкнуть к этой элите за один день. А теперь делюсь этим здесь. 

Читать далее
Total votes 25: ↑21 and ↓4+17
Comments21

Распределенное логирование и трассировка для микросервисов

Reading time18 min
Views25K
Логирование — важная часть любого приложения. Любая система логирования проходит три основных шага эволюции. Первый — вывод на консоль, второй — запись логов в файл и появление фреймворка для структурированного логирования, и третий — распределенное логирование или сбор логов различных сервисов в единый центр.

Если логирование хорошо организовано, то позволяет понимать, что, когда и как идет не так, как задумано, и передавать нужную информацию людям, которым предстоит эти ошибки исправлять. Для системы, в которой каждую секунду отправляется 100 тысяч сообщений в 10 дата-центрах на 190 стран, а 350 инженеров каждый день что-то деплоят, система логирования особенно важна.



Иван Летенко — тимлид и разработчик в Infobip. Чтобы решить проблему централизованной обработки и трассировки логов в микросервисной архитектуре при таких огромных нагрузках, в компании пробовали различные комбинации стека ELK, Graylog, Neo4j и MongoDB. В итоге, спустя много грабель, написали свой лог-сервис на Elasticsearch, а как БД для дополнительной информации взяли PostgreSQL.

Под катом подробно, с примерами и графиками: архитектура и эволюция системы, грабли, логирование и трассировка, метрики и мониторинг, практика работы с кластерами Elasticsearch и их администрирования в условиях ограниченных ресурсов.
Total votes 38: ↑37 and ↓1+36
Comments3

GlitchTip вместо Sentry. Как мы бесплатно настроили мониторинг ошибок

Reading time4 min
Views8.6K

Привет, хабр! Меня зовут Алексей и я системный инженер в компании Constanta, мы с командой занимаемся практиками DevOps, развиваем процессы ci/cd и мониторинга.

Представьте, что у вас есть 10 серверов и 20 микросервисов на них, а релизы проходят каждую неделю. Вы уже мониторите жизнеспособность сервисов и докера с помощью zabbix или prometheus, а с помощью ELK или grailog собираете логи. Кажется, что хорошо, но в таком потоке релизов, хотфиксов и строчек кода нужно быстро ориентироваться в ошибках внутри приложения, которые не влияют на жизнеспособность сервиса, но мешают его правильной работе.

Стоп! Есть же Sentry, скажете вы. И будете правы. Он удобен, хорошо описан, есть документация, комьюнити и поддержка. Однако, есть одно "но".

Читать далее
Total votes 7: ↑7 and ↓0+7
Comments8

Как мы перешли с Elastic на Grafana stack и сократили расходы в несколько раз

Reading time8 min
Views29K

Привет! Хочу поделиться историей миграции сервисов логирования и трейсинга с компонентов Elastic Stack на Grafana Stack и тем, что из этого вышло. До миграции у нас в М2 использовались достаточно классические схемы:

Читать далее
Total votes 31: ↑31 and ↓0+31
Comments22

7 сервисов для мониторинга сайтов

Reading time4 min
Views121K
Здравствуйте! Часто перебои в работе сайта могут привести к потере клиентов, репутации, минусам в карму и прочим неприятностям. После покупки виртуального или выделенного сервера важно вовремя получать информацию о недоступности, поэтому сегодня я хочу рассказать о нескольких сервисах мониторинга сайтов/серверов и провести их сравнение.

image

На обозрение представлены следующие сервисы:
  1. host-tracker.com
  2. monitis.com
  3. monitorus.ru
  4. pingup.ru
  5. site24x7.com
  6. uptimerobot.com
  7. webopulsar.ru

Читать дальше →
Total votes 28: ↑23 and ↓5+18
Comments29

Лучшие сообщества разработчиков и IT специалистов в 2022 году

Reading time4 min
Views29K

Намного проще работать в сплоченной команде, где все члены поддерживают друг друга, дают дельные советы, делятся знаниями и накопленным опытом. А если в команде единомышленников сотни и тысячи профессионалов из ведущих стран мира, польза от такого содружества очевидна. Поэтому специалисты разных профилей часто становятся постоянными обитателями профессиональных форумов и сообществ. На таких интернет-площадках задают любые вопросы, обсуждают проблемы, обмениваются мнениями. Каждый участник сможет найти для себя полезную информацию.

Читать далее
Total votes 20: ↑10 and ↓100
Comments18

Итоги 2022 года на Хабре

Level of difficultyEasy
Reading time10 min
Views25K

Короткий итог — 30000 статей, десятки изменений в логике и интерфейсе сайта, 2 больших конкурса, 85 человек в команде, 359 дней нонстопа. Ещё в начале года мы твёрдо знали: надо продолжать делать крупнейший русскоязычный сервис для IT-специалистов и для этого мы задействуем все свои ресурсы. Были дни и даже недели, когда значительная часть команды работала 24/7, были бессонные ночи, были жалобы и благодарности. В некоторых моментах последняя нервная клетка команды пыталась сорваться в бездну, но мы знали — да что там, видели и видим в аналитике, — в нас верят 10 млн тех, кто ежемесячно читает Хабр и больше миллиона зарегистрированных. Эти люди дают и поглощают крутой контент, спорят, дискутируют, грубят и хвалят, устраивают баталии и присылают крутые идеи, сообщают о багах и уязвимостях. Ну что же, перед тем, как идти вперёд, осмелимся вместе оглянуться?

Читать далее
Total votes 125: ↑124 and ↓1+123
Comments110

Насколько можно улучшить распознавание речи в записях с АЗС за месяц

Reading time3 min
Views2K

Эта история началась с того, что к нам пришел клиент, которому нужна была система распознавания речи. Да не простая, а качественно распознающая разговоры с микрофонов на АЗС, то есть речь в сильных шумах. Цель заказчика простая – контролировать, упоминают ли кассиры акции, предлагают ли установить мобильное приложение и выпить кофе. Вы наверняка все это сами слышали на заправках.

Но есть проблема. Хорошо распознать простую чистую речь могут почти все известные решения. Но речь, где на фоне играет радио, слышны звуки с других касс, громкость речи говорящих разная и присутствует много отраслевой лексики (бренды сигарет, марки топлива), качественно распознать не смогло ни одно «коробочное» решение.

Вызов принят! Мы решили за ограниченное время справиться с этим кейсом.

Шаг 1 – транскрибируем несколько файлов и замеряем качество распознавания на своем решении и решении конкурентов.

Для измерения качества распознавания используем метрику WER.

Читать далее
Total votes 6: ↑6 and ↓0+6
Comments13

Information

Rating
Does not participate
Works in
Date of birth
Registered
Activity