Pull to refresh

Релизы для Kubernetes-экосистемы с KubeCon'19: JFrog Container Registry, Kui от IBM, Loki 1.0.0…

Reading time 3 min
Views 2.5K
Флант corporate blog Open source *System administration *DevOps *Kubernetes *
С 18 по 21 ноября в Сан-Диего (Калифорния, США) проходила масштабная конференция, организованная CNCF (входит в состав The Linux Foundation) и посвящённая Kubernetes и другим связанным технологиям, — KubeCon + CloudNativeCon North America 2019.



Мероприятие, которое на сей раз посетили 12 тысяч человек, было по традиции богато интересными докладами о стремительно растущей Open Source-экосистеме для современных cloud native-приложений, а также и приуроченными к нему анонсами от компаний, развивающих эту экосистему. Именно последним и посвящена новость.
Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Comments 5

DevOpsMinsk Meetup #8 при поддержке Wargaming пройдет 23 июня. Онлайн

Reading time 1 min
Views 443
Lesta Studio corporate blog Conferences

3 июня пройдет восьмой онлайн-митап сообщества DevOpsMinsk при поддержке Wargaming. Спикеры рассмотрят систему Log Management на примере Loki и помогут разобраться, как создать частное облако для европейского университета. 

Рассказываем о спикерах и темах выступления.

Читать далее
Total votes 8: ↑7 and ↓1 +6
Comments 0

Инструменты DevOps: от Jenkins и Gitlab CI до Loki и Grafana

Reading time 2 min
Views 1.5K
Southbridge corporate blog

13 октября у нас стартует новый практический курс по DevOps Tools. На нём пройдёмся по основным эксплуатационным инструментам — расскажем, как они связаны архитектурно и как выглядит инфраструктура в целом.  

Читать далее
Total votes 7: ↑6 and ↓1 +5
Comments 0

Как я стандартную библиотеку C++11 писал или почему boost такой страшный. Введение

Reading time 5 min
Views 23K
Abnormal programming *Perfect code *C++ *Development for Linux *Development for Windows *
Sandbox
Да - да, вот с этим девизом я и ринулся в бой.

Вместо предисловия


Пожалуй с этой картинки должно начинаться любое повествование о boost, Loki, самостоятельных, да и так же поставляемых с компиляторами реализациях стандартной библиотеки C++.

Да-да, и если вы думали что разработчики стандартной библиотеки для того же g++, clang, Visual Studio или, прости господи, C++ Builder (бывший Borland, а нынешний Embarcadero) — гуру, что не городят костылей, не ломают стандарт под свой компилятор и не пишут велосипедов, то, скорее всего, вы не так активно используете стандартную библиотеку C++ как вам казалось.

Статья написана как рассказ, и содержит много «воды» и отступлений, но я надеюсь, что мой опыт и получившийся код будет полезен тем, кто столкнулся с похожими проблемами при разработке на C++, особенно на старых компиляторах. Ссылка на GitHub с результатом на сегодня для нетерпеливых и нечитателей:

https://github.com/oktonion/stdex (коммиты и конструктивная критика приветствуются)

А теперь, обо всем по порядку.
Читать дальше →
Total votes 55: ↑52 and ↓3 +49
Comments 32

Как я стандартную библиотеку C++11 писал или почему boost такой страшный. Глава 2

Reading time 13 min
Views 12K
Abnormal programming *Perfect code *C++ *Development for Linux *Development for Windows *
Да - да, вот с этим девизом я и ринулся в бой.

Краткое содержание предыдущих частей


Из-за ограничений на возможность использовать компиляторы C++ 11 и от безальтернативности boost'у возникло желание написать свою реализацию стандартной библиотеки C++ 11 поверх поставляемой с компилятором библиотеки C++ 98 / C++ 03.

Помимо стандартных заголовочных файлов type_traits, thread, mutex, chrono так же были добавлены nullptr.h реализующий std::nullptr_t и core.h куда были вынесены макросы, относящиеся к компиляторозависимому функционалу, а так же расширяющие стандартную библиотеку.

Ссылка на GitHub с результатом на сегодня для нетерпеливых и нечитателей:

Коммиты и конструктивная критика приветствуются
Читать дальше →
Total votes 21: ↑21 and ↓0 +21
Comments 21

Как я стандартную библиотеку C++11 писал или почему boost такой страшный. Глава 3

Reading time 11 min
Views 11K
Abnormal programming *Perfect code *C++ *Compilers *Development for Linux *
Продолжаем приключения.

Краткое содержание предыдущих частей


Из-за ограничений на возможность использовать компиляторы C++ 11 и от безальтернативности boost'у возникло желание написать свою реализацию стандартной библиотеки C++ 11 поверх поставляемой с компилятором библиотеки C++ 98 / C++ 03.

Были реализованы static_assert, noexcept, countof, а так же, после рассмотрения всех нестандартных дефайнов и особенностей компиляторов, появилась информация о функциональности, которая поддерживается текущим компилятором. На этом описание core.h почти закончено, но оно было бы не полным без nullptr.

Ссылка на GitHub с результатом на сегодня для нетерпеливых и нечитателей:

Коммиты и конструктивная критика приветствуются

Итак, продолжим.
Читать дальше →
Total votes 33: ↑33 and ↓0 +33
Comments 21

Как я стандартную библиотеку C++11 писал или почему boost такой страшный. Глава 4.1

Reading time 6 min
Views 6.8K
Abnormal programming *Perfect code *C++ *Development for Linux *Development for Windows *
Продолжаем приключения.

Краткое содержание предыдущих частей


Из-за ограничений на возможность использовать компиляторы C++ 11 и от безальтернативности boost'у возникло желание написать свою реализацию стандартной библиотеки C++ 11 поверх поставляемой с компилятором библиотеки C++ 98 / C++ 03.

Были реализованы static_assert, noexcept, countof, а так же, после рассмотрения всех нестандартных дефайнов и особенностей компиляторов, появилась информация о функциональности, которая поддерживается текущим компилятором. Включена своя реализация nullptr, которая подбирается на этапе компиляции.

Настало время type_traits и всей этой «особой шаблонной магии».

Ссылка на GitHub с результатом на сегодня для нетерпеливых и нечитателей:

Коммиты и конструктивная критика приветствуются

Погрузимся же в мир «шаблонной магии» C++.
Читать дальше →
Total votes 15: ↑15 and ↓0 +15
Comments 1

Как я стандартную библиотеку C++11 писал или почему boost такой страшный. Глава 4.2

Reading time 11 min
Views 6.2K
Abnormal programming *Perfect code *C++ *Development for Linux *Development for Windows *
Продолжаем приключения.

Краткое содержание предыдущих частей


Из-за ограничений на возможность использовать компиляторы C++ 11 и от безальтернативности boost'у возникло желание написать свою реализацию стандартной библиотеки C++ 11 поверх поставляемой с компилятором библиотеки C++ 98 / C++ 03.

Были реализованы static_assert, noexcept, countof, а так же, после рассмотрения всех нестандартных дефайнов и особенностей компиляторов, появилась информация о функциональности, которая поддерживается текущим компилятором. Включена своя реализация nullptr, которая подбирается на этапе компиляции.

Настало время type_traits и всей этой «особой шаблонной магии». В первой части мы рассмотрели мою реализацию самых простых шаблонов стандартной библиотеки, теперь же заберемся «поглубже» в шаблоны.

Ссылка на GitHub с результатом на сегодня для нетерпеливых и нечитателей:

Коммиты и конструктивная критика приветствуются

Продолжение погружения в мир «шаблонной магии» C++.
Читать дальше →
Total votes 27: ↑27 and ↓0 +27
Comments 8

Как я стандартную библиотеку C++11 писал или почему boost такой страшный. Глава 4.3

Reading time 13 min
Views 5K
Abnormal programming *Open source *Perfect code *C++ *Development for Linux *
Продолжаем приключения.

Краткое содержание предыдущих частей


Из-за ограничений на возможность использовать компиляторы C++ 11 и от безальтернативности boost'у возникло желание написать свою реализацию стандартной библиотеки C++ 11 поверх поставляемой с компилятором библиотеки C++ 98 / C++ 03.

Были реализованы static_assert, noexcept, countof, а так же, после рассмотрения всех нестандартных дефайнов и особенностей компиляторов, появилась информация о функциональности, которая поддерживается текущим компилятором. Включена своя реализация nullptr, которая подбирается на этапе компиляции.

Настало время type_traits и всей этой «особой шаблонной магии». В предыдущих частях данной главы мы рассмотрели мою реализацию базовых шаблонов стандартной библиотеки и в данной части речь пойдет про комбинацию техники SFINAE с шаблонами и немного о кодогенерации.

Ссылка на GitHub с результатом на сегодня для нетерпеливых и нечитателей:
Коммиты и конструктивная критика приветствуются
Больше шаблонов C++ под катом.
Читать дальше →
Total votes 11: ↑10 and ↓1 +9
Comments 15

Как вредоносы обходят песочницы с помощью Visual Basic

Reading time 5 min
Views 9.8K
Ростелеком-Солар corporate blog Information Security *
Мы в JSOC CERT ежедневно сталкиваемся с событиями из разных песочниц, которые функционируют в составе AntiAPT-решений наших заказчиков и пропускают через себя тысячи файлов из web- и почтового трафика. Стоит отметить, что современные Sandbox-системы в своем развитии ушли намного дальше, чем простой перехват системных вызовов в Kernel Mode и API-функций в User Mode. Все чаще в них используются собственный гипервизор, система эмуляции пользовательской активности, динамическая инструментация, хэширование и кластеризация по участкам кода, анализ покрытия кода и т.д. Такое разнообразие технологий создает иллюзию, что если какой-то файл не отработал в песочнице и не показал свое «истинное лицо», то это наверняка APT или инновационная технология обнаружения виртуального окружения, о котором ИБ-сообществу еще не известно. Но…

Читать дальше →
Total votes 37: ↑37 and ↓0 +37
Comments 0

Loki — сбор логов, используя подход Prometheus

Reading time 7 min
Views 40K
OTUS corporate blog DevOps *Kubernetes *
Translation
Салют, хабровчане! В преддверии старта нового набора на курс «DevOps практики и инструменты» подготовили для вас перевод интересного материала.





Эта статья — краткое введение в Loki. Проект Loki поддерживается Grafana и направлен на централизованный сбор логов (с серверов или контейнеров).

Основным источником вдохновения для Loki был Prometheus с идеей применения его подходов к управлению логами:

  • использование меток (labels) для хранения данных
  • потребление малого количества ресурсов

Мы еще вернемся к принципам работы Prometheus и приведем несколько примеров его использования в контексте Kubernetes.

Несколько слов о Prometheus


Чтобы полностью понять, как работает Loki, важно сделать шаг назад и немного вспомнить Prometheus.

Одной из отличительных характеристик Prometheus является извлечение метрик из точек сбора (через экспортеры) и сохранение их в TSDB (Time Series Data Base, база данных временных рядов) с добавлением метаданных в виде меток.
Читать дальше →
Total votes 17: ↑15 and ↓2 +13
Comments 7

Мониторинг и логирование внешних сервисов в кластер Kubernetes

Reading time 3 min
Views 4.8K
DevOps *Kubernetes *
image

Доброго всем.

Я не нашел в сети обобщенного руководства по логированию и сбору метрик со сторонних сервисов в системы развернутые в Kubernetes. Публикую свое решение. Данная статья подразумевает, что у вас уже имеется рабочий Prometheus и другие службы. В качестве примера источника данных внешнего stateful-сервиса будет использоваться СУБД PostgreSQL в контейнере Docker. В компании используется пакетный менеджер Helm, ниже по тексту будут примеры на нем. Для всего решения мы готовим собственный чарт, включающий в себя вложенные чарты всех используемых сервисов.
Читать дальше →
Total votes 7: ↑1 and ↓6 -5
Comments 15

Monitoring and Logging external services in Kubernetes

Reading time 3 min
Views 2.7K
DevOps *Kubernetes *
image

Greetings to all!

As a matter of fact I haven't found so far any generalized guide on logging and monitoring of metrics from external systems to Kubernetes on the web. Here I want to share with you my own version. First of all it is supposed that you have already got working Prometheus and other services.

As an example I use third-party data for stateful service RDBMS PostgreSQL in a Docker container. In our company we also use the Helm package manager, and you'll find how it works below. You can see same examples in this article below. You can see same examples in this article below. For a complete solution we create a nested chart.
Read more →
Total votes 2: ↑2 and ↓0 +2
Comments 0

Собираем логи с Loki

Reading time 13 min
Views 78K
Badoo corporate blog Open source *System administration *DevOps *Kubernetes *


Мы в Badoo постоянно мониторим свежие технологии и оцениваем, стоит ли использовать их в нашей системе. Одним из таких исследований и хотим поделиться с сообществом. Оно посвящено Loki — системе агрегирования логов.


Loki — это решение для хранения и просмотра логов, также этот стек предоставляет гибкую систему для их анализа и отправки данных в Prometheus. В мае вышло очередное обновление, которое активно продвигают создатели. Нас заинтересовало, что умеет Loki, какие возможности предоставляет и в какой степени может выступать в качестве альтернативы ELK — стека, который мы используем сейчас.

Total votes 44: ↑44 and ↓0 +44
Comments 16

Логирование в Kubernetes: EFK против PLG

Reading time 6 min
Views 19K
Southbridge corporate blog System administration *Server Administration *DevOps *Kubernetes *
Translation


Мониторинг стал весьма важным компонентом растущих облачных решений с ростом сложности распределенных систем. Он необходим для понимания их поведения. Нужны масштабируемые инструменты, которые смогут собрать данные со всех сервисов — и предоставить специалистам единый интерфейс с анализом производительности, демонстрацией ошибок, доступностью и журналами.


Эти же инструменты должны быть эффективными и производительными. В этой статье мы рассмотрим два популярных стека технологий: EFK (Elasticsearch) и PLG (Loki) и разберём их архитектуры и различия.

Читать дальше →
Total votes 18: ↑13 and ↓5 +8
Comments 3

Ресерч свежего Excel документа с Loki malware внутри

Reading time 3 min
Views 7.1K
Information Security *
Sandbox

Вечер добрый, Хабр!

Решил немного изучить свежий сэмпл малваря LokiBot (31.08), который содержится в Excel документе и используется для фишинговой рассылки. В этой небольшой статье основное внимание уделено практической части поиска, извлечения и небольшого разбора поведения вредоноса. Надеюсь, что данная статья будет полезной с теоретической и практической точек зрения.

Читать далее
Total votes 20: ↑18 and ↓2 +16
Comments 14

Практическое руководство по реализации Observability в DevOps

Reading time 11 min
Views 7.9K
RUVDS.com corporate blog DevOps *Kubernetes *
Tutorial
Translation

В ходе этой статьи мы развернём следующий стек инструментов Observability (наблюдаемости) Grafana:


Приступим!
Читать дальше →
Total votes 49: ↑48 and ↓1 +47
Comments 4

Собираем логи веб-приложений в Kibana/Loki

Reading time 7 min
Views 3.9K
МТС corporate blog Website development *Open source *Development of mobile applications *Microservices *
Tutorial

Привет, Хабр! Меня зовут Евгений Лабутин, я разработчик в МТС Digital. Расскажу вам о том, как мы на нашем проекте МТС Твой бизнес собираем логи с клиентских веб‑приложений. А еще обсудим вспомогательный микросервис логирования, который мы вывели в Open source, и поговорим о том, как устроено логирование в принципе.

Читать далее
Total votes 4: ↑4 and ↓0 +4
Comments 11
1