Pull to refresh
0
0
Алексей @angel7

User

Send message

Собираем систему потоковой аналитики из логов приложений

Reading time21 min
Views8.3K

Приветствую, коллеги.

В этой статье хочу поделиться с вами опытом построения системы мониторинга бизнес показателей в режиме реального времени, которая построена на основе сбора логов.

Перед тем, как погрузиться в технические детали, немного расскажу о причинах построения системы с такой архитектурой.

Итак, представим, что у нас имеется некоторое количество приложений, которые изначально “не обучены” отдавать аналитику в режиме реального времени. Задача заключается в том, чтобы построить систему мониторинга бизнес-показателей с минимальным вмешательством в эти системы.

Существует множество способов решить эту задачу, и как водится, все они обладают своими достоинствами и недостатками. Основное достоинство описываемого способа заключается в очень простой реализации на стороне приложения (с которого есть необходимость получать аналитику). Но если бы мы сейчас разрабатывали все те приложения, которые нужно “научить” делиться аналитикой, то мы бы, наверное, их подружили с брокером сообщений типа Kafka или Rabbit, а внедрять в уже существующие приложения работу с брокером сообщений (особенно, если брокеры очередей сообщений не развернуты в компании) значительно сложнее, чем просто научить приложения писать свои показатели в лог.

Итак, рассмотрим подробно, как устроена предлагаемая система:

В основе системы лежат события, которые генерируют приложения. События сохраняются в лог (stdout, файл,..). Обработчик (сборщик) логов (в режиме реального времени) распознает в логах события приложений и отправляет их в хранилище (БД).

Читать далее
Total votes 8: ↑7 and ↓1+6
Comments2

Про космический мусор и другие вещи: истории космонавта

Reading time7 min
Views10K
image
Экипаж отлетает от гориллы, проникшей в американский сегмент МКС (на самом деле — нет, но это не фотошоп)

Орбитальная станция имеет микроатмосферу. Рядом скапливаются газы и частички от прилетающих кораблей, сама станция немного газит из различных сочленений и разъёмов. Но большинство частиц всё же образуется от прилетающих грузовых и пилотируемых кораблей.

Поэтому, например, иллюминаторы загрязняются снаружи, особенно от частиц топлива.

Соответственно, бортинженер «Союзов» ТМА-18 и ТМА-16М Михаил Борисович Корниенко как-то выходил в открытый космос протирать стёкла. Ну, то есть снимать плёнку с иллюминатора, потому что она ухудшала качество обзора.

МКС вообще постоянно уворачивается от разного рода мусора. На Земле есть станции слежения: если крупные куски мусора идут на расчётное сближение, то отреагировать на это можно за сутки.

В плоскости орбиты каждый более-менее крупный объект опознан, поэтому нужно его отследить, рассчитать положение и траекторию, и если она проходит в опасной близости от станции, то включить двигатели и подняться выше: песчинка на скорости 10 километров в секунду может оставить трещину на иллюминаторе.

Самый неприятный случай: однажды американская служба слежения слишком поздно передала, что возможно пересечение с отработанным спутником. Перекрёстные скорости составляли 14 километров в секунду.
Читать дальше →
Total votes 77: ↑73 and ↓4+69
Comments38

Различия между Docker, containerd, CRI-O и runc

Reading time5 min
Views69K

Появление Docker привело к взрывному росту популярности контейнеров, но с тех пор появились и другие инструменты. К сожалению, разобраться в них может быть совсем непросто. Но мы попробуем! И если вы считаете себя единственным, кто всего этого пока не понимает, не волнуйтесь... Это не так!

Читать далее
Total votes 47: ↑47 and ↓0+47
Comments4

Как выучить английский язык самостоятельно. Шотландские наркоманы, провальные собеседования, подкасты и греки

Reading time20 min
Views59K

Тема изучения английского вызывает недоумение. С одной стороны, действенные рецепты крайне просты и доступны каждому. С другой стороны, информационное поле до отказа набито стереотипами, мнениями, обещаниями и другими видами шума. По удаленности этих сторон друг от друга она может сравниться, наверное, только с темой похудения (хотя науке решение этой проблемы прекрасно известно).

Когда-то давно я вышел из школы, так же как и большинство соотечественников, совершенно не зная английский. Сейчас я свободно им владею, постоянно пользуюсь и это сильно помогло мне в жизни. Дорога между этими двумя точками была совсем не оптимальной, так же как дорога многих людей вокруг меня. Поэтому хочу поделиться своим разнообразным опытом изучения английского, опытом моих знакомых, за которыми я наблюдал последние 15 лет, а также дать простые рекомендации и инструменты для начинающих и продолжающих.

Читать далее
Total votes 37: ↑34 and ↓3+31
Comments35

Загрузка Linux с VHD на компьютере с BIOS

Reading time7 min
Views20K

Загрузка Linux с VHD может пригодиться в различных сценариях, например, когда на компьютере установлена Windows и есть необходимость в Linux, но WSL или виртуальной машины с Linux недостаточно, а разбивать диск на разделы нет желания. Microsoft позволяет грузить Windows с VHD «из коробки» начиная со старших редакций Windows 7. Но что делать, если возникла необходимость загрузить таким способом Linux?

Читать далее
Total votes 77: ↑77 and ↓0+77
Comments11

Полное практическое руководство по Docker: с нуля до кластера на AWS

Reading time39 min
Views1.6M



Содержание



Вопросы и ответы


Что такое Докер?


Определение Докера в Википедии звучит так:


программное обеспечение для автоматизации развёртывания и управления приложениями в среде виртуализации на уровне операционной системы; позволяет «упаковать» приложение со всем его окружением и зависимостями в контейнер, а также предоставляет среду по управлению контейнерами.



Ого! Как много информации.

Читать дальше →
Total votes 125: ↑124 and ↓1+123
Comments44

VDI: Дешево и сердито

Reading time5 min
Views31K


Добрый день уважаемы Хабровчане, друзья и знакомые. В качестве предисловия хочу рассказать о реализации одного интересного проекта или как сейчас модно выражаться, одного интересного кейса касаемо развертывания VDI инфраструктуры. Казалось, статей по VDI много, тут есть и step-by-step, и сравнение прямых конкурентов и опять step-by-step и опять сравнение конкурентных решений. Казалось, что можно предложить нового?

А нового, чего нету у многих статей, это описание экономического эффекта от внедрения, расчета стоимости владения выбранного решения и что ещё интереснее — сравнение стоимости владения с аналогичными решениями. В данном случае исходя из названия статьи ключевое слово дёшево: что это значит? У одного моего коллеги, знакомо и друга в начале года была задача реализовать VDI с минимальным количеством “окон”, а именно бесплатный гипервизор, Linux рабочий стол, бесплатная БД и прочие способы минимизации затрат с нашим «любимым» Microsoft.
Читать дальше →
Total votes 8: ↑7 and ↓1+6
Comments9

Одобрения обновлений WSUS: импорт, экспорт, копирование

Reading time11 min
Views45K

Предыстория


До недавнего времени я работал эникейщиком в крупной российской компании, имеющей множество офисов по всей стране. В моём ведении были одиннадцать площадок, находящихся в разных городах Дальнего востока (это важно). В каждом из этих офисов была своя, не связанная с другими, сетевая инфраструктура — свой домен AD, своя подсеть и т.д.

Однажды руководство поставило мне задачу организовать процесс автоматического обновления ОС и программ от MS и разрешило развернуть на подотчётных площадках WSUS.

Проблема


После того, как WSUS был развернут, политики привязки компьютеров к группам WSUS настроены, синхронизация каталогов содержимого с серверами MS проведена и т.п., возник вопрос: а кто же, и, главное, как, будет одобрять обновления?

Представьте себе: 11 городов, связь с которыми настолько «быстра» и «стабильна», что редкие минуты, когда задержки ICMP-ответов составляют всего 800 мс, воспринимаются, как неслыханное везение. И в каждом необходимо проводить тестирование всех обновлений перед развертыванием. При этом доступ к серверам на площадках был только по RDP, т.е. нужно было еженедельно (распоряжение устанавливало именно такую периодичность) подключаться к серверу каждого города и вручную одобрять использование новых обновлений в тестовых группах и, соответственно, переводить испытанные обновления в промышленную эксплуатацию:
image

Читать дальше →
Total votes 25: ↑18 and ↓7+11
Comments15

Древности: современный компьютер из старых запчастей

Reading time10 min
Views63K
В какой момент электроника становится винтажной? Когда в ней пропадает всякий практический смысл, как например сейчас нет смысла в карманном компьютере начала двухтысячных? Когда популярная в свое время железка становится редкостью? Когда большинство людей забыло, как это настраивается и работает, как произошло с модемами?


В моем случае ответ простой: ничто в этом мире не вечно. Собрать информацию об умеренно старой компьютерной технике в тот момент, когда данные легко доступны, и сам еще многое помнишь, проще, чем лет через двадцать копаться в веб-архиве, пытаясь хоть что-то найти. В 2009 году в честь очередного переезда я продал свой последний настольный компьютер, и с тех пор пользовался только ноутбуками. В 2019 году я вновь построил домашний ПК, загрузив сейв десятилетней давности. Старые комплектующие достаточно подешевели, чтобы можно было поэкспериментировать без серьезного финансового риска. Но они еще не до конца устарели, и кажется первый и последний раз я собираю относительно старое железо для повседневных задач. Есть ли в этом смысл? Сейчас расскажу.
Читать дальше →
Total votes 82: ↑76 and ↓6+70
Comments176

Морти, мы в UltraHD! Как посмотреть любой фильм в 4K, дорисовав его через малоизвестную нейросеть

Reading time3 min
Views114K
Наверное, вы слышали про технологию Яндекса DeepHD, с помощью которой они как-то раз улучшили качество советских мультфильмов. Увы, в публичном доступе ее еще нет, а у нас, рядовых программистов, вряд ли найдутся силы написать свое решение. Но лично мне, как обладателю Retina-дисплея (2880х1800), недавно очень захотелось посмотреть «Рика и Морти». Какого же было мое разочарование, когда я увидел, как мыльно на этом экране выглядит 1080р, в котором существуют оригиналы этого мультсериала! (это прекрасное качество и обычно его вполне достаточно, но поверьте, ретина так устроена, что анимация с ее четкими линиями в 1080р выглядит мыльновато, словно 480р на FHD-мониторе)

Я твердо решил, что хочу увидеть этот мультсериал в 4К, хотя и совершенно не умею писать нейросети. Однако решение было найдено! Любопытно, что нам даже не придется писать код, понадобится лишь ~100 ГБ места на диске и немного терпения. А результат — четкое изображение в 4К, которые выглядит достойнее, чем любая интерполяция.

image
Читать дальше →
Total votes 222: ↑218 and ↓4+214
Comments187

«Спасти» старый софт — три проекта, которые делают это

Reading time4 min
Views15K
Еще в 2014 году Microsoft передала код MS-DOS 1.25 и 2.0 Музею компьютерной истории, а в начале октября этого года этот код был загружен на GitHub. Но не только Microsoft занимается сохранением исторического программного наследия. Есть несколько глобальных проектов, цель которых — сохранить старый софт. О них мы и расскажем в сегодняшнем материале.

Читать дальше →
Total votes 34: ↑32 and ↓2+30
Comments10

Малоизвестные Git-команды

Reading time4 min
Views73K


У Git есть строгие обязательства по обратной совместимости: многие продвинутые возможности скрыты за разнообразными опциями, а не применяются как поведение по умолчанию. К счастью, Git также поддерживает и алиасы, так что вы можете создавать свои собственные команды, которые делают всю характерную для Git магию. Под катом — подборка полезных (или как минимум забавных) алиасов, определённых в моём .gitconfig.
Читать дальше →
Total votes 188: ↑162 and ↓26+136
Comments43

Экономим на RAID-контроллере, или как накормить Варю иопсами

Reading time6 min
Views19K
В наш век облачных сервисов, AWS Lambda и прочих шаред хостингов абсолютно неосязаемых вычислительных ресурсов иногда хочется немножко своего. Кроме желания, иногда бывают и потребности вдумчиво покрутить тот или иной программный продукт с минимальными затратами на платформу. Найти какие-то излишки матчасти можно почти всегда, иногда даже получается собрать всё вместе и включить. Если излишки эти представляют собой CPU хотя бы на 4-6 ядер и памяти от 64ГБ — вообще отлично, можно брать ESXi и работать с чем угодно. Одна проблема: с дисковой ёмкостью на бытовом железе у VMWare — совсем никак. Производительность локальных одиночных HDD невысокая, а уж утратить содержимое отдельно взятого, сферического в вакууме винта в 21м веке — это как здрасьте. Попробуем подключить что-нибудь по сети.

TL;DR> объединение, балансировка, rr limit, вот это вот всё.
Читать дальше →
Total votes 21: ↑19 and ↓2+17
Comments56

Основы повышения привилегий в Windows

Reading time10 min
Views47K
Решил для себя и для тех, кому будет полезно, собрать все что знаю, но не помню по теме, в этой статье. Делитесь советами. Основным источником этой статьи является эта.

Я вольно перевел и добавил немного от себя, того, что насобирал и узнал из других источников.

В общем, тут представлены способы, которые помогут нам достигнуть цели повышения привилегий.
Читать дальше →
Total votes 19: ↑18 and ↓1+17
Comments13

Управляем Windows Server (Core) с помощью веб-интерфейса Project Honolulu от Microsoft

Reading time7 min
Views39K
Совсем недавно Microsoft выпустила WebUI для управления Windows Server. Мы поставили его и хотим поделиться впечатлениями.

В этой статье мы рассказали и показали:

  • как развернуть Honolulu на Windows Server Core и сделать доступным управление серверным парком через браузер;
  • как подключить другие серверы для управления (даже без AD) по виртуальной локальной сети облака (таким же образом можно подключить серверы в локальной сети вашего предприятия к центру управления в облаке, соединив ее по Site-To-Site VPN);
  • какие возможности Honolulu доступны уже сейчас и актуальны при использовании в облаке.


Читать дальше →
Total votes 18: ↑18 and ↓0+18
Comments24

Лабораторная работа: введение в Docker с нуля. Ваш первый микросервис

Reading time26 min
Views337K
Привет, хабрапользователь! Сегодня я попробую представить тебе очередную статью о докере. Зачем я это делаю, если таких статей уже множество? Ответов здесь несколько. Во-первых не все они описывают то, что мне самому бы очень пригодилось в самом начале моего пути изучения докера. Во-вторых хотелось бы дать людям к теории немного практики прямо по этой теории. Одна из немаловажных причин — уложить весь накопленный за этот недолгий период изучения докера опыт (я работаю с ним чуть более полугода) в какой-то сформированный формат, до конца разложив для себя все по-полочкам. Ну и в конце-концов излить душу, описывая некоторые грабли на которые я уже наступил (дать советы о них) и вилы, решение которых в докере просто не предусмотрено из коробки и о проблемах которых стоило бы задуматься на этапе когда вас распирает от острого желания перевести весь мир вокруг себя в контейнеры до осознавания что не для всех вещей эта технология годна.

Что мы будем рассматривать в данной статье?

В Части 0 (теоретической) я расскажу вам о контейнерах, что это и с чем едят
В Частях 1-5 будет теория и практическое задание, где мы напишем микросервис на python, работающий с очередью rabbitmq.
В Части 6 — послесловие
Читать дальше →
Total votes 108: ↑107 and ↓1+106
Comments36

Hyper-V — дитя маркетинга или реальная альтернатива?

Reading time11 min
Views56K
Привет, Хабр! Сейчас я задам вам вопрос, а вы задумайтесь: Что, очень популярное и когда-то вызывавшее трепет лично у вас, сегодня вспоминается только для «поностальгировать»? Наверняка, кто-то вспомнит Dendy или Super Nintendo, а некоторые свой пейджер. Так вот, к чему это я… Есть выражение «ничто не вечно». В сегодняшней статье рассмотрим, действительно ли это так в сфере разработки и стоит отказываться от VMWare в пользу Hyper-V в вопросе виртуализации? А также затронем плюсы обеих платформ и процесс перехода с одной на другую. Заглядывайте под кат!

Читать дальше →
Total votes 24: ↑18 and ↓6+12
Comments109

Шпаргалка с командами Docker

Reading time5 min
Views654K
Прим. перев.: Неделю назад Aymen El Amri, руководящий компанией eralabs и создавший обучающий курс «Безболезненный Docker», опубликовал свой Docker Cheat Sheet — шпаргалку по основным командам Docker. Git-репозиторий этого документа на GitHub уже набрал 1000+ stars и несколько сторонних контрибьюторов, что подтвердило его актуальность и пользу.



Представленные здесь команды описаны минимально (с акцентом на читаемость как есть) и включают в себя установку Docker, работу с реестрами и репозиториями, контейнерами, образами, сетью, Docker Swarm. Ниже представлен перевод шпаргалки в её состоянии на 2 сентября с дополнениями из комментариев ниже.
Читать дальше →
Total votes 46: ↑42 and ↓4+38
Comments15

Автономный способ обхода DPI и эффективный способ обхода блокировок сайтов по IP-адресу

Reading time7 min
Views700K
Провайдеры Российской Федерации, в большинстве своем, применяют системы глубокого анализа трафика (DPI, Deep Packet Inspection) для блокировки сайтов, внесенных в реестр запрещенных. Не существует единого стандарта на DPI, есть большое количество реализации от разных поставщиков DPI-решений, отличающихся по типу подключения и типу работы.

Существует два распространенных типа подключения DPI: пассивный и активный.

Пассивный DPI

Пассивный DPI — DPI, подключенный в провайдерскую сеть параллельно (не в разрез) либо через пассивный оптический сплиттер, либо с использованием зеркалирования исходящего от пользователей трафика. Такое подключение не замедляет скорость работы сети провайдера в случае недостаточной производительности DPI, из-за чего применяется у крупных провайдеров. DPI с таким типом подключения технически может только выявлять попытку запроса запрещенного контента, но не пресекать ее. Чтобы обойти это ограничение и заблокировать доступ на запрещенный сайт, DPI отправляет пользователю, запрашивающему заблокированный URL, специально сформированный HTTP-пакет с перенаправлением на страницу-заглушку провайдера, словно такой ответ прислал сам запрашиваемый ресурс (подделывается IP-адрес отправителя и TCP sequence). Из-за того, что DPI физически расположен ближе к пользователю, чем запрашиваемый сайт, подделанный ответ доходит до устройства пользователя быстрее, чем настоящий ответ от сайта.
Читать дальше →
Total votes 212: ↑212 and ↓0+212
Comments352

Information

Rating
Does not participate
Location
Россия
Date of birth
Registered
Activity