Обновить
27
1.8

Mission Critical

Отправить сообщение

Мониторинг в Apache NiFi. Часть первая

Время на прочтение20 мин
Количество просмотров9.5K

Apache NiFi динамично развивается и на сегодняшний день обладает достаточно большим набором возможностей, позволяющим отслеживать состояние потоков данных, ошибки и предупреждения, возникающие в процессорах и на кластере, а также состояние кластера.

Первая статья посвящена мониторингу потоков данных с помощью инструмента GUI NiFi. В последующих материалах мы рассмотрим задачи отчетности, опишем примеры сбора метрик и визуализации при помощи таких популярных систем, как Prometheus и Grafana.

Читать далее

Для чего вам нужен Terraform? Статья и обучающее видео

Время на прочтение5 мин
Количество просмотров30K

Всем большой привет. Меня зовут Виктор, и я DevOps-инженер в команде Nixys. Мы решили выложить обучающее видео, которое будет полезно новичкам в мире DevOps. Тема сегодняшнего туториала - “Знакомство с Terraform”. Также под ссылкой на видео мы поделимся наиболее важными, на наш взгляд, преимуществами этого инструмента.

Читать далее

Верните мне мой 2013: Обзор китайского смартфона за три банки пива, с закупочной ценой 800 рублей(!)

Время на прочтение6 мин
Количество просмотров13K

Расписание статей немного пошло не по плану. Следующим делом я хотел показать вам, как можно использовать китайскую копию iPhone 4S на android в 2022 году. Сегодня пойдет речь о чуть другом девайсе, который я увидел в архивах барахолки своего города. Особенно этих девайсов была в закупочной цене - 800 рублей за новый девайс в коробке, с комплектом(зарядка, кабель, наушники иногда) и в пленках! Когда-то подобные смартфоны наводнили мобильный рынок регионов, а официальные аппараты(например Fly) продавались и в связном/евросети. Если интересно, можно ли пользоваться таким в 2022 - добро пожаловать в статью!

Читать далее

Кейс по внедрению методики расчета ИТ-услуг для защиты бюджета

Время на прочтение6 мин
Количество просмотров2.9K

CIO нужно начинать думать как CFO, иначе он не сможет договориться с бизнесом!

Сложные взаимоотношения между айтишкой и бизнесом — распространенная история в компаниях. Часто при защите бюджета CIO слышат: «У нас нет денег, уменьшите свои хотелки!» И одна из причин отказа — обоснования бюджета, основанные на феерических идеях айтишников, а не на фактах и расчетах. Бизнес готов «раскошелиться» только в том случае, если ему предоставлены конкретные цифры.

Ниже кейс о том, как айтишке рассчитывать стоимость услуг, зачем это делать и чем такой подход может помочь при защите бюджета.

Читать далее

Немного хардкора: как поднять Kubernetes на двух старых ноутбуках с Gentoo

Время на прочтение14 мин
Количество просмотров11K

Хочу рассказать об интересном эксперименте, суть которого заключалась в развертывании и настройке Kubernetes на двух старых ноутбуках — один из них, кроме того, был с процессором на архитектуре i386. В качестве теоретической основы использовалось руководство Kubernetes The Hard Way, которое по ходу дела пришлось немного доработать, а в качестве системы на хостах — Gentoo (да, вам не показалось). Давайте погрузимся в этот увлекательный хардкор!

Читать далее

Наглядное руководство по SSH-туннелям

Время на прочтение8 мин
Количество просмотров224K

Прим. переводчика: автор статьи рассматривает практические сценарии и примеры организации SSH-туннелей. А для лучшего понимания того, как это работает, графически показывает потоки трафика.

Туннели SSH — это зашифрованные TCP-соединения между клиентами и серверами SSH. Трафик входит с одной стороны туннеля и прозрачно выходит с другой. Изначально этот термин относился к туннелям на виртуальных сетевых интерфейсах TUN/TAP, однако сейчас так обычно называют проброс портов SSH.

Читать далее

Как проверяют физических лиц в СБ компаний методом OSINT

Время на прочтение6 мин
Количество просмотров30K

Чтобы обезопасить себя от влияния «человеческого фактора» и снизить любые риски, связанные с потерей денег или репутации службы безопасности компаний прибегают к различным методам. Как ни крути, а это их прямая обязанность.

Если в компанию, скажем, придёт человек, который на прошлом месте работы занимался махинациями, щедро делился конфиденциальной информацией с конкурентами или даже воровал, то это может больно ударить по бизнесу. Часто бывает, что сотрудник может быть связан с употреблением наркотиков или имеет проблемные задолженности.

Давайте разберемся каким образом СБ компании выполняет проверку, на наличие указанных рисков со стороны будущих сотрудников.

DISCLAIMER: Данная статья написана в ознакомительных целях и не является руководством к неправомерным действиям или обучающим материалом для сокрытия правонарушений.

Читать далее

Как я нахожу парковочное место за 5 секунд

Время на прочтение5 мин
Количество просмотров118K

Большой размер придомовой парковки не гарантирует, что вы легко и быстро найдете парковочное место, а чаще даже наоборот, при заезде на парковку может начаться приступ депрессии от того, что объехал парковку, потратил время, но в итоге место не нашёл. Как можно добавить в жизни чуть-чуть больше определённости, я опишу ниже.

Читать далее

Перекатываемся в Райффайзен из Тинькофф…

Время на прочтение12 мин
Количество просмотров53K

Со времени моего рассказа об опыте использования экосистемы Тинькофф прошло едва ли больше года, а кажется, что целая жизнь...

Но экономическая ситуация изменилась и оставаться валютным ИП в этом банке становится финансово невыгодно. И куда же податься валютному фрилансеру, как не в крутой австрийский банк? Они ведь наверняка приготовились к наплыву беженцев, да?

Попробовать Райф на чужой шкуре

Разбираемся в Apache Kafka: подборка полезных статей и кейсов

Время на прочтение3 мин
Количество просмотров17K

Разрабатываете приложения с применением Apache Kafka? Мы собрали для вас статьи, которые помогут освоить инструмент, познакомят с рабочими кейсами с использованием ПО. Делимся пользой и свежими идеями, подборками книг и реализованными задумками.

Читать далее

Обзор rotoro cloud — платформа для обучения и практики devops, kubernetes, IaC

Время на прочтение2 мин
Количество просмотров9.4K

В настоящее время активно развивается IT рынок обучающих курсов.


В курсах вам даются видео лекции где довольно много времени уходит впустую, а домашнее задание довольно долго проверяется людьми.
В случае больших заданий это оправдано, но если ты учишься в удобное тебе время и небольшими инкрементальными приращениями, ожидание проверки выполненного задания трата времени впустую. Поэтому на роторо имеются автопроверки.
Ручные проверки оправданы в случае обучения на очных либо курируемых длительных курсах, но при обучении с самостоятельно выбранными темпом и временем ожидание проверки выполненного задания куратором может излишне затянуть переход к следующему этапу. Автопроверки же решают эту проблему на корню.


Предлагаю посмотреть в сторону обучающей платформы rotoro cloud, где видео короткие и по теме, а задания проверяются в автоматическом режиме. Курсы на платформе на русском языке. После прохождения каждого курса выдается сертификат.


rotoro cloud — платформа для обучения и практики по направлениям DevOps, Контейнеры и Kubernetes, Инфраструктура в виде кода (IaC) и Облака.

Читать дальше →

То ли я не умею собирать информацию и заметки на десктопе, то ли с таким софтом под Windows всё очень плохо

Время на прочтение4 мин
Количество просмотров27K

За минувшие лет десять моя субъективная картина ситуации с заметочниками и PIM'ами (приложениями—персональными менеджерами информации) под Windows напоминает избитый анекдот:

> Я стою на асфальте, ноги в лыжи обуты. То ли лыжи не едут, то ли я стебанутый [сумасшедший].

В 2022-м на ПК не осталось, кажется, нормального заметочника кроме CintaNotes (и тот не без изъянов, и нет, это не реклама — программа уже несколько лет застопорилась в развитии, а даже альфа-превью новой ветки 4.хх никак не опубликуется разработчиком), который удовлетворял бы простейшим критериям...

Читать далее

Самые интересные нейросети открытого доступа

Время на прочтение7 мин
Количество просмотров282K

К началу 2020-х годов нейросети успели с переднего края научных разработок проникнуть в сферу общедоступных интернет-развлечений. В наши дни каждый может поэкспериментировать с генерацией текстов или изображений, сгенерировать фотореалистичного человека или кота, превратить набросок качества paint — во вполне сносный пейзаж, и всё такое прочее. И в некоторых случаях даже без регистрации и СМС (ну или почти без оных).
Читать дальше →

Микроконтроллеры по 5 рублей. Программируем микросхемы PADAUK

Время на прочтение16 мин
Количество просмотров61K

Впервые известие о том, что фирма PADAUK Tech продаёт микроконтроллеры по три цента появилось в 2018 году. Эта новость вызвала интерес и обсуждение на форумах, а затем благополучно была забыта (по крайней мере в русскоязычном комьюнити).

В статье расскажу о своём опыте освоения микроконтроллеров PADAUK. Кратко рассмотрим особенности архитектуры, средствах разработки и отладки, посмотрим что нужно учесть перед тем как использовать эти микросхемы в своих проектах. Протестируем микроконтроллер PFC161 на отладочной плате.

Читать далее

Как собрать платформу обработки данных «своими руками»?

Время на прочтение5 мин
Количество просмотров13K


Большое количество российских компаний столкнулись с ограничениями в области ПО. Они теперь не имеют возможности использовать многие важные инструменты для работы с данными. Но, как говорится, одна дверь закрылась — другая открылась. Альтернатива зарубежным решениям есть: платформу обработки данных можно создать своими силами. Расскажем, как мы в ITSumma это сделали, какие компоненты использовали, с какими ограничениями столкнулись и зачем вообще всё это нужно.

Предыстория (очень короткая)


Один заказчик, который заинтересовался нашими компетенциям в построении инфраструктур, предложил крупный интеграционный проект. Архитекторы клиента придумали сложную и большую платформу, которая включала в себя машинное обучение, обработку данных и управлялась с помощью Kubernetes. Нам поставили задачу реализовать проект платформы, настроить связность элементов, построить и запустить инфраструктуру в эксплуатацию.

В итоге всё прошло хорошо и заказчик доволен. А у нас возникла идея скомпоновать свою платформу — такую, чтобы она была доступной не только большому бизнесу, но и компаниям среднего и малого масштаба. То есть сделать так, чтобы можно было получать большие возможности и не платить при этом огромные деньги.
Читать дальше →

Парсинг сайтов судов общей юрисдикции в России

Время на прочтение10 мин
Количество просмотров13K

История о том, как выявлять новые иски к клиенту.

Решил заменить ручной труд по конкретной задаче программой. Смотри, что из этого вышло.

Погнали

Проектирование ETL-пайплайна в Apache Airflow

Время на прочтение9 мин
Количество просмотров6.8K

Привет, Хабр! На связи Рустем, IBM Senior DevOps Engineer и сегодня я хотел бы продолжить наше знакомство с инструментом в DataOps инженирии — Apache Airflow. Сегодня мы спроектируем ETL-пайплайн.

Читать далее

Использование утилиты tar по сети через SSH

Время на прочтение4 мин
Количество просмотров20K

GNU-версию утилиты архивирования tar, равно как и её старые версии, можно использовать через сетевое подключение по протоколу ssh. От telnet/nc стоит отказаться, так как они не гарантируют безопасность соединения. Создавать архивы можно с помощью каналов (pipe) Unix/Linux, и ниже я продемонстрирую ряд примеров использования tar по ssh для архивирования в Linux, BSD/macOS или Unix-подобных системах.
Читать дальше →

Архитектура архитектуры архитектора

Время на прочтение6 мин
Количество просмотров23K

Архитектор – это звучит… Звучит как-то не понятно. Наверное, поэтому всегда добавляют что-то. Ну типа «системный архитектор» или там «программный архитектор». Не то чтоб так стало понятно, что он делает, но точно кто-то важный. Я вообще пишу «архитектор информационных систем и программного обеспечения». Это ж как назовёшься -так и поплывешь! С архитекторами тут вообще такое дело – это как бы и не профессия. Ведь архитектором как стать? Либо тебя назовут таковым, либо сам назовёшься. Другого пути нет. Ни школы, ни спец. образования, никаких то там универсальных сертификатов нету. Только название и есть.

А раз оно есть – значит зачем-нибудь нужно! А нужно чтоб как-то указать на необходимость главного элемента мозаики – архитектуры. А раз нужен элемент, то за него, конечно, должен кто-то да отвечать. А раз должен, то вот и появляется такая должность.

Появляется, кстати, не всегда и не везде. Ведь не в каждой луже можно встретить кораблик. В самых больших - есть шанс. В такие лужи обычно и заплывают корабли из стартрека. Enterprise. Что же ищут эти корабли в корпоративных болотах? Чтоб вода не иссыхала, ветер только попутный и кругом гавани с блекджеком… Проще говоря им нужен сервис на много лет и так, чтоб исполнялись все их капризы за обещанные деньги.

Чтоб избежать проверенного классического сценария «много, дорого, бестолково» нужны ориентиры. Пунктир намеченного пути на карте требований и функционала. Это не красота и элегантность рисунков Леонардо, и не лабиринты цвета Поллока. Архитектура вообще не про искусство. Нет, все любят, когда красиво. Вот я бы строил дом, тоже бы хотел не бетонную коробку, а чтоб в вечность. Но у вечности, однако свои расценки. Так что даже Джи-мэн с кейсом полным золота хочет хайп и тренды, но строго в бюджет. Архитектура даёт парадигму.

Читать дальше и дальше

Проектирование Data Pipelines в Apache Airflow

Время на прочтение7 мин
Количество просмотров7.9K

Сегодня я хотел бы познакомить вас с важным инструментом в методологии DataOps, а именно Apache Airflow и проектирование Data Pipelines (Конвейеры данных).

Эта статья будет посвящена краткому введению в Airflow и шагов по созданию и настройке конвейеров данных (Data Pipelines). Сначала мы установим и сконфигурируем Airflow. Затем рассмотрим практический пример создания и запуска DAG в Airflow. Сегодняшней нашей целью является практическое понимание развертывания Airflow и базовой разработки DAG.

Читать далее

Информация

В рейтинге
1 475-й
Зарегистрирован
Активность