Search
Write a publication
Pull to refresh
-30
@Alex500ISread⁠-⁠only

User

Send message

Что в глубинах Data Lake? Строим архитектуру, укладываем слои, распределяем ответственность

Reading time8 min
Views22K
Привет, Хабр! Меня зовут Григорий Коваль, я технический руководитель Core Data Lake центра Big Data МТС. Сегодня я расскажу о том, какие слои находятся внутри Data Lake, как построить архитектуру базы данных и чем распределенный Data Mesh-подход отличается от монолитного хранения данных.



Для создания Data Lake нужен итерационный подход – agile и все, что с этим связано. Еще необходимо правильно организовать работу команд, синхронизировать их распределить ответственность между участниками. Тогда получится прямая связь между пользователями и людьми, которые развивают витрины данных или домены. В этой статье поговорим о задачах, архитектуре и проблемах развития Data lake, а также обсудим способы решения возникающих проблем, специфику процессов и перспективы развития.
Читать дальше →

Укрощаем одноглазого змея. Разбираемся с WireGuard и делаем свой умный VPN

Reading time29 min
Views412K

Забавная ситуация: сайтов и сервисов, доступных только через VPN, все больше, но при этом многие российские компании закрывают доступ из-за границы. В результате приходится целыми днями теребить ползунки «вкл-выкл», что утомительно. Я расскажу, как с помощью магии маршрутов и WireGuard, решить эту проблему и сделать «умный» VPN, который не надо отключать.


Если ты пользуешься VPN, то и сам наверняка сталкиваешься с блокировками зарубежного трафика. К примеру, могут не открываться pochta.ru, leroymerlin.ru, rt.ru, avito.ru.


Получается мем.



Каждый с этим борется как может. Например, на устройствах Apple родными средствами можно настроить автоматизацию, которая будет запускать VPN, когда открываешь определенные приложения (например, Twitter), а когда выходишь из них — выключать обратно. Но это костыль, а хочется все сделать красиво, да еще и прокачать навык работы с сетью.


Поэтому мы сейчас попробуем «включать VPN чуть-чуть».

Читать дальше →

Отвечаю на вопросы про экономический эффект машинного планирования на уральских цехах

Level of difficultyEasy
Reading time4 min
Views3.6K

Недавно я тут писала о системе календарного планирования для завода НЛМК в Калуге. В комментариях было много вопросов об эффектах этого решения и о том, кто в итоге лучше справлялся с планированием: система или может быть рабочий с 20-летним опытом. Этот пост своего рода развернутый ответ вопросы и комментарии.

Кому интересно узнать, какую экономию дает «машинное» планирование на примере прокатного цеха НЛМК-Урал, прошу под кат.

Читать далее

Backup and Restore — виртуальные машины в облаках/хостингах

Level of difficultyMedium
Reading time6 min
Views12K

Постановка задачи — есть виртуальная машина в облаке — мы хотим решить две задачи:

1. Резервировать ее по расписанию на наш сервер(а), находящиеся под нашим полным контролем.

2. Иметь возможность в любой момент сконвертировать нужную версию из резервной копии в виртуальную машину (в любом формате) и запустить ее на нашем оборудовании (т. е. приземлить виртуальную машину из облака на грешную...).

И так, поехали!

Читать далее

Мониторинг пользователей OpenVPN с помощью Zabbix и визуализации в Grafana

Level of difficultyHard
Reading time32 min
Views9.5K

Всем привет. Меня зовут Игорь, я Tech Lead команды DevOps-инженеров и активно развиваю направления мониторинга в компании. В продолжение статьи своего коллеги по цеху @EvgenNet хочу познакомить вас с шаблоном для Zabbix и дашбордом в Grafana для визуализации активности пользователей OpenVPN. Возьмите вкусняшек, чайку и присаживайтесь поудобнее.

Читать далее

Будь всегда в курсе: мониторим сертификаты с помощью Prometheus и Telegram

Level of difficultyEasy
Reading time7 min
Views16K

Почему важно следить за сертификатами: сертификаты – это канал доверия между вашими системами и пользователями. Если канал рушится, доверие пропадает. И это может привести к невиданным техническим и, что еще хуже, бизнес-проблемам.

Поэтому, поговорим о том, как сохранить репутацию, удержать клиентов и обезопасить свой бизнес от неожиданных "сюрпризов" с помощью мониторинга.

Читать далее

Настройка авторизации через ssl сертификат на уровне nginx

Level of difficultyMedium
Reading time5 min
Views16K

Привет уважаемые, хабровчане!

Иногда возникает потребность выдать доступ пользователям только к одному веб ресурсу в компании. Самый очевидный вариант сделать это через урезанный VPN, но тут возникают препятствия в виде девайсов, с которых подключаются пользователи, и качество интернета, которым они пользуются. OpenVPN, который мы пробовали использовать для этих целей, не дал желаемого результата, подключение было медленным и нестабильным. Поэтому было найдено альтернативное решение.

Читать далее

Как оптимизирован завод: вопросы оптимальной загрузки и «иридиевых чапельников»

Level of difficultyEasy
Reading time9 min
Views7K
image
Наш прокатный стан

И снова привет из глубин металлургического комбината! В прошлый раз я рассказывал, откуда завод знает, что производить и когда. Мы эту задачу выводили на более-менее понятную математическую модель не один год и будем рефакторить и оптимизировать отдельные участки всю оставшуюся жизнь, поскольку точки роста есть всегда.

Сегодня речь пойдёт про графикователи производства — системы, лежащие ниже уровнем, чем календарное планирование. Они берут обещания отгрузок по датам и в перспективе ближайших нескольких дней строят оптимальную загрузку каждого агрегата по единицам продукции.

Итак, к нам пришёл заказ, пускай условно это будет сталь Ивановского машиностроительного завода. Дальше мы планируем производство: в диапазоне нескольких недель работает система календарного планирования (стратегическое планирование), а в диапазоне двух-трёх дней работают графикователи (тактический уровень) – они разбирают заказы на серии работ, чтобы оптимизировать производство.
Читать дальше →

Сравнительный обзор VPN клиент-серверных приложений

Reading time6 min
Views62K

Каждый, кто задумывался о своем VPN сервере, задавался вопросами, а какие VPN сервисы существуют, что выбрать и, самое главное, что подойдет лично мне? В данной статье я хочу поделиться своими наблюдениями о некоторых VPN сервисах, которыми сам пользовался и/или пользуюсь.

Ну что ты там понаписал...

How to Set Up Your Own VPN Server in 15 Minutes

Reading time3 min
Views66K

If you use Habr, chances are, you’re conscious about privacy on the web. As governments and corporations tighten their grip on people’s online activities, the issue of keeping your browsing data to yourself becomes more and more relevant.


Numerous tech websites say VPN is no longer a geek-only thing, and regular people should use it, too (Fast Company, Mashable, PCMag). But as a tech-savvy person, you know there isn’t a service you can trust as much as the one you host and manage yourself.


With this post, you’ll deploy your own instance of Outline VPN on AWS.

Read more →

Установка Outline WiKi на Debian/Ubuntu с KeyCloak

Level of difficultyEasy
Reading time12 min
Views18K

Очередная статья про настройку Outline + KeyCloak. С одной стороны, статьи в сети есть. С другой стороны - начинаешь по ним делать и выплывают подводные камни, которые в статьях почему то не приведены. После полугода периодического мучения с установкой данного продукта решил собрать в кучу все мысли и приемы.

Первоисточник: Основной алгоритм был взят из статьи: https://wenkdth.org/posts/keycloak-outline-setup/.

Читать далее

Настраиваем двухступенчатый WireGuard для выхода из страны

Level of difficultyMedium
Reading time4 min
Views72K

У Wireguard есть немало прекрасного, включая его простоту реализации, скорость и минималистичные клиенты, которые не вызывают проблем у пользователей.

В начале августа некоторые интернет операторы и провайдеры начали блокировку протокола WireGuard в РФ по его рукопожатию.

Лично испытывал блокировку у Мегафон и Теле2, но не заметил у Ростелеком. VPN по-прежнему работал через последнего.

Очень не хотелось отказываться от Wireguard в пользу прокси-серверов в духе VLESS+TLS-Vision, в виду того, что все наши пользователи уже сильно привыкли именно к Wireguard.
Поэтому вариант с кардинальной сменой клиентского софта не рассматривался.

Поскольку трафик Wireguard блокируется только на зарубежные адреса было принято решение добавить еще один хоп в систему, а начальное подключение осуществлять к серверу в РФ.

Читать далее

Бестолковые телеграм боты и статический адрес в Outline

Level of difficultyEasy
Reading time4 min
Views17K

Во времена блокировок некогда популярного VPN протокола Wireguard слава перешла к другому, еще более упрощенному по способу подключения через протокол Shadowsocks, многие из вас знаю о нем по приложению Outline.

Вот только многие из авторов надежных и доступных персональных vpn-сервисов быстро забывают о комфорте пользователя, ваши статичные ключи, привязанные к IP вашего сервера за 500р выглядят максимально безнадежно.

Очень грустно, что люди, готовые брать ответственность за ваш трафик - не готовы уделить время на чтение документации по генерации динамических ключей, с помощью которых, можно не затрагивая пользователей менять координаты хоть на каждый факт подключения.

Читать далее

Проксируем OpenVPN через Shadowsocks или чиним OpenVPN во время блокировок

Level of difficultyEasy
Reading time3 min
Views48K

В данной статье рассмотрим как настроить существующее подключение к OpenVPN серверу, которое могло или может перестать работать, через shadowsocks (Outline VPN) туннель на OpenWRT любых версий с помощью openvpn-openssl и shadowsocks-libev.

Понадобятся:

Существующий сервер OpenVPN и настроенный клиент на OpenWRT

Конфиг shadowsocks (Outline) вашего либо чужого сервера.

Свободные 650кб памяти в роутере

Читать далее

Заблокирован ли протокол OpenVPN? И как теперь быть?

Level of difficultyEasy
Reading time3 min
Views142K

Один мой знакомый держит свой OpenVPN сервер, он поделился со мной хронологией блокировки популярных VPN протоколов в России. С его разрешения, я публикую детальную информацию о том, как это происходило с точки зрения клиента и администратора OpenVPN.

Читать далее

Настраиваем клиент Outline на OpenWRT за 5 минут с помощью tun2socks

Level of difficultyEasy
Reading time6 min
Views28K

Установка клиента Outline (shadowsocks) одним скриптом.

Понадобится любая версия OpenWRT (проверялось на 19.07, 21.02, 22.03 и 23.05-rc1) и установленные пакеты kmod-tun и ip-full, а так же настроенный сервер Outline (shadowsocks).

Рекомендую роутер не меньше чем с 128 Мб ОЗУ, будут показаны варианты установки в ПЗУ и ОЗУ.

Использоваться будет пакет xjasonlyu/tun2socks.

Читать далее

Shadowsocks-туннелирование корпоративного VPN

Level of difficultyEasy
Reading time8 min
Views71K

Если у вашей компании имеются серверы, работающие за границей, и доступ для внутренних пользователей вы предоставляете посредством VPN-протоколов (достаточно типовая схема, особенно после Covid — 2019, когда удалённая работа стала особенно популярной), то настало время действовать на опережение. Конечно, применение административного ресурса, возможно, защитит ваши интересы от тотальных проблем в будущем, но лучше подстраховаться, чем в один прекрасный день получить 100500 сообщений от систем мониторинга о недоступности опекаемых клиентов. Статья демонстрирует, как скрыть от противодействия со стороны систем глубокого анализа трафика сервисы компании, доступ к бизнес-процессам которых обеспечивается посредством VPN, используя для этого туннели shadowsocks.
Читать дальше →

Виды презентаций для стартапа

Level of difficultyEasy
Reading time7 min
Views6.8K

Когда я взялась делать первую презентацию для своего стартапа, мне казалось, что Pitch Deck — это все, что мне нужно. Но потом я начала изучать - что может еще пригодиться, и передо мной открылся огромный и чудный мир различных стартап-презентаций. Я понимала, что презентация — это не просто слайды с информацией, это целая стратегия, направленная на разные цели и разную аудиторию, от привлечения инвесторов до поиска команды, от продажи продукта до получения грантов, где каждая цель требует своего подхода, но даже не догадывалась как много придется еще сделать.

В этой статье я попробовала коротко описать разнообразие типов презентаций, которые каждому стартапу стоит иметь в своем арсенале и расписать список слайдов по каждой.

Читать далее

Мой опыт перевода Grafana под управление Terraform или что делать если надоело тыкать на кнопки в GUI

Level of difficultyMedium
Reading time21 min
Views7.8K

Вам сказали развернуть систему мониторинга, вы выбрали связку Prometheus + Grafana. Развернули Grafana на своих серверах (VM/Docker/Kubernetes) и подключили Data Source Prometheus (а возможно вам еще сказали развернуть логирование и вы используете Grafana Loki) и далее по гайдам из ютуба начали создавать свои дашборды и настраивать алерты.

Все работает идеально, но в один момент вы начинаете думать о том, чтобы хранить созданные сущности Grafana в коде, чтобы их можно было легко восстановить в случае потери данных или же развернуть при создании новой среды (dev/prod). Экспортировать дашборды не составит труда, это можно сделать и через GUI, но как же источники данных, политики уведомлении, contact points и сами алерты?

Знакомая история? Возможно, что нет. А у меня да!

Читать далее

Машинное обучение для прогнозирования выхода из строя дизельных двигателей

Reading time9 min
Views6K

Привет, Хабр! Меня зовут Владимир Лебедев, я руковожу группой разработки департамента горнодобывающих решений компании «Рексофт». В предыдущей статье я рассказывал о задачах в области использования машинного зрения для контроля горной техники, которые решает наша команда.

Сегодня расскажу про ещё одно перспективное направление нашей работы для автоматизации добывающих предприятий, да и вообще промышленности. А именно — как машинное обучение может помочь предсказать момент выхода из строя двигателя на примере карьерного самосвала.

На Хабре уже есть материалы о системах предиктивной диагностики и прогнозирования отказов оборудования в промышленности. В своем материале я в деталях расскажу о бизнес‑контексте их использования в горной отрасли, о подходах к сбору данных и их анализу. И постараюсь ответить на вопрос «как именно инструменты искусственного интеллекта могут предсказать выход из строя двигателя?»

Те, кто знаком со спецификой горнодобывающей отрасли, знают, что в карьере используется множество самосвалов. Условия их эксплуатации достаточно тяжёлые. Техника эта дорогая, поэтому, когда самосвал стоит в ремонте, предприятие несет убытки. Особенно большие убытки возникают, если внезапно в процессе работы отказала силовая установка.

Читать далее

Information

Rating
Does not participate
Registered
Activity

Specialization

Chief Product Officer (CPO), Chief information officer (CIO)
Project management
People management
Negotiation
Organization of business processes
Automation of processes
Company management
Business process management